百信银行打响金融技术革新第一枪 流式计算平台助力业务加速

本篇文章2218字，读完约6分钟

日前，中国银行(601988)协会宣布了“2017年中国银行业十大事件”，其中“百信银行开业”被列入。作为人工智能时代网上银行的代表，百信银行坚持智能和效益的定位，运用人工智能等技术，开创了“金融+互联网+人工智能”的金融发展新模式。

在新时代，“直接面对客户+快速响应”的互联网特征和“分布式+异地”的新系统架构对银行的信息化建设提出了挑战:如何准确感知客户当前的需求？如何解决风险控制、授信等业务场景中实时性不足的问题？如何快速解决分布式会计的异常问题？如何解决传统银行批量模式实时性差的问题...这一系列问题要求高数据量和高数据速度，同时也考虑到金融交易的复杂性和实时性要求，而这些问题的答案就是流式大数据处理技术。

百信银行积极探索人工智能和大数据技术在金融场景中的应用，创新推出基于开源jstorm技术的百信银行流媒体计算平台aistream，并迅速登陆消费信贷风险监控项目，为我行首款产品保驾护航。

什么是流式计算

随着时间的推移，数据通常会不断生成。例如，当客户使用移动应用购买理财产品时，一系列点击操作(如开户、卡绑定、购买理财产品、确认支付)将生成一系列背景数据，而在此基础上生成的数据将持续生成。实时收集连续生成的业务数据，从而形成数据流。一旦流数据被收集，它可以立即参与计算，同时将计算结果放入业务分析应用程序，这称为实时计算。

分布式实时流计算面临许多挑战:数据采集-计算-输出的整个过程需要保证低延迟。除了计算节点本身可以采用“增量计算”模型外，上游数据传输模块还应该具有较高的吞吐量和数据缓冲能力，以在大流量场景下发挥缓冲作用。下游输出模块还需要优化数据压缩和批量输出，以确保实时输出结果。此外，分布式系统有时会出现单点故障，因此实时流计算系统必须具有很强的故障恢复能力。当故障发生时，系统能够快速恢复，避免系统输出更新停滞，不能保证实时性。

百信银行的流媒体计算平台Aistream是完全独立开发的。设计中充分考虑了分布式实时流计算的难点。采用主流计算框架，并行计算基于分布式内存，解决离线大数据和近线大数据实时融合处理等技术问题。它支持海量数据(603138)的高性能分析，并引入了一系列创新技术，以提高开源流处理平台在可靠性、一致性、可用性和可扩展性方面的处理能力。

因此，该流媒体计算平台项目成功入选百信银行业务创新管理委员会蒲公英项目，并将在未来应用于不同领域，帮助加快全行业务发展。

实时计算和处理海量数据

百信银行的流媒体计算平台aistream从解决行业“痛点”入手，从银行目前迫切需要解决的实时风险控制和批量移除问题入手。通过灵活的架构设计和规划，构建一个安全、稳定、可靠的基础平台，满足saas层差异化和多样性的定制需求。

流计算平台aistream可以提供两种核心服务。一种是实时数据总线。实时处理增量数据，提供从不同数据源到目标存储介质的数据管道，支持源和目标之间的单对单、单对多、多对单和多对多关联，支持数据管道的扩展和合并。整个系统具有银行级要求的功能可扩展性和容错性。

目前，百信银行的流计算平台aistream在其支持计划中包含了18种数据源和23种目标输出，包括通用关系/非关系数据库、消息中间件、各种文件存储和各种系统之间的接口等。，并将在未来继续增加其支持内容。

第二是实时数据计算。利用流计算引擎的实时计算特性，实时处理和计算在数据管道中流动的数据，并将结果返回到预先计划的目标介质(例如数据库、存储器、文件或其他存储介质)。

百信银行流计算平台Aistream支持拆分、合并、缺失值填充和类型转换等15种预处理模式，以及特征过滤、特征离散化和特征尺度变换等15种特征工程处理能力。该平台将这些功能封装成基本组件，提供通用接口，支持对业务模块的低成本快速访问，并根据业务需求灵活组合和集成服务，实现“数据驱动服务”。

作为通用的基础平台，百信银行流计算平台aistream能够实时计算和处理海量数据，广泛应用于金融银行和互联网领域，能够为个性化数据需求提供“海量、准确、实时”的个性化数据服务。系统服务涵盖客户营销、风险管理、运营管理、运营维护管理等。

创建实时数据服务生态系统

作为数据加速器，流计算具有加速数据流和提高数据价值的普遍性。业内人士认为，未来将会出现越来越多的实时计算场景，包括实时文本计算、实时图像和语音计算、在线机器学习等。实时数据和实时流计算场景的类型呈指数级增长，对实时计算引擎的要求也越来越高。

作为起源于百信银行的技术平台，爱思流的第一个应用领域是对数据准确性和数据价值最敏感的金融领域。系统的高可用性和容错性从一开始就是最高标准所要求的。同时，整个系统的建设规划还必须基于对金融领域交易场景和数据分析需求的深入了解，以确保系统能够高效地接入百信未来的内外部业务需求。

百信银行相关负责人表示，流媒体计算平台aistream将继续加大技术研发投入，与开源社区更加紧密合作，推进流媒体计算发展，努力打造一流的流媒体计算平台。一方面，内部创新支持消费信贷、财富管理等业务板块的主渠道业务，利用实时数据服务能力提升业务核心竞争力——继续扩大计算规模，推出内部统一的实时计算服务框架，为海量数据的实时处理提供在线统计、学习和预测能力；另一方面，通过云服务将实时计算能力输出到外部世界，让更多的中小金融企业和用户享受到百信银行实时计算的技术成果。