华为FusionInsight是如何实现实时风险控制的?

我们享受互联网、移动支付等带来的便捷的同时,金融机构和广大消费者也面临着金融诈骗高发的威胁。金融诈骗形式多样、方法各异,政府、金融机构不遗余力的宣传教育消费者提高安全意识,但案发率仍然很高。违规商户盗取顾客信用卡信息、黑客盗刷信用卡,使得消费者防不胜防。银行等金融机构不断的加强“风控”体系建设,从传统的“事后风控”提高到“事中风控”。当犯罪分子伸出黑手时,实时风控系统依靠其精准的专家规则、智能的风控模型、强大的计算能力,在数毫秒之内识别出风险行为,及时的阻止交易,从而保护消费者、国家金融资产免受损失。

在当前互联网金融、移动支付已经全民普及的今天,传统的“批处理”、“准实时”这种事后处理模式显然已经不能应对其中的金融风险。理想的事中处理模式要在海量的转账、支付交易执行过程中“实时”完成其历史数据关联分析、事件流(登录、查余额、转账)关联分析、时间序列分析、深度学习模型计算、同类型消费群体分析以及交易网络关系分析等等多种分析手段,最终决策对当前交易是否放行。当用户点击付款按钮、或者“扫一扫”的一瞬间,一个巨大的漏斗在层层过滤掉风险,所以超低延时、非线性、超高并发是“事中”实时风控系统需要攻克的主要难题。

华为公司推出的FusionInsight Real-Time Decision(RTD)分布式实时决策平台,具有数据库的标准开发方式(遵循SQL 99标准、PL/SQL语法)和数据可靠性机制,并拥有流处理/CEP(Complex Event Process,复杂事件处理)的高并发、低时延、持续计算(滑动窗口、模式匹配)能力。为了达到极致性能的实时计算,RTD将大数据运算的多种理论与思想糅合在一起,如近数据计算(Near Data Computing)、增量计算(Incremental Computing)、时间序列数据立方体(Time Series Cube)等,同时将硬件能力发挥到极致。

1)近数据计算

RTD采用先进的编译技术,将计算逻辑下发在数据块上,配合数据建模和路由分发技术,实现所有的数据在本地内存计算,消除节点/进程间通信。同时编译技术还将多个同分区数据上的计算逻辑编译在一起,减少调用次数,来节省调度层和数据计算层的网络开销。这好比将水质检测器置入河水中,非取样带回实验室,而失去了原来的“味道”。

2)增量计算

交易事件是流动且有先后次序的、也就是时序数据,这类数据有两种比较耗时的计算,一种是聚合操作(sum、count、average等),一类是多个事件发生模式,如A事件发生多久后发生B事件。解决这种问题是流处理/CEP的优势,反而是数据库的劣势,RTD在数据库的上层增加了流处理实现了数据的增量计算,同时兼有数据库的数据可靠性。面对每日数十亿次的交易流水,全量计算或许要滞后于好几个小时,而增量计算在数据时效性和正确性之间取得了平衡。基于规则和模型布控时,参考的是最新的数据指标,这对于风控如战场的攻防实战中,像一把利剑直插敌人的心脏。

3)时间数据立方体

FusionInsight RTD基于OLAP数据立方体理论,将时间序列数据立方体引入实时决策领域中,时间序列数据立方体包括数据维度、计算指标、时间三个维度。数据维度可以是当前客户或者卡号等小维度、也可以是所有客户、所有持卡人、业务号、渠道号、设备等大维度,计算指标分别为数值型、离散型以及比率型等数据类型之上的最大、最小、方差、标准差等指标,足以满足金融领域以及IoT领域的决策计算需求。精确到秒的多叉树数据结构,能够快速的查询任意时间窗口的计算指标,比如当前持卡人过去3分钟、30分钟、2小时、24小时、72小时的登录次数、查询次数、交易总和、交易次数等指标,展开复杂事件分析。有了数据立方体,实时监测某用户24小时之内,登录30秒之后查询余额,然后一次性将余额全部转出的行为变得非常容易,真正的做到全方位立体监控。

4)硬件能力发挥极致

● 全内存计算,所有计算全部在内存完成;

● 为了可靠性必须做的持久化落盘,仅写数据的日志,并在落盘时变为顺序写;

● 为了可用性实现的数据多副本,降低了写性能,但多副本带来读性能的倍增;

● 通过数据分块实现分布式和并发,无锁设计,实现极致性能体验。

“大数据+人工智能”是未来大数据风控的突破口。大数据、人工智能、活体识别、人像比对、设备指纹、人脸识别等大量的风控技术,在将来都可以被运用到风控场景之中。FusionInsight RTD加强规则风控能力的同时,全力以赴推动人工智能在风控场景中的落地,如已经在客户现场实施的多模型实时评分引擎、即将发布的特征变量平台能够支持千万维超大模型毫秒级的预测。RTD将构建端到端的实时在线推理平台,不仅支持华为自研的数据挖掘模型,还通过引入PMML标准机器学习模型与合作伙伴展开积极合作,共同推进人工智能在实时风控领域的发展。

FusionInsight RTD 平台推出后即受到国内某大型银行Z的欢迎。其极低的学习成本使得业务人员经过两天的培训后,在一周之内写出上百个业务规则。不仅如此,FusionInsight RTD完整的集群管理方案,如主备,给系统维护任意留下灵活的操作空间。Z行在零售平台的短暂试用之后,很快扩展到信用卡等其他渠道,经过两年的稳定运行,被Z行定位为全行级明星项目,得到了高层领导的高度好评。除了在银行领域,RTD在某千亿级全球电商平台承担着保驾护航的关键角色,在短短的3个月内,该项目从调研到实施落地,每天经历数十亿次的实时风控决策请求。由于在国内的成功运用,该组织正打算将RTD部署在国外站点,并与FusionInsight RTD合作展开国际联合风控。

目前,华为FusionInsight RTD还在不断地加大研发投入,积极地拥抱新技术、与全球高校研究机构展开合作,将新的理论集成于产品,帮助客户打造安全可信的应用环境,为老百姓管好“钱袋子”。在“大数据+人工智能”的浪潮中,华为是坚定的践行者。