8月29日,2019世界人工智能大会(WAIC)于上海世博中心拉开帷幕,海内外大咖齐聚,学术界工业界交汇,共话人工智能未来。微众银行首席人工智能官杨强教授在大会主论坛——“科学前沿”演讲时表示,联邦学习已经成为AI在学术界和工业界的新趋势,未来行业面临的社会大众的要求和监管会越来越严格,联邦学习能够在满足用户隐私保护和数据安全需求的同时,实现多方共赢。
微众银行作为联邦学习的国内首倡者和领导者,在杨强教授的带领下首次提出了“联邦迁移学习”,并通过领衔联邦学习国际标准(IEEE标准)制定、开源自研联邦学习框架Federated AI Technology Enabler(简称FATE)等来推动联邦学习技术在行业中的落地。
以下为微众银行首席人工智能官杨强教授演讲全文:
大家好,今天非常高兴跟大家讨论这样一个题目——人工智能最后一公里。为什么会起这样一个题目呢?现在我在微众银行负责人工智能的工作,接触到很多人工智能的应用场景。像微众银行这样一个互联网银行,它服务的用户数已经超过了1.7亿,提供服务主要借助的手段就是人工智能和机器人。在服务过程中有很多环节,比方说业务咨询、审核批准贷款文件、对申请人进行人脸识别、语音识别等身份核验、客服问答等。在金融领域,不仅要建立用户画像和模型找到用户,更要建立一整条长链路来服务广大的用户。
我们已经很熟悉这些人工智能领域的应用,但我想说的是,这些应用都离不开一个元素——数据,尤其是大数据。但是我们看看我们的周边,却发现数据非常有限。在法律领域,积累一条有效的数据是需要很长时间的;在金融领域,尤其是大额贷款、理财领域,有效的数据也是非常少的;在医疗领域面临的是数据割裂的现象,每个医院都有很多的医疗影像数据,却出于监管、安全、利益等原因不能够互相传递,无法形成合力。
在这种情况下,数据聚合的需求十分强烈,却很难得到满足。其中有一个很重要的原因是社会对于用户隐私的要求越来越高。现在世界各地的监管机构纷纷出台强有力的法规,比方说欧盟在去年正式提出《通用数据保护条例》(GDPR),对个人隐私、个人数据的拥有权,包括模型的使用和可解释性都提出了非常严格的要求。中国的法律也在快步推进,连续出台了一系列关于用户隐私、用户数据安全和拥有权的法规,也将会严格限制企业之间的数据交换。
我们一方面面临数据割裂,没有大数据来训练人工智能;另一方面,法律法规和社会对安全的严格要求又限制了数据的融合。大数据变成了人工智能的挑战。
我们如何应对这个挑战?放弃人工智能吗?仅允许拥有大数据的公司来做人工智能吗?这都不对,我们的回答是,要积极地寻找一些新的技术方向来解决数据挑战。
我们提出的方法和方向叫做“联邦学习”,英文叫“Federated Learning”。数据的各个拥有方,在各自数据不出本地的情况下建立模型,并且让这个模型能够共享,那么在建立模型的过程中便不会侵犯用户的隐私,整个建模的过程就叫联邦学习的框架和算法。
Google在2016年就开始进行一个项目,在安卓系统的手机用户中建立联邦学习,解决用户个人终端设备的数据隐私问题。首先初始化模型下载到各终端,各终端根据自己本身的数据更新模型参数,不同的终端就会产生不同的更新结果,这些更新被送到云端进行聚合,汇总后的模型参数将作为下一次更新的初始参数,这样一直迭代直到收敛。用这样的一个方法既能保证用户隐私,同时又能共享一个通用模型,利用群体智能在云端不断更新。
这样的模型不仅需要一个机器学习算法,更需要一个分布式的机器学习算法。在分布式的机器学习算法之上,还要有各种加密的算法。在这个基础上,我们仔细地分析了一下,发现一共有三种模式来进行联邦学习。
第一种模式叫横向联邦学习,是指当两个数据集的用户不同,重叠较少,但用户特征重叠较多时,我们把数据集按照横向 (即用户维度) 切分,并取出双方用户特征相同而用户不完全相同的那部分数据进行训练。
第二种叫做纵向联邦学习,是说两个数据集的用户特征重叠较少,但它们却有较多的重叠用户,那么我们就把数据集按照纵向 (即特征维度) 切分,并取出双方用户相同而用户特征不完全相同的那部分数据进行训练。
最后,如果两个数据集既不重叠用户特征,又不重叠用户,那么在这个场景下,我们也提出一个新的算法,叫做联邦迁移学习。它可以利用迁移学习的算法,把这两方数据模型的本质挖掘出来,把抽象的模型加以聚合,在聚合的过程中保护用户隐私,也取得非常大的成功。
虽然联邦学习的框架最近才提出来,但是它在产业界的应用已经有成熟的进展。比方说我们最近在一个金融信贷的场景下就取得了非常成功的应用:一方是互联网企业,有很多用户的行为数据;另一方是金融企业——银行,需要建立一个更准确的用户信贷模型。这时利用纵向联邦学习,把两边的模型加以共享,进行更新,这样模型就能够更有利,随着数据量的增加,效果也大为增加。以下是效果图。
同时,我们也尝试了很多不同的应用场景,比方说在城市管理领域,利用散落在各地的割裂的计算机视觉数据来建立一个安全、共享的模型;在语音识别领域,不同的机构有不同的语音数据,不同的服务中心,它们也可以建立一个联邦学习来解决用户隐私的问题。
刚刚讲的这些应用都离不开一个概念,叫做生态。联邦学习生态的建立需要我们不断地去倡导。我们在学术界和工业界也做了一系列的推动工作,包括在刚刚结束的第28届国际人工智能联合会议(IJCAI 2019)上举办了首届国际联邦学习研讨会;在Linux Foundation开放了全球首个联邦学习的开源项目,叫FATE(Federated AI Technology Enabler),和更多的开发者一起为联邦学习开源做出积极贡献。同时,我们也正在建立一个联邦学习国际标准(IEEE标准),让不同的机构之间可以有共同的语言,在建立联邦学习共同模型的时候大家的沟通会更敏捷;在国内,我们也取得了很大的成就,牵头建立国内首个关于联邦学习的团体规范标准——《信息技术服务 联邦学习 参考架构》团体标准。
最后,机器学习离不开大数据,大数据离不开安全和保护隐私的考虑。联邦学习是一个既能建立大数据模型,又能保护数据安全和用户隐私的有利的工具,希望更多的人能加入我们一起建立联邦学习生态。谢谢大家!