百度余凯：大数据人工智能

2014年12月12-14日，由中国计算机学会(CCF)主办，CCF大数据专家委员会承办，中科院计算所与CSDN共同协办，以推进大数据科研、应用与产业发展为主旨的2014中国大数据技术大会(Big Data Technology Conference 2014，BDTC 2014)暨第二届CCF大数据学术会议在北京新云南皇冠假日酒店盛大开幕。

百度研究院副院长，深度学习实验室主任，图片搜索部高级总监余凯发表演讲“大数据人工智能”。“得人心者得天下”，对于互联网公司来说最重要的是读懂人心，最重要的技术是基于大数据的人工智能。什么是人工智能?感知、思考和控制是人工智能的几个重要方面。真正智能的系统，是随着经验的演化，越变越聪明!经验是什么?经验就是数据。另外一个跟人工智能和大数据联系紧密的技术是深度学习。

百度研究院副院长，深度学习实验室主任，图片搜索部高级总监 余凯

以下为演讲实录：

下面，我可能更多从实践的方面去跟大家分享一下百度在大数据、人工智能我们最近的一些工作，包括我们对这些方面的一些思考。

2014年8月14日，麻省理工学院科技评论杂志介绍百度的人工智能之梦，文章题目叫《一个中国互联网的巨人开始有梦想》，主要内容是介绍百度在最近两年在人工智能和大数据这些领域的的投入，包括在人才方面的一些举措。

互联网公司：“得人心者得天下”

互联网典型特征就是大数据，大数据公司也是人工智能公司，以搜索引擎为例，搜索引擎一边给用户提供免费服务，这个服务背后还有一个非常精致的商业模型。用户免费使用服务的同时，贡献数据给平台。另外一边，我们拿这个数据做商业化的变现，实现数据的价值。从数据到价值中间需要技术，需要基于大数据的人工智能。比如说大规模的机器学习，移动互联网中的语音识别、图像识别，还有用户建模等，这些技术能帮助你精准读懂用户心里想什么。以前我们说“得人心者得天下”，而在大数据时代的今天，对于互联网公司，只要读懂人心，就一览无余。

从学术层面到高科技公司，再到政府层面都对人工智能越来越关注，人工智能机器人可能是下一个产业革命的爆发点，比如像自动驾驶，自动问答，虚拟现实等都跟人工智能有关，将来是科技创新的主战场。

学习的能力是智能的本质

那么什么是人工智能?应该包括哪几个方面，比如我们看到的机器人，首先他有眼睛，有感觉，能感知环境是怎么样，完成它任务怎么样做，通过感知把数据记录下来以后，要做思考，想想怎么做，后面你就可以行动。所以，感知、思考和控制是人工智能几个重要的方面。

我们看到很多科技公司推出各种各样的产品，比如说我们看到有智能手机、智能水杯、智能手环等等，还有百度推出的智能快搜，谷歌在做的智能汤勺，但是真正想一想这些产品是不是真的具有智能呢?我们把这些产品和60、70年代的老式收音机放在一边，他们的不同在什么地方?思考这些问题能帮我们想清楚未来方向，也可以区别现在的这些产品它到底是不是真的智能。真正的智能系统应该能随着经验演化越变越聪明，学习的能力，是智能的本质!

经验就是数据

那么什么叫经验?经验就是数据，所以我们到今天看到一个振奋人心的时代来临，这也是我们济济一堂来到这个会议的原因，这个时代是什么?就是大数据时代。

从万物互联到万物智能

今天在座每一位可能都跟我一样，身上带了至少两三个移动设备，平均每个人连到两到三个设备。半个多月前，在乌镇孙正义有一个更加疯狂的预测，预测2020平均每个人要连接到一千个设备，一千个设备包括你随身带的设备，你的wifi，甚至是监控摄像头。在移动互联网时代，我们看到的未来是万物互联，人跟环境，人跟物，物跟物之间都会发生连接。这种连接同时也意味着数据爆增，到达前所未有的广度和数量，大数据的时代使我们从万物互联到万物智能。

深度学习与大数据

很多拥有大数据的互联网公司，包括谷歌、脸谱和百度，都在成立研究机构，这个机构机构最主要的研究方向就是大规模的深度学习，聚焦点就是大数据驱动的人工智能。在百度内部，一个横跨各个产品线大项目获得了今年的百度最高奖，这个项目就是百度大脑。拥有上千台PC服务器，和将近1000台GPU服务器，构建了世界上规模最大的深度神经网络，百亿级的参数。我们基于这些基础设施，去研发世界上最先进的深度学习算法，包括语音识别、图像识别、自然原理理解、广告竞争匹配、广告建模等等。

深度学习其实它不是一个新事情，在30年前80年代末的时候，深度学习就已经是得到了广泛关注，而到了大数据时代的今天，它获得了更多的成功和影响力。为什么呢?

第一方面，深度学习模拟了大脑的行为。一开始做深度学习这帮人，他们的想法受到卷积神经系统网络的影响，在80年代受到了神经科学家对于视觉神经系统理解的影响;

第二，从统计和计算的角度来看，深度学习特别适合大数据;

第三，深度学习是End-to-end学习;

第四，深度学习提供一套建模语言。

大数据时代传统深度学习的误区

我具体给大家讲讲第二点，深度学习特别适合大数据下。在统计上面分析机器学习系统效果时，一个最根本的角度叫推广误差，推广误差可以帮助我们找到误差来源，从而设计出更好的算法。一个经典的分解方法，把推广误差分解成两部分：

Approximation error：数学模型不完美导致的误差;

Estimation error：数据不完美，比如数据有限或数据有偏，导致的误差;

Optimization error：算法不完美导致的误差。

随着数据规模的扩大，从推广误差的角度来说，传统的深度学习研究中存在着一些误区：

从Approximation error的角度来说，过去我们认为简单的模型就是好的，但实际上简单的模型是不够好的，随着机器的增多，参数越来越多，模型越来越复杂，是大趋势，过去认为简单的模型是好的这是错误的观念;

从Estimation error的角度来说，为了保证数据的精确，应该收集充分的数据;

从Optimization error的角度来说，通常是学术界的观点是，开发研究非常精致的优化算法，但是这些算法存在一个大问题：不能覆盖大数据。比如，SVM的复杂度是在数据二次方到三次方之间的复杂度，今天处理一万个训练样本没问题，但是如果变成十万个训练样本，你需要一百倍到一千倍的计算资源，这是灾难性的问题，所以在大数据的时代，工业界反而要倡导的是desgin “an OK algorithm”。

深入百度大脑

我给大家举一些百度大脑的例子：

A deep model for image recognition

DLmodelfor query-docrelevance

Long-short term memory for time series

网上抢票验证码识别

运单手写电话号码识别

述说图片的故事，字幕用深度学习程序写成

同时理解图像和自然语言

深度学习已经取得了关键性进展，首先在广告系统，这可能是世界上首次把深度学习成功应用于广告变现，并带来收入提升，在用了深度学习之后，我们跟竞争对手的差距是拉开了两倍还多。

在物体检测模型上我们取得了世界上最好的成绩，百度第一，谷歌第二。

未来的展望

人类大脑的平均重量是1.5公斤，占2%的身体体重，消耗20%的能量。最近的一个报道显示，谷歌的服务器消耗美国用电量的百分之几，美国的所有互联网公司占美国耗电量的9%。在中国，三大互联网公司也占中国耗电量百分之几，智能计算是非常耗能量的。而人类大脑有一千亿个神经原有5000个的连接，每个连接触发每秒钟两次，做一个简单计算，人类大脑计算能力是10的17次方。在过去人工智能发展过程中，计算能力是非常强大的东西，我们今天的计算能力跟20年、30年前更是不可同日而语的，能构造更好的计算方法。

未来计算决定着智能水平的发展，人工智能这个奇点临近连接了，谢谢大家!