七牛杜江华:移动互联网时代的云存储

DOSTOR北京报道:2014(第十届)中国存储峰会2014年2日在北京盛大开幕。作为中国存储产业的十年盛会, 峰会以“掌控数据经济·重塑商业价值”为主题,邀请超过1500位学术界顶级学者、产业精英和企业用户出 席,围绕数据经济和商业价值两大话题,从云计算、大数据、软件定义和闪存等四个技术方面举行一系列主 题演讲和圆桌会议。

在下午的云存储应用论坛(云存储下的数据经济)上,七牛云存储销售副总裁杜江华先生,他带来的题目为 移动互联网时代的云存储。

杜江华:大家好,我来自七牛,是七牛云存储的销售负责人,七牛是一个新的公司,属于一个创业公司,刚 刚满三岁,大概一个月前我们在北京开了三周年的客户答谢会,在这个过程里面我们到场的客户也是非常地 多。

我先简单介绍一下我们公司,我们公司跟前面讲的几家差别比较大,但可能跟微软比较像一点,我们是做公 有云的,前面讲的很多都是给私有企业提供私有云存在的方案,我们是给开发者、程序员,我们的客户基本 上是开发者,是编程序的,基于我们七牛的云存储开发一些互联网上面的应用一些好玩的社交类、APP类的产 品,我们客户群是比较清晰的,我用一句话简单地来描述一下跟微软的区别。微软它的受众有个人消费者、 有企业级的普通的商务人员,也有开发者,我们七牛是更垂直在开发者,如果你不懂技术、不会开发程序很 难用我七牛的服务。目前为止在我们七牛云的平台上会聚了15万开发者的使用和注册,后面我会具体讲从案 例应用的角度具体阐述一下。希望能给大家带来一些不一样的角度的分享。

首先我们是做云服务,云计算大家听到得非常多,我们试图思考一下云服务在整个社会里面的地位,可能经 常听一些大佬讲我们的云计算应该像水跟电一样,按需付费,家里装了一个开关,你想用电按一下开关电就 来了,像用水一样装一个水龙头拧一下水就来了,我们希望云存储作为一个基础设施,虽然被大众可能不太 理解,但是对于开发者是非常清楚它的一个地位,举个例子来讲,我们有很多应用,比如说像APP,像我们过 亿用户的豌豆夹都有几亿用户,这些应用如果把它比喻成一个家里面的电器的话,我们希望云服务相当于电 网这么一个能力。你可以买各种各样的电器,用云服务来提供电力的支持最终消费者可能对这个电力网感知 是不管明显的,它感知的是各种各样好玩的应用,是各种各样的电器设备。

七牛的理解我们的数据会分成三大类,一类叫做非结构化数据,非结构化数据就是前面讲得比较多,叫文件 型,天天产生的图片、音频、视频,这类数据从存储量来讲,应该占到了互联网85%以上的数据。

第二类叫半结构化数据,也叫日志型的数据,你访问一个电子商务网站可能会留下一些痕迹,你今天访问了 什么,这类数据也是比较常见。

第三类数据叫数据库里面的数据,这类的数据量绝对值是比较小的,但是对于企业来说,可能是特别特别重 要,比如说它里面有核心的一些财务数据、业务相关的一些重要数据,我们认为世界是由数据以及围绕数据 的计算来组成的,在数据充分海量的时候,我们只要理解了这些数据,就能理解用户的一些特点。所以我们 试图希望能够在七牛云存储的平台上把数据线搜集起来。

大家可以想象一下,现在移动互联网时代数据的爆炸是一个什么样的程度?大家都知道微信就不用说了,已 经很普及了。拍照、视频分享的行为是需要消费者主动速发的数据增长的来源,有很多场景实际上比如说祥 这个表上列的,第三个摄像头,现在很火,有各大互联网公司都来推各种各样的互联网应用的摄像头,这个 摄像头有一个特点,你只要一打开,实际上它无时无刻不在产生数据。

未来还有第四个智能手表啊,这些设备在未来会基于某种场景不停地产生各种各样的数据,我们现在处于一 个数据爆炸的时代。企业如果随随便便就把这些数据给删了,非常不应该,就像你会删除一堆现金的价值, 如果没有很好的存储方案把这些数据存下来是非常可惜的事情。

还有一些数据的分析,我怎么样在海量数据里面提炼一些有价值的线索提供更有效的增值服务,这些挑战是 非常大的,我们的解决方案是什么?七牛云存储就是希望能够围绕这些海量的数据打造一站式的管理平台, 这里面会包含最早的内容生产者,像大家每个人都是手机用户,用各种各样的应用都会产生海量的数据。在 内容采集、上传环节,还有内容分发的下载环节,还有存储本身这个事情上面怎么保证高可靠性?高的性价 比,高的I/O性能?这个环节做一些优化。

在数据存下来以后,我会做一些加工、分析、建模供学术者做有一些有价值的建议,这是我们做的一站式的 数据管理平台。

除了我刚才介绍的分布式海量数据之上会有图片处理、音视频处理、文档处理、日志分析,最方便的是用户 自定义的处理,你的图片的处理有自己非常牛的算法,或者非常厉害的自己认为不需要用第三方的东西,你 可以把你的各种算法部署到我们就近的分布式计算系统上面,因为数据在这里,所以你的算法也可以就近做 一些部署。做了数据处理的就近部署以后,再可以做一些分析统计,做一些报表输出的产品体系。

杜江华阐述了七牛云存储做的事情,可以分成三块,一块叫云处理,一块叫云分发。存储大家顾名思义,就 存储本身可能跟微软比较像,我把数据怎么存下来,保持比较高的性价比,我们在存储之上做了一些云端的 处理,比如说刚才也提到过,你的一个图片上传上来以后你需要分享的终端可能是IPAD,或者是智能手机。 视频这一块像在线教育类,像安摄像头之类的,你的视频本身有各种各样格式的需求,你开发者用这些东西 的时候,必须考虑数据不是存下来就好,存下来还要解决相关的处理问题,所以我们的云端更提供了这些增 值的服务。

第三个叫七牛云分发,我们叫CDN加速,分享的用户可以在离他最近的数据中心下载到他想访问的资源,这里 面的原理跟国内的网速原理是一样的,围绕这个数据从产生到存储、到处理、到分发我们做了一系列的方案 。

下面详细讲一下到底哪些数据类型可以存,首先媒体、还有图片的存储和处理,还有音视频的处理。我们的 存储有什么样的特点?我们的可用性达到99.95%,可靠性我们在存储2.0上线的时候达到了16个9的可靠性。 用了我们的存储系统就相当于拥有了一块可以无限扩展的硬盘,你不需要考虑硬盘坏了怎么办?我们后台的 硬盘损坏不会导致你的文件丢失,你上传一个文件也没有大小的限制,这是云带来的好处。

云分发,我们是国内首创的一个上传加速,比如说美拍,十秒拍大片你都要分享一下,你要有一些怎么快速 上传,我们有一些上传加速的功能,分块上传、断点续上传,全国有五百多个下载节点,在这些内容分享的 时候,能够快速到达想要分享的人的手里。

刚才主要介绍的还是在非结构化数据方面,这跟整个云被企业接受的程度有关系,大家都在谈CRO在决策的时 候,在私有云、混合云、公有云三个方案对比的时候显得比较犹豫,这个会随着整个行业的发展,大家可以 看一下国际上比较好的亚马逊,在美国那边最初接受他们服务的也是互联网公司,也是一些比较新的应用, 一些互联网公司会把它的应用放上来,后面才是其实也单位,公安局都会把相关的东西放到公有云上,我们 认为公有云的模式一定是未来的方向,现在任何的私有云还是混合云都只是当前IT形态里面过渡的形态。

后面也会讲到我们公司的发展情况,第三点我们会整合一系列优秀的第三方服务,我刚才讲的自定义数据处 理这一块,我们希望第三方服务放在我们的平台上可供客户分享,可以是免费、也可以是收费,你希望能管 理一切数据。

我讲一下七牛的大概公司介绍,七牛成立于2011年,创始人团队是分布式计算的,有一个叫许式伟,在 Hadoop刚刚起来的时候,他作为一个专业的使用者在研究这个东西,在媒体上也被认为是国内做公有云存储 最合适的人,我们到现在为止已经有三轮的美元融资,投资机构都是国内比较有名的,像启明、经纬,还有 宽带资本,现在处于一个高速的发展阶段。

这个是我们的客户,大家可以看一下,很多都有认识,不一定叫得出名字,第一个是豌豆夹、第二个是美拍 ,第三个是360,第三个是唱吧,很多人都在用这些应用,我们在后面显得默默无闻,不知道谁家提供的存储 服务,它有几亿用户,甚至多的到了三到四亿,甚至四亿多的用户,我们这个平台每天也是基于这些应用产 生了一些数据,每天有数亿次的请求在产生。这是移动互联网新兴行业,有一些是属于在线教育类的,有很 多视频,还有漫画类的、娱乐类的,从内容的产生到跟朋友的分享,都是基于我们七牛在做。

总体来讲,现在在开发者的心目当中,我们云存储还是各方面比较好的。