乐视网薛伟：基于闪存云存储的乐视生态有机云建设

2014年7月31日，由DOIT传媒和存储在线举办的首届中国闪存峰会在亮马河饭店盛大召开，乐视网 高级总监/国内知名云存储、大数据专家薛伟发表了题为《基于闪存云存储的乐视生态有机云建设 》的演讲。

以下是现场文字实录：

薛伟：各位领导，大家上午好，刚才这么多厂商都介绍了关于闪存阵列的一些优势，包括技术指标，下面我们从用户的角度谈谈闪存在互联网公司，特别是在一个存储大户的视频网站公司的具体应用情况。

第 一个方面，对互联网用户来讲，我们不是闪存专家，我们也不是硬件专家，但是我们需要透彻的理解，厂商说的哪些是真的，哪些是市场测试的。但是，实际上我们 选一种产品，不管自研设备，还是用厂商的设备，都是为了满足我们自己的场景。所以，今天第一步先把我们对于闪存技术以及传统的存储技术对我们的环境应用以 及重要的关注点和他们的一些特征在哪里?

第 二部分部分介绍整个乐视生态，乐视网不仅仅是一个视频网站，乐视现在正在从一个单纯的垂直通道的视频网站公司，变成一个平台级的服务公司，比如业务层的需 要，应用层组装的服务，应用的基础设施，以及网络的设施，数据中心、带宽，等等存储计算都是基于云平台的方式介绍的。所以机在后面的环节我们会更多的介绍 关于我们场景的一些内容。

我 们下面把整个的存储架构的演进，其实前面提到很多的一般的最原始的一些管理方案，其实都已经过时了，但是在企业级，不同的场景有不同的需求，而且互联网企 业和企业级的用户，特别是广电用户，它的基本诉求和历史的发展是不一样的。所以，这里面基于老的设备，以及未来的延展性，特别是有的公司，有的用户不受到 空间的限制，而在我们今天资源巨缺的情况下，实际上很多的IDC的服务提供商，包括数据中心，包括云的服务商，很多还涉及到一些机柜方面的限制，如何使高密度的方案进行设置，我们这儿就有一块过程的演进。

其实中间这一块，分布式存储到来，今天我们谈闪存存储，特别是两年前，我记得电信等很多公司都在测关于Hadoop的体验，看到多个数据节点读的性能的提升，测完之后发现这是一个量变到质变的过程。今天我们看云存储平台，我们在前前后后，包括我在乐视之前其实做的也是一个数据密集型的公司，叫115.com，有 10PB的存储，今天我们的带宽有3.5T，全球有350个CDN节点，整个存储容量已经有超过百万的PB级的情况。选用什么样的技术，在哪一个环节，这已经不只是一个厂商的话题，因为厂商的产品只能用到我们某一个架构里的某一个节点，或者某一个场景，而我们今天看到的，比如采用我们的云平台，大家会猜，乐视里的云平台是通过OpenStack这种方式吗?其实不是，但是我们会参考很多特性。所以，大家很多人会觉得，你这个有点过于深奥，什么叫有机云，这也是我们在前沿吸收的一个我们国际化的公司叫做环状存储有机云的一个公司，它是跟戴尔收购的那个DX 6000差不多的公司。

我们在为乐视网这样一个全网服务的公司搭建一个云存储的平台，由于中国的互联网环境很复杂，我们必须要说我们的联通、电信、铁通，全网环境的用户如何实现视频服务的直播点播的高可靠，以及企业级对外的服务，以及个人云的一些服务，这些都在我们的场景之中。

最后，我们如何搭建我们自己的云存储平台，今天的云存储平台，绝对不是怎么做一个解决方案，而且这个平台你的可靠性要提高多少，Google的可靠性是999，你们是999999，为什么?你们肯定是短版，因为他们是整个系统服务的999，乐视还没有到999，我所服务的还是在99。

关于传统的SAN和NAS的问题，这实际上是传统的讲分布式的云的存储和架构会提出的一个例子，但是实际上很多公司还是用别的一些公司做，这引发我们对存储架构演进的一个思考。比如今天我们讲AFA，我们AFA整 个的全闪存架构，我们怎么看待全闪存，其实我们在买之前会有一个评估，全闪存并不是一个新的东西，它实际上是一套基于硬件和软件，包括软件定义网络，软件 定义存储，包括软件定义工作空间。今天我们看到，我们自己用我们自己的业务定义闪存阵列。我们自己看什么是闪存的时候，乐视之前用了很多的场景，我们对于 数据的二级存储包括很多自动的分级存储，包括冷热数据的自动分离已经做了很多方案。今天我们看到随着技术的发展，当然有一个技术我们比较关注，在两年前， 叫做光连接，就是网络通道的速度一直没有改善，其实我们今天看到，我们在关键场景上的一些磁盘的延迟，这时候单一的磁盘SSD已经无法解决这个问题了，这是我们看到更新的技术。所以，我们会通过三个层面来看，通过三个层面可以回顾一下刚才几个厂商讲的共同点。

第一、固态硬盘，你要关注的点是什么?实际上它就是一个芯片，加上存储，没什么，对我们来看就是一些物料成本。大家也都知道，乐视最近特别热衷于做物料，不过大家可以放心，我们不会做我们不擅长的东西，但是我们会对消费者提供更多的可能会产生的一些纯闪存的应用。

第二、Flash的一些架构和类型，通过包括工艺、生产成本，可能都是用NOR的形式做闪存，NOR的形式，我们做了一个排名，通过排名大家可以看到，你不做价格考虑的情况下，哪一个更好一些?

热心观众回答道：AFA。

薛伟：你说的太高级了，我指的是单层单元闪存，eSLC、每单元存储两位数据，还有eMLC。

回答：我觉得可能是第四个好一些。

薛伟：每单元存储两位数据和每单元存储一位数据，谁的性能更高一些。我们以用户的观点出发会看一些设备厂商，看他们提供哪一类的闪存的技术。实际上我们从厂商的观点，我相信他们过多会中庸之道解决问题，你们一定会选择主流的设备。实际上我们发现，X86时代，发现整个磁盘速度已经出现瓶颈，这时候我们实际上有一个简单的方案，就是把原来的磁盘阵列换成闪存阵列，全闪存阵列并不是多复杂，只是一个成本的增加。而这个成本增加，乐视到今天非常维护广大网民和股东的利益，我们的TCO一定考虑的非常精细，我们成本增加一定是在其他方面去换得的这种价值，这里面有那些价值呢?

其实刚才很多专家都讲了。第一、我们对于IOPS的价值，还有一个是节能的价值，我们可能会自建我们自己的数据中心，第三个就是低延迟的价值。

我 们看一下具体优化了哪些层面?第一个层面，核心存储层。什么是核心存储层?就是我了给用户提供上传，如果大家都上传，这个路就堵了，所以我们用异步存储， 就是第一步存到一个位置，第二步再把这个位置异步往整个数据中心。第一步存储的时候，就要有数据存储成功的技术。我们另一个高手前两天讲了一个他们如何优 化他们阿里云的存储，你如何定义一个副本的成功，我们考虑全闪存之前，遇到很多极致的软性的方案，只要有两个副本成功了，就认为你是成功了，它是在一定程 度上提升性能。但是，提升和优化是一个软硬兼施的过程。这时候就通过全闪存阵列提升我们的性能，五倍到十倍。第二、对读的优化，这时候我们也是通过我们的AFA的解决方案提供产品的需求。

第 二、包括我们的核心数据中心的部署，刚才我们看到外边很多的厂商列出了，包括数据库闪存的加速方案。数据库在互联网公司是哪个场景都会有但是是不是所有的 都会涉及到，并不见得。我们在一些关键的通过软件集成的解决方案仍然发现它有瓶颈的地方，比如个人云的服务中心，比如我们对整个的上传的神经网络的管理， 这时候我们发现通过软件刚才介绍的什么读写分离，包括加缓存等等都解决不了，包括优化数据之后引擎也解决不了，我们还回到软硬兼施，通过硬件的方案把核心 数据中心部署在AFA的基础上，这可以提高很大的性能。其他的方案特别多了，包括磁盘性能的效率降低，比如说我们在系统设计的时候就考虑到如何帮磁盘的操作完成内存的操作。

下面看一下我们作为乐视的云存储平台它能提供的场景。一个相当于混合云状况，面向企业，面向个人云。一个是，乐视云给个人用户提供的一个乐视云的产品，包括乐视云盘，TV版，包括Pad版， 每一个应用接口的后面必然会导致一个应用的需求。如果让你设计一个乐视的云存储平台，你关注的点是什么?首先，一定要支持视频网站的上传原理，然后能够被 大家播放。视频从上传到播放整个的环节都是跟存储有关。从云存储的角度来讲，比如我们今天解决了自己的问题，乐视网其实还有一个对外的SaaS平台，京东、淘宝，他们所能提供的视频都是由乐视支持的。今天云存储肯定是一个多点上传的系统，这一点实际上跟我们个人存储还不太一样。大家知道4399是一个做游戏的，游戏的视频肯定每个人跟每个人不一样。但如果将来有个人云存储，比如说我们今天可能看过《变形金刚4》，很多人并没有去现场看，你可以看看你的云里有没有?当云里还没有的时候，在场的人可能有十个人都在上传《变形金刚4》，如果当十个人都在同时上传，因为着容量的大小可能需要传几个小时，通过我们在后台的全网调度的跨度和判断，我们把《变形金刚4》分开，假如分200片，每一片的数据50兆或者100兆，用户分开上传。

在整个视频存储里边，包括对外企业的一些提供的存储服务，刚刚说给企业提供存储服务，包括云视频的网页播放的，还有包括S3的API，像我们一直讲亚马逊的服务。其实我们真正发现单服务于亚马逊的用户其实并不多，还有包括个人云盘的SDK的服务，这时候我们会创造一些云服务的场景。

关 于我们设计场景时候的思考，第一、如何把我们的场景形成一个通用场景，我们会把一些业务特殊的内容通过调度，通过一些组件的借口扩展的方式增强;第二个， 存储永远是一个时间换空间的问题，这个理论是不是大家认同?这个时间换空间的问题，今天硬件廉价到一定程度，我们通过硬件的堆积解决我考虑到的这个问题。 第三个问题是运维的难度，每一个新的基础运用都会对运维提出挑战，实际上我们在后台也是通过自动化的运维通讯，通过运维的分节管理解决这些问题。

还有一点就是有中心，无单点的双环有机云存储架构思路。它整个就是一级存储，一级存储环会用到AFA的技术。里面介绍了一些全网的上传方式，包括多线程的，包括POST的方式。所以引发这么为什么乐视云要用全闪存的讨论?这其实就是我们对机型的考虑重点是什么。以前我们考虑SSD、SAS、SATA，后来我们考虑通过SSD的分级。这是我们对环状存储的介绍，这是我们讲用户在上传下载和企业用户上传下载中，涉及到的网络多通道的概念。

我们看到很多云视频架构，包括国美都在用我们的云平台，做一个视频网站非常简单，但是为什么这个简单的背后实际上有大量的基础支撑，这是因为你所上传的位置一定有我们的云的上传节点，这个上传节点我们之所以提供可以提供低延迟，高的IOPS是因为有AFA的技术。下载的时候，之所以能加速，也是因为很多的细节会遇AFA。乐视生态后面这几块，包括乐视的体育，乐视影业其实都在做这样一个事情，通过云去实现。

最 后就是个人云场景，个人云场景比企业云场景还要复杂，还要提供高可靠。这个需求的场景，包括数据在线的一站式的服务体验，比如数据的音乐的可播放，视频的 可播放，以及之间的文档的在线编辑等等一系列需求，这种个人生产的数据与后面一些控制流，数据流，以及日志流，还要进行分析数据。这里面如何通过AFA支持大数据中心，有三个分类。第一、我们对于个人云比如一个相册图片来讲，我们有算法的识别，数据的聚合，包括资源的推荐等等。最后乐视把基于AFA的实时的一些吞吐技术应用到很多行业，最后通过大数据的精准定位，提高我们投资行业影视的把握，刚刚我们获得《小时代3》的热播的喜讯，后续还会投资的一些片子，谢谢大家!