土豆的视频云:存储与交付的混合是核心

如今,视频这样一种新媒体方法已经被广大的网络用户所接受,视频网站的数据量和访问量也迅猛增长,于是在云计算的大时代下,不少国内视频网站已经逐步开始视频云平台的部署,不仅有助于解决视频网站的技术和成本难题,而且让受众可以随时随地、快速地观看视频内容。在不久前,土豆网产品技术副总裁黄冬受邀介绍了土豆网在视频云、云存储和云交付方面的应用实践,“诞生于互联网世界的土豆网,现在以云计算为基础,提供视频云的服务。与新浪等互联网公司相比,以视频为基础的土豆网在存储、计算和交付方面都会有所不同。”

土豆的视频云:存储与交付的混合是核心

据黄冬介绍,土豆网每天有2亿次的视频播放量和3500万独立访客,每月有2.3亿用户覆盖,现在视频总数超过7500万,有超过1亿的注册用户。“用户上传和快速分发、小部分内容被集中快速地索取,这是整个平台两个非常核心的地方。”

如何支撑整个平台如何庞大的用户和流量?从技术和产品形态上讲,土豆网的云包括三个部分加一个服务:快速的并行计算、大容量存储、交付及访问,三者结合起来就是视频云服务。

与亚马逊EC2弹性云计算不同的是,土豆网主要针对三件事情做了优化:优化,上传、转码和分发,最核心的是转码。也就是说,首先用户可以很容易地把数据上传到土豆网,其次把大量的视频转换成可观看的内容,第三是把这些视频分发让业务可以加以利用。

土豆的视频云:存储与交付的混合是核心

与亚马逊S3不同是,土豆网选择就近上传的方法,有多个转码集群,计算采用单一编解码,多种格式输入和输出,但用不同码流多路径分发到存储节点上。

在土豆运用云计算的实践中,有几点是十分重要的。第一件事情,就是一用户来源区域为核心的上传调度,其中DNS以及七层的二次调度是互联网最基础的 也是帮助用户获得数据很关键的部分;第二,基于多服务器多核心的并发转码,其中采用了任务调度和优先级机制,发送到多个服务器并进行转码;第三,是核心的 MateDB管理,这需做提前的去重和版权管理;最后,是跨网络、跨机房和跨运营商的快速分发,这也就是云中“计算”的部分。

黄冬认为,未来视频云有三个可以不断优化的方面:

首先,视频转码的优化,只有对各种输出做好优化才能在最终交付的时候兼容足够多的设备,减少CPU的损耗,此外加快转码;

其次是视频计算的大IO优化,硬盘IO优化。土豆曾经尝试过用128GB甚至更大的内存替代磁盘,但有时候用户上传到一台设备的数据会超过 128GB;另外尝试使用固态盘,读性能虽然非常出色,但既写又读的时候性能相对较差,因此黄冬认为这是未来的一个竞争点,“对于硬盘I/O我们还没有找到一个很好的机制,相信未来这是云计算优化的关键,谁做得好谁就会抢得先机。”

最后,分布式MateDB的改造,做好异地复制和同步机制。黄冬认为,未来像EC2这样纯粹在云端的计算差的就是存储,而Hadoop这样将设备CPU用于本地存储计算是云计算的最好模型。

存储与交付的混合是核心

据黄冬介绍,土豆网云存储和云交付的模型是将自己的存储放在运营商那里,每一个运营商内部会有若干个保存着视频文件的小组,小组之间有不同一组机器 在不同IDC中有特殊的通道通过调度专门做热交换。这个调度的流程是,每当有用户要访问一个视频的时候,先看到哪一个小组调度最快,再看这个小组到哪一个 数据中心快,其次是这个数据中心内有没有文件去完成这个操作。

土豆的视频云:存储与交付的混合是核心

热交换的部分是将热点数据放在节点中的热点部分,让所有服务器所有硬盘片区都有这些热点数据,这样用户就可以最快速度地读取这些数据。

“因此,土豆的计算其实就是纯粹的文件编解码工作,最核心的部分还是在存储和交付。它把整个互联网当作一个大型计算集群,并虚拟成了一套存储系统。”

土豆的视频云:存储与交付的混合是核心

云计算给存储带来的变得不言而喻,“以前一台计算机里的硬盘,如今在云计算中变成了一台服务器,一个文件里的分区表变成了一个MateDB,原来的磁盘控制器变成了调度器,文件系统则变成了云存储。”

在黄冬看来,存储对于土豆网的云计算来说是至关重要的,交付与存储应该走向混合。“存储是最核心的地方,它既应该是存储也应该提供交付。互联网最公 共的HTTP的协议应该是存储的最主流协议,缓存是在节点级别的缓存,而不只是在内存级别的缓存。未来,我认为云存储一定是基于HTTP协议的大容量存 储,最核心仍是存储与交付能够并行化,这样才能够解决存储容量大、交付时单一视频或者单一存储IO比较密集时的问题。”

在土豆而言,一切云计算都是围绕视频展开的,对外要支持多个平台、多个协议、多个码流,用户看不到具体的存储、计算和交付方式,但他们能体会到是多平台、多协议、多个码流的视频观看体验。

总的来看,土豆的云视频服务主要基于两个入口。第一个入口,用户可以简单方便地上传和转码,这其中计算部分是特别优化的云计算——不是通用的而是一 个专用于编解码的云计算。其次,存储和分发提供大容量的高效的云存储和云交付。所以对土豆网来讲,与存储和高效支持多协议相结合的云视频交付,是未来一项 关键的工作,也是未来的一个愿景。