七牛UFOP生态发布实录
[导读]8月29日下午,由七牛公司主办的主题为数据重构未来的七牛·数据时代峰会在上海国际时尚中心继续举行。七牛DORA产品负责人周凌发布了新的产
8月29日下午,由七牛公司主办的主题为“数据重构未来”的“七牛·数据时代峰会”在上海国际时尚中心继续举行。七牛DORA产品负责人周凌发布了新的产品与解决方案,以下为发布实录:
周凌:各位来宾,大家好,我是七牛DORA的负责人周凌,今天有幸与大家分享七牛DORA的发布。我想先用几分钟的时间跟大家分享一下我们七牛的几个关键里程碑。
早在2012年六月份,七牛开创性的在国内推出了以图象处理为主,它的实时处理已经管道的特性,帮助用户解决了针对图片类处理问题,直接免除了用户自身开发投入。2013年3月,七牛推出了短音视频处理服务。有效的解决了短音视频转码的服务。2014年5月份,提供了多媒体转码方案。让我们简单看一下这三个方案,从图片处理,同步段音视频处理,多媒体转码,七牛预测到了图片多样化的处理需求。所以2014年9月,我们七牛推出了UFOP图片自处理的服务。
通过上午老许的演讲,大家已经知道这到样一个数字,时至今日七牛单日处理量超过12亿,能直接反映出数据处理类业务在市场当中旺盛的需求。所以关于数据处理这回事,七牛是如何从数据角度去思考去衡量的呢?这里我们看到的是用户在使用七牛数据处理服务时,一个最简单的模型,这里我要说两点,第一点是我们就近与即用性的原则。我们七牛部署哪里有存储哪里有计算原则。而即用性体现在每一位对象用户,无需要复杂的操作就可以完成储存应用。
第二单元是七牛微服务化。每一种数据处理单元其实都是一个微笑的服务,它的功能很简单,就是完成一个简单的业务功能,比如大家看到的这样一个处理模型,完成一张图片处理,经过了三个基本的处理单元,分别是坚定黄,裁剪、水银,得处理结果。通过管道,可以任意的组合服务。这种特点对于每个用户来讲,在设计方案的时候,大大增加了自由度。从而解决了业务方案大而全的问题。所以就近与与处理单元微服务化是我们七牛的两个特点,同时分为实时、异步。第一时间完成处理,并返回结果,典型的功能,刚才提到的图片裁剪、转码等应用。而异步任务,比如大尺寸的稳健的音视频的转码。七牛为这些耗时耗资源的任务,准备了高星梦的定制化的硬件设备满足客户的需求。
通过实时、异步的结合,每个客户可以灵活的根据数据的特点,来处理这些数据单元。构建这样一个系统,需要稳固的平台。这里要讲一下,如何做到每天处理12亿的图片。第一是容器技术,docker,第二是容器调度系统,对于每个用户来讲,最直观的印象,就是在处理速度上面带来的提升,以及可以非常有效的保障既有业务的高可靠性。最后是七牛的队列系,七牛引入了两种类型的队列,一个是公共队列,一个是私有队列。我们对于一部分成本有优先考虑的用户来说,合理的安排数据处理的时间段,避免数据处理的高分,这样带来好处是可以直接降低数据处理的成本。私有队列的话也很直接,简单的解决了客户数据处理上对于任务有优先级这样一个问题。
依赖于坚实的技术背景。我们的用户不在需要配置或者是管理单一的管理服务。把用户解放出来,做到真正的零运维。我们自定义计算的用户实现了按需弹性计算的这样一种计算力,用户可以根据自己的业务需求和策略弹性的调整自己的计算资源。因为得益于docker容器背景。七牛提供了一个高自由度的计算环境。计算的时间、时限,如果跟传统的平台提供的环境对比的话,我们这边的实现,不再与开发语言支持绑定在一起。
我们看到所有的这些特点所产生的作用,都可以有效的降低用户的使用成本,让用户用一种最经济的姿态开启自己的数据处理业务。
我们七牛的定位是要成为最开放最完备的数据服务的提供商。而开放则主要体现在数据处理的生态。所以我们七牛即将完成开放全新的应用市场给我们每个客户。所以我们DORA,就是我们的新产品,带给每个客户是什么呢?DORA带给每个客户是最前沿最新的数据处理技术。七牛会不断的与第三方的小伙伴进行更深度的合作,为每个客户提供从图片处理识别,音频处理识别等等非结构化处理服务。用户可以在平台上直观的管理自己的业务,按需使用。各类的统计信息完全一目了然。而技术支持,对于任何用户来说,都是非常至关重要的,你必须要知道你出了问题,怎么解决,找谁解决。DORA整合完备的技术流程,让我们用户遇到问题的时候,都可以有高速有效的途径得到服务商或者是七牛的帮助。
我们的开放同样离不开生态,服务商是最至关重要的。DORA带给每个服务商完整的开发平台。从每个计算单元,从研发、测试,到完成上线的产品化,以及日常的运营,DORA提供了完整的一站式的用户体验。
所以我们的DORA到底是什么?DORA提供给我们用户零运维,最便捷并且可扩展性最强的自定义数据处理的能力,而我们的服务商和我们在一起,一起共建这样一个开放、丰富的这样一个生态服务的平台,所以DORA就是一个开放的就近计算力和数据处理服务平台生态的这样的一种组合。
我们看到我国的大学里面。有许多的实验室,有非常棒的针对数据处理的一些算法,但是并没有真正的商业化,可能缺少客户群。我们希望DORA给他们提供相应的支持,同时提供计算力。我们就在今天发布我们DORA实验室支持计划,提供给国内所有的科研和学校,只要他们有相关的数据算法,DORA将会免费支持计算,以及提供最开放最强大的用户资源以及运营支持。