奥思数据(OStorage)是国内专注做对象存储的存储公司,有人说OStorage就是对象存储,其实O的含义既有Object,也有Ocean海量,还有Open开放的意思。由于专注,所以,非常懂对象存储。
在李锋的演讲中讲述了许多对象存储的优势,发表了对象存储的一些独到的观点,令人眼前一亮,比如说软件定义存储不一定便宜,解绑定是伪需求等。
这次演讲注重要说的是对象存储在安全方面的优势,包括数据安全和数据防病毒方面的优势,此外还介绍了对象存储在做版权保护,轻松实现两地多中心的优势,演讲内容干货颇多。
以下内容根据奥思数据解决方案总监李锋演讲实录整理:
各位下午好,我们是国内一家专门做企业级对象存储的公司,我们今天谈安全的对象存储,一个是对象存储,一个是安全。第一部分讲对象存储的背景,第二部分讲如何解决安全问题。
新一代对象存储的概念从AWS的S3开始的,很多很多用户有很多很多数据,传统的存储技术都搞不定,只能用对象存储解决,2006年、2007年概念出现,之后才开始慢慢向其他的运营商互联网服务发展,接下来往企业渗透,这是对象存储的大致过程。
我们说对象存储是一种典型的软件定义存储,最基本说法是用最基本的硬件构成一个集群,各个厂家阐述都不一样,从我这个角度来说可能有两个地方:
第一,我为什么要用软件定义存储,有的说便宜,这点我不是特别同意,首先软件定义存储不见得就比集中存储便宜,这里面贵的部分是硬盘,硬盘其实都是一样的。
第二点就是软件定义存储的好处在于可以解除绑定,这点我非常不同意的,软件定义存储作为甲方用户来说,我恨不得要绑定一个厂商,要给我们负责任,要给我们做服务,不可能说不找一个厂商,所以我觉得解除绑定也是个伪需求,这个并不是真正的它的价值所在。
那软件定义存储的价值在哪里。在于它能提供过去存储功能做不到的,获得新的价值。这里面我们就以对象存储为例,我们来看它是怎么获得新的功能,我们举几个场景:
第一个百度云盘,百度云盘号称有4亿注册用户,它上面存的数据量巨大无比,很多人都把自己的照片、小视频之类的传到上面,如此规模数据量,上传下载量,存储如何实现,这是一个场景。有人说这就是运营商的场景,不管是百度云盘还是阿里云也好,我企业里面用不到,不过我们有新发现,比如说银行,银行原来的数据量并不大,而现在的银行大量出现影像系统,开户照片,说话录音,所有的东西都要档案电子化,这时候银行的数据量就极具扩展,而且文件数量是以亿计的。再比如监控,监控系统现在搞人脸识别,实现方式各种各样,有一种方式把监控的每一秒的50帧变成50张照片然后搜索,这时候数据量急剧扩展,所以,企业数据的数量,文件的数据还是数据空间的需求量,都是开始极具的膨胀。这个时候面临像百度云盘一样的场景。
第二个场景,我们读取文件的行为习惯已经发生了改变,过去我们用复杂的结构,是为了随机读写文件的一部分来做的,而这个动作我们在三四十年前定义的,那个时候处理量非常小。而现在我们的做法呢,因为我们现在性能非常大,现在出了一张照片不可能取一部分,文档也是这样,视频也是这样,是以一个文件进行上传下载,这个动作就变的非常简单,变成了普遍的要求。
第三个,对象存储是云原生的。对象存储的一个最根本的概念,第一没有目录,目录是文件系统的概念,对象存储里面对应的是容器。第二我存取直接用API实现。这时候解决了很多问题,第一个问题就是可以到扩展到百PB级,在奥思数据的OStorage对象存储系统中,一个容器放十亿个对象的性能只比放一个对象下降不到20%。另外一个问题,HTTP没有状态,可以不用事先建立连接,好处在于不管同时存取的人有多少,存完了我这个动作就做完了,特别适合广域连接,是很好的跨区域存储,国内外都有提供对象存储的运营商,其中也有我们的客户,运营商会建立一个跨城市甚至全球的存储系统。
讲完了对象存储,再来看一下安全性的问题。
在企业里,安全跟其他部门是分开的,安全是个独立部门,是一个成本中心,因为安全这个东西做到多少才能够,这是一个大问号。第一安全这个事特别复杂,特别麻烦,操作系统是不是安全,网络是不是安全,应用的框架是不是安全,写的代码是不是安全,一堆事。第二就是成本中心,需要花人力做很多事情,而且没有产出,安全还特别贵。比如企业里等保的认证要比ISO9000认证贵好几十倍。
我们做对象存储的时候考虑安全问题,解决分成两个层面,第一个我们叫safety,对存储来说就是数据的可靠性和服务的可用性。第二个是security,安全性,包括你会不会受到攻击,受到病毒的侵害。
安全方面有很多解决方案,不过已有的安全方案都是针对传统架构,对象存储要提供服务要用新安全办法解决。针对数据的可靠性问题,这有两种方式,现有的存储集群有两种,一种是集群里面有控制节点,奥思数据OStorage对象存储选用的是全对等架构,这是为了达到最高的可靠性,坏掉任何一个节点都没问题。可靠性的问题用全分布全对等的架构解决。
第二,访问的安全性要解决这样几个问题,比如说加密,在传输过程中走加密通道,在落盘的时候用一个加密软件,加密的系统可以按照用户要求来换的,不同的行业,不同的重要性的数据用户可以定义自己的加密模块,奥思数据OStorage对象存储在这里提供了插件机制,非常灵活。
病毒杀毒以前的做法是对一个文件进行杀毒,文件进来用杀毒软件去检查,写到盘上扫描硬盘,对象存储怎么杀毒呢?奥思数据的OStorage的对象存储可以把杀病毒的引擎放在中间件里,一个文件在写到硬盘之前,没落盘的时候进行杀毒,杀毒之后再写到盘上去。另外,由于对象存储存的不是文件,而是对象,对象把文件包裹起来,没有文件也没有目录,这叫做病毒免疫,即使这是一个病毒,但由于是被包裹起来了,病毒无法运作,从而防止病毒大规模破坏。
视频网站有版权管理的需求,用户请求一个视频,视频的数据出去的时候,对视频打一个不可见的水印,会把请求者信息留下,如果视频被下载了又传给别人了,是可以被检测到的,这是一个非常典型的版权保护方式,这在奥思数据OStorage对象存储里面非常容易实现,因为可以选用插件对用户读取的数据进行后处理。
最后分享一个银行的场景,银行里把大量的非结构化的数据放到两地三中心,或者三地六中心,数据可以在A地写入读出来,也可以在B地写入读出来,但在系统里面都是同步的,就是说在内部实现一致性,而且是跨区域的,完全不用任何其他软件就能实现银行的两地三中心,或者四中心,甚至五中心。
我今天就讲这么多,有问题的话我们接下来讨论,谢谢。