存储是云计算的基石。
搭建云平台好比建设一个住宅小区,
纵然房子盖的再高,装修的再豪华,
周边的设施布置的再高档,
如果房子的地基不稳不牢靠,
房子随时可能成为“楼倒倒”。
这样的小区不可能吸引人们入住,
这个小区变得没有任何意义。
搭建云平台也是如此,
如果没有选择合适的存储,
“基石”不牢靠,还谈什么云计算?
一大早,张工到公司刚打开电脑,电话就响了。低头一看,是XX工程技术学院网络中心的刘老师。
“刘老师,早上好,这么早呀!”
“早上好张工,想请教几个存储的问题。”
“刘老师您太客气了,我们一起探讨一下。您想了解存储,是有什么业务需求吗?”
“是的,我们打算搭建一套云存储平台,并计划将这套云存储平台建设成校级的统一云存储平台。前期,我们会将学院级别的二、三级应用数据迁移到云存储上,比如各个院系的网站、科研项目网站、校内论坛等。接着,我们计划实现所有实验室、电脑机房全部实现VDI,这些虚拟桌面就运行存储在云存储上;图书馆的相关业务系统,特别是电子图书资源也会迁移到云存储上;我们还打算整合所有教学资料,包含文档、视频等资料都会放到云存储上,然后开发一套APP,让学生自由下载或者在线观看这些教学资料,同时这款APP还提供个人网盘功能。最后,我们计划将学校重要的系统比如一卡通、财务管理、教学管理等系统的业务数据迁移至云存储上。”
“听您刚才说的,我们这个云存储平台会做的很大呀。您没考虑过时下很流行的超融合架构吗?将学校的计算、存储全部迁移至超融合平台中,统一管理、按需扩展,这样不是更好吗?”
“超融合呀,我用过那个玩意儿,还真是不错。但是我们内部评估过,超融合不太适合我们学校的目前的需求。首先,学校已经买过很多配置各不相同的服务器,大部分都运行良好,资源还有富裕,如果按照超融合的要求去改造,成本高,费时费力;其次,学校内部有很多虚拟化平台,VMware、Hyper-v、KVM都有,很多系统已经运行很久了,老师都用习惯了,不想去换;同时,不少重要的数据库系统还是跑在物理服务器上,像我们学校的一卡通系统数据库做了RAC,目前运行在2台高配的4路服务器上,目前性能已经有点吃紧了,后续我们的一卡通系统如果跟微信、支付宝结合起来,绝对还要扩容服务器的;还有一点,教学资料、电子图书、个人网盘空间这几块对存储容量要求绝对高,根据目前不完全统计,我们学校的电子图书和教学资料的数据量已经达到500多个TB,如果加上个人网盘以及其他业务系统数据,这个云存储平台未来容量至少要1PB以上,从这个角度看,超融合并不太适合。”
“您说的没错,根据您刚才说的,超融合是不太适合,不过传统的存储应该可以胜任的。Dell SC系列存储能够按照性能、容量灵活搭配,自动的将数据存储在最合适的位置;同时借助先进的live volume技术,SC存储能够做到横向扩展组成一个大的群集,在群集中甚至可以包含不同型号、不同档次的SC存储。我们在某个省政府云平台就有一个成功案例,在存储资源池中就是用到大量的SC存储,这些SC存储利用live volume技术组成多个群集,分别供政务云、企业云和教育云使用,目前已经提供了近2PB的存储空间,您可以微信收一下,我可以发给您参考。”
某省级云平台三层架构图意图
“SC存储以及live volume技术我多少有些了解,这个技术的确不错,特别是能将多种不同规格的SC存储组成一个大的群集,这点非常多厂家都做不到。传统存储阵列我们内部也讨论过,也不是很合适。第一,我们跟开发APP的公司沟通过,他们提出教学资料、个人网盘这部分存储空间由对象存储提供,这点很多的传统存储阵列很少能提供;第二,数据安全性也是我们重点考虑的,传统的存储阵列主要还是靠Raid、快照、复制来实现数据保护,但是这种方式对于云存储特别是一些海量数据来说还是有点偏弱,硬盘故障、存储结点故障恢复起来都是非常耗时耗力。我们内部比较倾向使用软件定义存储(简称SDS)的方案,因为目前大部分的SDS都是支持对象和块,其次SDS自身带有很好的副本机制,我们打算利用SDS自带的副本技术实现数据的保护,针对特别重要系统的数据库数据,我们还打算利用SDS自带的复制工作实现远程数据容灾。所以我们内部定下来使用SDS的方案,但是选择哪种SDS方案,我想找张工你讨论一下。”
顿时张工的头皮有点发麻,SDS方案、极强的扩展性、高性能和大容量兼顾、需要同时提供块和对象访问、经济性…这么多要求,还真是有点棘手。张工抬头无意中瞟到桌面上一张宣传图片,突然灵机一动,有了!
飞哥联盟
“刘老师,您听说过Dell的未来就绪企业云联盟吗?”
“就是那个‘飞哥’云联盟吗?我知道,我参加过好几次Dell的宣讲活动,听说过Dell搞得这个云联盟。”
“是的。云计算还是一项非常复杂的工程,现在很少能有一家公司将云计算的方方面面做的很好,飞哥云联盟的成员都是云计算一些细分领域中做的非常出色的公司,将各家的优势联合起来,共同完善我们的云计算方案。XSKY是飞哥云联盟里面重要的一员,他们的主打产品就是基于Ceph的SDS。”
“你的意思是XSKY的产品适合我们,Ceph我听说过,不少基于Openstack搭建的云平台底层存储都选择Ceph,你能大概介绍一下为什么Ceph适合我们学校的需求吗?”
“没问题,我尽量简明扼要的说。Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式的存储系统。Ceph最初针对的目标应用场景,就是大规模的、分布式的存储系统。它的特性可以用这张图总结一下,麻烦您微信收一下。”
Ceph特性
“看上去Ceph确实很不错,比较符合我们的需求。”
“是的。Ceph最为核心的技术创新就是‘无需查表,算算就好’八个字。Ceph彻底放弃了基于查表的数据寻址方式,而改用基于计算的方式。简言之,任何一个Ceph存储系统的客户端程序,仅仅使用不定期更新的少量本地元数据,加以简单计算,就可以根据一个数据的ID决定其存储位置。这种方式使得传统解决方案元数据存在性能瓶颈的问题一扫而空。Ceph的几乎所有优秀特性都是基于这种数据寻址方式实现的。”
“张工,再问一下,Ceph本身是开源的产品,而且国内基于Ceph做二次产品开发的公司也很多,XSKY有什么优势呢?”
“Ceph的确是开源的,就好比Linux操作系统,这款OS也是开源的,但是在绝大部分生产环境中大家用的都是Redhat、Suse这样的商业发行版本,而不是纯开源的版本,为了就是稳定可靠、有用附加功能和除了问题能找到相关资源来支持。所以我们建议使用商业版本的Ceph也是一个道理。为什么推荐XSKY呢,给您看看这张图,麻烦您微信收一下。”
XSKY在Ceph开源社区的贡献
“2016年XSKY在Ceph开源社区代码贡献率是全球第三,包括前端时间为Ceph贡献了IB RDMA协议栈,进一步完善了Ceph支持传输协议种类,这都是非常了不起的成就,超过了很多传统的IT大厂商。”
“第三名?这的确很了不起。”
“是的,能够贡献这么多代码,说明这家公司对Ceph理解的更透彻,也就能够更好的基于开源的Ceph做更深入的优化。开源的Ceph界面也不是很友好,QoS这块做得也很一般,XSKY把他们的产品做的很容易上手,他们的产品部署一般2~3分钟就可以搞定;同时,还可以根据不同的业务实现数据平衡智能QoS。这些都是基于对Ceph有很透彻理解的前提下才能做到的,可不像有些产品仅仅在开源的基础上做些简单改动,重新包装一下就当成自己的产品发布出来。”
“这家公司的确不简单,我是要好好了解一下。对了,张工,如果我们学校选择了XSKY的产品,那么硬件方面有什么特殊要求吗?”
“如果让我推荐,存储服务器当然首选Dell R730XD。R730XD非常适用于同时需要闪存和大容量本地存储的业务环境,比如SDS(Software Defined Storage)。对性能要求高的块数据可以选择Fusion-io 闪存卡或者NVMe PCIe固态硬盘/闪存卡+2.5” 10K SAS硬盘组合,Fusion-io 闪存卡或者NVMe PCIe固态硬盘/闪存卡可以提供极致的IO性能;对容量要求高的非结构化数据可以选择更经济的SSD+3.5” 大容量7.2K NL-SAS硬盘组合,同时兼顾性能和容量。如果采用24 个硬盘和双阵列卡的配置,R730XD可以提供超过一百万次IOPS的性能;如果选择16 个 3.5″ 硬盘的配置,R730XD可以提供160TB的容量!”
“我们的R730XD也跟XSKY做过认证测试,我们的硬件跟XSKY的软件配合的非常好。您收下另外一幅图,通过测试结果可以明显的看到,在相同的硬件配置下,XSKY的产品要比开源的Ceph在IO性能上有数倍的提升。第一说明XSKY在性能上面优化的非常好,第二也说明XSKY的软件跟R730XD配合非常好,能够极大的发挥R730XD上的闪存性能。”
XSKY和开源Ceph性能对比测试
“性能提升这么多?厉害,厉害。”
“对了,我在咱们一个兄弟院校一个院系那边也推荐了一个类似的方案,他们也是做一个云平台,第一期计算资源由高配4路服务器组成,存储资源推荐的就是XSKY的产品,目前他们在测试XSKY的产品,我发给您参考一下。”
某高校院系云平台一期架构方案图
“谢谢。张工,你能否把今天我们聊的云存储先整理成一个简单的方案,还有XSKY产品的资料发给我一下,我要好好研究一下。过两天能否过来一趟,我们当面谈谈。”
“没问题,我这整理一下就发给您。对了刘老师,我还想再问一下,既然我们学校打算底层的云存储,学校整体的云平台没有打算规划吗?”
“云平台在选择方向上我们内部还有点争议,所以暂时没那么快,但是云存储学校内部已经确定了要先搞,毕竟存储是云计算的基石,存储没搞好,云计算肯定搞不好。”
“明白了,谢谢刘老师,我会尽快整理好资料发给您,到时候再跟您约时间面谈。”
挂掉电话后,张工暗暗松了一口气,刘老师说的没错,存储是云计算的基石。在云计算的时代,业务更加复杂多变,对存储的扩展性、存储的性能、数据保护有了更高更苛刻的要求,Dell硬件+XSKY 商业版Ceph软件组成的软件定义存储解决方案不失为一个合理的选择,该方案可以很好的适应并满足云计算时代对云存储的需求,充当好云计算的”基石”。