清华大学舒继武:超融合架构的前世今生与存储挑战

12月9日,由DOIT传媒、存储在线联合主办,主题为“新存储、新常态、新应用”的亚洲第一大存储盛会 —— 2016中国存储峰会在京举行。在当下午的超融合应用论坛中,中国计算机会信息存储技术专业委员会副主任、清华大学计算机系教授舒继武深入探讨了超融合架构的演变与存储所面临的挑战。

qq%e6%88%aa%e5%9b%be20161214151216中国计算机会信息存储技术专业委员会副主任、清华大学计算机系教授 舒继武

数据中心存储架构演变

首先来看存储和计算融合的演变。

存储和计算融合有一个演变的过程,但演变过程以及大数据中心架构存在一些关键问题。舒继武认为,存储计算融合应该有两次虚拟化定格。上世纪出现了第一次虚拟化,从计算机角度而言,那时的计算虚拟化只是在操作系统中做了很简单的改变,做了一些编码。早期著名的虚拟机生产商包括QEMU和VMware。但当时的虚拟化基本性能不是很高。

从存储角度来看,最具代表性的是集中式共享存储,例如SAN和NAS。第二次虚拟化相比第一次虚拟化有很大的变化,计算角度就是虚拟机的硬件辅助虚拟化,计算角度上,出现了虚拟机的硬件辅助虚拟化,如Intel的CPU虚拟化(VT-x)和IO虚拟化(VT-d)。存储角度来说,较为热门的是软件定义存储,包括Server SAN和分布式存储系统。

因此形成了多种计算存储的架构:首先是物理机+集中式共享存储,这是传统的SAN架构数据中心。发展到虚拟机+集中式共享存储(即VMware的桌面VDI系统),再到物理机+分布式存储(大数据分析平台和高性能计算),还有虚拟机+分布式存储。

整体上的存储架构演变过程,舒继武总结为“三个方面三次演变”,分别是数据层面、元数据层面和接口层面分别对应的是从集中式到分布式的演变、从单一元的数据服务器到多元数据服务器的演变再到从单一的存储接口到多存储接口的演变。

超融合架构现状

什么是超融合?超融合架构有哪些特点?现有的超融合架构以及超融合在存储上的核心变化有哪些?

IDC定义的超融合系统是一种新兴的集成系统,其本身将核心存储、计算和存储网络功能整合到单一的软件解决方案或设备中。

相当于把很多资源,如存储资源和网络资源等等整合到单一设备中,设备强大的功能能够支持几百种数据访问,这是超融合思想。实践过程中,不同的厂家方法不一,但是有些基本思想是一样的。单一设备功能很强大,用一些软件方法能够把资源库建立起来,使得扩展性较强,成本比较低。

相对于传统的IT架构,超融合架构具有天然优势:

按需采购:无需一次性大规模采购,按需采购 

快速交付:从上机架开始30分钟内即可交付使用

简化管理:单一界面,统一管理计算、存储、虚拟 化等资源,运维管理简单化; 

弹性扩展:分布式架构,线性扩展,无节点数限制 ,无单点故障,内置备份、容删;

单一支持:单一厂商保障所有软硬件,包括计算、 存储和虚拟化的支持;

超融合架构分为三类,如图所示:

1

2

3

4

超融合架构对于现有存储的挑战

第一个挑战就是存储的横向扩展。很多厂家都声称支持扩展,实际上往往到一定节点,飞行线会增加,以及一系列问题的出现。最低配置2到3台服务器,支持无限扩展。

第二个挑战是存储形态单一,存储软件栈过长,现有的超融合架构仅仅提供Server的块存储访问接口。无法适应大数据中心对于文件,数据库等多种存储访问的支持,对于在虚拟机上运行的程序,将面临更加冗长的虚拟化软件开销。

第三个方面挑战,就是I/O资源和计算资源的协调问题。现在的系统网络很快,网络太快,计算资源就有竞争,网络一旦慢下来,运行则不稳定。随着网络设备和存储设备的性能的提升,存储和网络对于计算资源的竞争将成为导致虚拟机运行不稳定的首要原因。还有基于中断机制的网络请求处理已经不能满足高速网络的需求。另外中断机制的磁盘访问已经无法完全利用高速NVMe的带宽。