浪潮存储资深架构师 叶毓睿、明勇
对于人类社会而言，最有价值的是人才；
对于数字世界而言，最有价值的是数据；
对于承载数据的存储而言，最重要的是稳定。
浪潮存储在提供极致性能的同时（最新的SPC-1数据，16控存储超752万IOPS，8控存储超330万IOPS，均在各领域居全球第一），让人印象深刻的还有它的稳定，下面我们就来解析一下浪潮存储在SPC-1里的极致稳定表现。
SPC组织是存储行业最专业的测试机构，对于运行在线类业务的存储，推出了SPC-1测试规范，测试内容主要包括metrics（包含Sustain长稳测试、Repeat压力测试）、persistence测试，其中metrics主要关注存储系统的性能和稳定性，persistence主要关注数据一致性和系统可靠性。测试流程如下图：
SPC-1测试流程
SPC-1的负载由3个ASU（应用存储单元组成），3个ASU模拟了不同的应用存储区域，包括临时存储区域ASU1、固定存储区域ASU2，日志存储区域ASU3，一共对应8个IO stream，业务模型如下图：
整个SPC-1测试既非常科学，又非常严格，涵盖了存储系统会遇到的各种压力模型，最真实的反映了客户在线业务的需求，除了性能这一指标外，在系统稳定性和可靠性上也提出了极高的要求，比如8小时的持续烤机测试，不同负载下的稳定性测试，静默测试，循环压力测试，反复掉电测试等，中间不能出现任何问题，浪潮存储经受住了严格考验，交出了一份令人满意的答卷。
为什么浪潮存储能做到极致稳定呢？
下面我们就从方案架构、软件架构、硬件架构、可靠性测试等方面来逐一剖析。需要特别说明的是，我们关注存储的稳定性的时候，许多人只是注意到存储方案和软件架构，实际上存储硬件，如架构、设计、工艺，是否能经受严苛的环境和极限的考验，也同样重要，在本文的后面会详细阐述浪潮存储从架构及软硬件方面如何确保稳定性的。
其一，如何从存储方案上做到极致稳定
首先从方案架构来讲，浪潮存储提供了业界最为丰富的方案级的存储保护策略，比如同步异步复制、双活、两地三中心等功能。
在短距离（<300公里）场景下，浪潮提供存储双活和同步复制解决方案，并且在业内创新性的实现了免网关双活（如下图右所示），减少了IO路径，降低了时延，更重要的是，减少了故障点，提高了系统稳定性，两种方案对比如下图：
在远距离场景下（>300公里），浪潮提供异步远程容灾方案，利用高性能磁盘阵列的高级数据复制功能，实现超远距离的数据远程复制。
浪潮存储的异步远程容灾方案
针对最关键的业务，业务连续性和数据安全性要求非常高，浪潮提供了两地三中心存储解决方案，在生产机房做双活高可用，同时在异地做远程数据容灾，最大程度的保障了业务连续性和数据安全性。
两地三中心存储解决方案
其二，如何从软件架构上做到极致稳定
从软件架构讲，为了做到极致稳定，浪潮存储采用了统一、极简的平台，可以在一套软件栈上实现SAN和NAS的统一，实现基于机箱带内管理和带外管理的统一，实现独立机头和盘框一体架构的统一，实现本地存储和异构存储的统一，除此之外，浪潮在很多软件特性上也做了独有的创新：
浪潮存储采用统一、极简的存储软件栈
- 所有功能模块，均采用轻量级用户态模式，减少了用户态与内核态的直接交互，大大降低了对内核的影响。一旦进程发生故障，可以在用户态进行进程重新拉起，进行轻量级的故障恢复，不必进行控制器复位操作， 从而实现系统的IO连续，不中断，提高了系统的稳定性
- 采用分布式Raid，无单独的热备盘，硬盘故障时其他所有硬盘同时参与重构，大大降低了硬盘重构时间，降低了二次故障带来数据丢失的风险
- 所有固件可在线升级（比如BIOS、CPLD、Oses、FW、BMC等），确保客户业务平稳运行，最大程度的降低了升级操作对客户业务的影响
- 丰富的故障检测手段，比如软件版本检测、误码检测、带宽检测、速率检测、慢盘检测等，可以确保系统在出现任何故障的时候，能第一时间找到问题根因，快速更换故障部件，尽快使系统恢复稳定
- 丰富的存储安全特性，比如本地复制、克隆、快照、镜像等，确保存储安全稳定
- 针对SSD的应用，业界一直有个难题，就是如何在SSD上实现数据均衡分配，浪潮存储针对SSD进行单独的固件优化，会选择较新的颗粒进行擦写，较老的随后擦写，实现全局智能动态均衡，延长SSD寿命
- 端到端的数据一致性保障，数据在存储系统传输中，经过了多个部件、多种传输通道和复杂的软件处理过程，其中任意一个环节发生错误都可能会导致数据错误。浪潮存储提供了从主机HBA卡到存储阵列再到硬盘的T10 PI校验，保证了数据完整性
- 有很多客户在做IT规划的时候，总是会不免担心电源不稳的情况，而这在生产环境不可避免，浪潮存储也提前考虑到这种场景，并采用业界领先的AC电源防抖技术，在市电短暂掉电时（<5s），存储仍能对外提供业务，大大提高了系统的可用性
其三，如何从硬件架构上做到极致稳定
从硬件架构讲，浪潮存储沿用和创新了业界先进的技术和理念，从整机部件，到硬件工程，到高速互联，到电源、固件，浪潮都有大量的专利，积淀了非常丰富的实践经验，并创新性的应用到存储产品里
浪潮存储具备从材料到整机，全方位硬件设计能力
1、部件在线自检，及时发现隐藏故障，做好提前预防，比如针对BBU，系统每隔一段时间会进行一次故障模拟测试，以便隐藏的故障能及时发现；
2、丰富全面的温度感知能力，从芯片，到部件，到板卡，再到机箱，存储提供了最为丰富的温度感应系统，可以感知到任何一个芯片，任何一个部件出现的任何温度异常， 以便能第一时间找出故障点，尽快使系统恢复稳定；
3、所有元器件及模块均采用业界最严格的可靠性设计标准，比如电阻、电容等元器件的耐压值大于额定工作电压的2倍，电源模块实际功耗不超过额定功率的70％，大大降低了超规格使用带来的失效风险，有效提升了系统的稳定性。
4、背板采用无源设计，最大程度的减小了元器件失效带来的整体故障风险，大大降低了故障率，保障业务长期稳定运行；
5、所有部件均提供冗余，控制器、电源、风扇、BBU等主要部件均有冗余，以确保在出现任何单一部件故障的时候，不会影响客户业务；
其四，如何利用可靠性测试做到极致稳定
除了架构及软硬件上的设计确保存储的稳定可靠，浪潮在研发和生产中还做了很多“脏活”，正是这些“脏活”，进一步确保了浪潮存储的极致稳定，比如：
在研发过程中，所有产品都会经过严格的环境测试，比如高低温极限测试、震动极限测试、八角测试（温度、电压、时钟频率的任意拉偏组合）、温循测试、湿度测试等业界最苛刻的应力测试，在八角测试里，会特地将相关参数拉偏，比如温度下降到-10度或上升到50度（正常运行是20度左右），电压拉低到3.2V或拉高到3.4V（正常运行是3.3V），频率拉低到24.99M或拉高到25.01M（正常25M），实现三种参数的任意组合，进而找到系统的最薄弱点。
极限震动测试
存储和其他电子产品一样，其故障模型也会遵循浴盆曲线，在产品刚上市时，故障出现概率较大，度过早期运行后，故障出现的概率会大大降低，因此为了让产品在客户处稳定运行，必须把早期故障筛选出来，浪潮存储在出货前，会经过老化测试、常稳测试等烤机测试，以确保早期故障能在出货前有效拦截，降低产品在客户处的故障率，提升产品在现网运行的稳定性
电子器件故障浴盆曲线
硬盘是易故障部件，也是各存储厂家和客户最为困惑的难题，为了解决这一难题，浪潮在生产出货前会经过严格的性能和稳定性测试，比如带宽测试、访问时延测试，可以确保所有出货硬盘的质量得到有效保证，据统计，浪潮存储的硬盘平均故障率不到0.1%（即1000块盘，一年内最多有一块盘故障），大大低于业内平均水平。
浪潮存储在SPC-1里体现出的极致稳定
存储是一个极为复杂的系统，不仅要有成熟的方案架构和软硬件架构，更要有匠心般的追求，在最细微处也要做到极致，才能给客户提供最为稳定可靠的系统，浪潮存储很好的践行了这一理念！
核心技术总结
浪潮存储：
拥有最为丰富的方案级容灾，比如双活、异地容灾、两地三中心等，保障存储方案级的极致稳定。
拥有极简的软件架构平台，实现多种场景下的架构统一，并通过丰富的存储高级特性（比如快照、镜像、克隆等），提供产品软件级的极致稳定。
拥有丰富的硬件全栈解决能力，从底层部件，到硬件工程，到高速互联，到整机交付，拥有大量的设计经验，提供产品硬件级的极致稳定。
拥有唯一落户在企业的存储国家重点实验室和存储工程技术研究中心，提供业界最严格的部件筛选及整机可靠性测试，保障产品工程级别的极致稳定。
感谢一些同事的分享或启发包括Rain Zou; Kenny Peng; Will Wang; Song Yang; Steven Meng; Tingmao Han等。
