目前，对闪存产品的测试和评价技术指标主要从功能、性能、可靠性、易用性等方面进行多维度综合测评，而不同的产品形态，测评的技术指标不一定相同。闪存作为行业高度认可的未来存储介质，其质量如何保障，是大家都需要考虑的问题，生产高质量的国产闪存产品始终离不开严格的测试和标准的制定。
—— 国家计算机质检中心存储测评实验室主任阳小珊
本文记录阳小珊在2018全球存储半导体大会暨全球闪存技术峰会上的演讲实录，主题：《闪存的质量特性及测试与评价技术》。阳小珊分别从对当前闪存市场的产品质量、产业发展状况以及有关闪存的测试与评价内容进行了深入分析。
以下为演讲实录：
我的演讲首先涉及到闪存产品的质量。作为用户和普通第二方、第三方怎么评价这个产品是非常关键的，所以题目重点是闪存质量特性及测试评价。主要从这几个方面来讲，第一是质量与产业链的关系，第二是闪存及测试现状，主要是国内现状，第三是闪存的质量特性，从多个方面评价产品，第四是测试与评价。这个题目原来是在设计的时候后面加了技术，因为涉及到我讲的面比较广，所以不需要深入讲测评技术。
第一个方面是质量内容，首先重点讲一下质量和国家发展的关系。质量，进入二十一世纪以来，行业和国家都非常关注质量的内容。作为国家级战略，这部分已经写入十九大报告。质量报告包括四方面的内容，第一是产品质量是坚石的基础，也就是说芯片，包括上面的应用产品是我们的重点。然后是质量保障、质量提升和质量监管，关于第四部分质量监管目前是国内改革的重点，行政许可基本放权，测试和评价是后面重要的监管手段，事前事中事后，通过后面的质量监管体现服务质量。
测试和质量的关系，谈到质量肯定离不开测试，测试对我们的技术研究、产品设计、产品制造和产品应用都是非常关键的，对我们最终的用户来说，产品的应用非常关键，所以里面涉及到不同的测试方案都不一样，是整个产业生态链中不可缺失的重要环节。测试在我们企业产品生产过程中是重要的保障手段，也是发现产品问题、提升产品质量的重要手段。测试需求我们都知道，测试不仅仅说普通的用户需要，第一方需要，第二方需要，第三方也需要，第三方就是我们目前主要做的工作，做质量鉴定、认可、发证这些方面的工作。
谈到质量离不开标准，标准在产业发展中的地位不可动摇，具体表现在支撑性、战略性和基础性。标准是保证产品质量的重要依据，也是调整产业结构的杠杆，更是科技成果转化的桥梁。技术形成以后怎么才能形成产业标准指导产业发展是非常重要的，只要标准化出来引导标准。尤其是现在很火的5G，谁能引导标准，这在国际上的竞争是非常重要的。
存储产品对整个信息化发展具有非常重大的促进作用，是基础产品。目前物联网、大数据需求很旺，但是我们国内的情况不是太乐观，起步比较晚，技术比较低，知识产权相对比较少，缺少关键的核心技术。闪存作为未来发展的重要存储设备，它的地位不可动摇。整个行业怎么把质量提升上来，如何保证用户的使用，是大家都需要共同考虑的问题。
下面我讲一下测试的现状。既然讲到测试的话，需要有标准和方法，要明确产品的类型，我这里讲闪存测试是针对闪存的相关产品。在行业里面目前分了几大产品类型，第一是闪存卡，我们经常用到，也是比较成熟的。第二是固态盘，闪存盘也归在里面，产品不一样，标准方法也不一样。第三是闪存阵列，这是对特殊应用来说的，包括混合阵列和全闪阵列等等。第四是闪存系统，就是上层的应用产品，包括具有闪存的软硬件系统，像固态盘、闪存介质、闪存文件管理系统等方面的内容。
还有非常关键的测试跟产业链的关系，刚才简单讲了。测试其实是广泛和深入的学科，里面涉及到的东西很多，第一是评测指标体系。刚才陈教授讲可靠性的话，可靠性其实是非常广泛和深入的评价体系和指标体系，对应的方法和标准、服务测试都不一样，里面的内容很多。测试体系大的三个方面去研究，第一是测评指标体系，先要测试它，这个产品的质量要做评价指标体系。第二是针对不同产品和不同指标设计相关方面，研制相关标准。最后是相关的测试工具进行测评服务，所以涉及到整个产业链里面的关键技术研究。在新技术研究的时候，都需要这些指标和方法去验证，包括测试仪器和工具。产品模型设计，产品生产制造是比较关键的，会涉及到定型检测、出厂检测，这是软件间的提升，再就是生产和应用的表现。
接下来讲闪存国内的测评需求，针对国内产品类型的分类，我通过多年的测试情况整理了一些测试分类。第一个是市场上的需求，目前民用测试需求很广，在市场上作为第三方经常帮助用户买存储设备，闪存卡、闪存盘，容量不够、性能出问题、可靠性出问题的鉴定检测。第二是消费者协会威权检测，国内有12315质量协会。第三是政府的采购，重点是对专业领域大的存储系统购买。随着闪存产品的成熟，海量级闪存产品替代作为政府关键采购设备，有些替代传统满足性能，可靠性功能等各方面的需求。我们中心作为国家机关政府采购指定单位，每年承担很多方面的测评工作。我们目前也遇到了很多瓶颈，因为产品刚成熟，相关方法标准和工具都比较缺失。另外是部队，部队是特殊行业军用的，比如说航空闪存产品最多，考虑到重量、抗震和特殊的温度环境，是非常关键的领域。随着闪存跟国内存储企业发展成熟，去年我负责全军首次自主光存储设备测试与评价工作，基本上国内存储设备企业都参与其中。还有一些民用的测试，包括学校存储方面科研成果的鉴定检测，还有863项目或者科研项目的验收，都是我们存储的测评需求。
这是中央政府采购网的大型系统测试和评价，里面有很多，这只是简单的举例。这是去年首次做的自主存储设备测试评估与规范，包括测试与评价。测试就是用具体的技术手段，去测性能指标有没有达到具体的要求。评价就是看是什么级别，跟别的相差多少，这样的话才有总体的认可。对于普通用户或者使用者来说，根本就不需要了解那么深入的证书，通过这个结果就知道产品的质量问题。
闪存产品的测试现状，测试方面国内跟国外可能不一样，今天来了IOL实验室的专家，国际上是自主型的组织，相关企业如果通过了验证，兼容性或者性能可以做一些比较。国内重点是国家认监委和认可委管理，标准化和专业化比较强，管控国内六七千家实验室。里面测试需要具备的东西非常关键，人、机、料、法、环是主要的因素，但是闪存领域相关产品测试还是不太乐观。首先是测试人员非常稀缺，包括华中科技大学出来的学生做测试非常少，在企业里面做测试的也非常少。如果在企业里面可能做得不太专业，不太全面。再就是机器，目前的情况重点是国外开元软件工具或者存贮设备，对闪存的测试工具和设备不是太完善。如果有相关专业底层设备包括芯片的话，那是非常昂贵的。方法就是相关标准和技术方法没有完成，有些部分还不健全。环境的话就是实验室服务平台没有建起来，国内好多企业的产品做出来，可能还需要送到国外去测试。
说到质量离不开标准化，标准化就是相关标准规范。我们做了相关的跟踪和研究，国外有部分测试方法，像耐久性测试、扩展，还有性能测试规范。国内也做了一些成果，我们跟着行业做了一些标准。2010年华中科技大学联合我们一起做了移动存储闪存盘的通用规范，当时是针对USB的产品规范。这两年有两个行标，第一个是磁盘阵列通用规范，还有固态盘的通用规范。国标的话是和存储联盟一起推了盘阵列通用规范，盘阵列包括闪存阵列和磁盘阵列。另外是今年刚发布也是我主导编写的固体盘测试方法，2019年1月1日实施，涉及到性能、功能、可靠性、数据保持持久性等内容。
半导体相关方面的测试标准，快闪存储器也是国标，还有非易失性存储器耐久和数据保持，这几个标准都是国内今年发布的，半导体芯片产品一系列标准。还有其他方面团体标准，国内有中国存储产业技术创新战略联盟，我们是联盟的指导单位，我也在主导做分布式全闪存存储系统测试规范，整个体系标准规范研制过程中。部队里面也在做闪存盘、固态盘、存储设备等相关测试标准，这是国内的测试现状。
第三个内容，讲讲闪存产品的质量特性。闪存产品的质量特性，其他的产品信息是一样的，质量关键是满足需求，一般都要给予用户需求去考虑。这些要求的话，定性的不太好评价，一定要有相应的考核指标，怎么样评价和检验考核需要一定的质量特性，质量特性下面就转化为我们的技术指标。质量特性就是指产品过程或者体系相关的要求，对闪存产品的测试评价技术，我们做了总结和分类，第一个是功能、性能、可靠性、易用性方面，多维度的综合评测。我下面列了比较全面的测评体系，需要注意不同产品测评技术和指标是不一样的，像闪存阵列要评价横向和纵向的扩展性，所以要考虑适用性的问题。
我们整理了一下，针对产品级别来说测评指标体系的需求，第一个是功能，根据用户的需求，刚才第二节评测是质量特性，第三节叫做技术指标。第二个是适用性，功能里面通讯协议怎么支持，数据加解密有没有功能，实现得怎么样，掉电保护功能有没有实现，数据有没有销毁功能，都是根据功能的实现，实现了功能就要考虑性能，读写速率、数据传输率，在产品测试里面重点讲的是与时间特性相关表现，一般都是带上时间的质量特性，标准方面的东西。第三个是可靠性，刚才有提到技术指标，容错性、数据保存时效、出错率都是可靠性的子指标。还有可用性，产品展示宣传手册经常看到可靠性多少9，可用性多少个9，其实这是没有标准和规范，是不统一的表现。在规范化研究里面，多少个9是放在可用性的，多长时间里面容忍多久的宕机或者停机服务。另外还有兼容性，第一个是硬件的兼容，第二个是软件的兼容。还有比较关键的信息安全性，它是大的学科和领域，重点讲的是物理安全和逻辑安全。网络通讯网络信息安全，网络空间安全不算产品质量的特性。环境适应性，气侯适应、机械环境这些非常关键，在应用领域像产品涉及到高低温情况，电源适应也是非常关键的指标，还有相关功耗等，简单带过一下。
具体讲测试与评价，不讲技术了，非常关键的指标就是容量，我们买到的容量和企业产品标注的容量可能不一样，有的标注容量多少个G，实际用的没有那么多。对用户来说相信哪个，G大B、G小B，都需要行业的标准和规范。还有掉电保护，掉电保护是一项功能，对用户是可靠性的手段，包括单盘掉电和盘阵掉电。另外还有接口、通讯协议、数据加解密都是我们平常用到的。性能方面，性能一定要注意一个问题，所有的产品宣传册单独只讲结果的，行业里面有个笑话，不说应用场景的都叫耍流氓，一定要明确测试环境，是大IO还是小IO，这样才有可比性和参考性，不同产品性能需求不一样。
可靠性，刚才讲过了，容错性需要我们重点注意，在测试当中主要的测试方法就是故障注入测试，通过断电、硬件故障、软件故障，通过这些综合性的方法检测产品可靠性。
保存时效，通过测试的话，我们设计的条件比较严苛，要经过不同环境的测试。还有MTBF，有的产品标称几百万MTBF，按说这个东西是比较难实现的，一般是理论和实际结合起来才可以出平均无故障间隔时间。下面还有插拔和开关测试。
可用性，对用户来说能不能提供服务，这是非常关键的，跟可靠性经常是混着用。故障的修复时间，存储系统出了故障以后多久修复是用户能接受的，我们提了ITO技术指标。数据重构时间、业务切换接管时间非常关键，不同业务需求注重的指标不一样。另外是我们说的多少个9。
兼容性，要考虑道不同的东西，接口、部件、整体，部件涉及到内存、硬盘和板卡，软件的话有驱动、协议、操作系统等。
信息安全是大家关注的重要内容，这里面讲的信息安全要规避网络安全。我们现在讲物理安全，特殊设备讲可信的物理空间，安全环境有没有涉秘空间，有没有防拆装。另外是安全保护装置，盘阵可靠性提供，有没有非易时性缓存，是BBU实现的还是UPS实现的，实现的能力有多强，这些是具体的技术指标。软件包括检错能力。还要讲究逻辑安全，通过软硬件手段实现传输和存储安全，重点是保障数据的完整性、防篡改和机密性。
下面是环境适应性的技术要求，大部分标准是国标，还有强制性标准，是必须要满足的要求，尤其是信息与设备，包括气侯环境和机械环境。工作温度和存储温度，机械环境也很多，振动冲击、碰撞跌落。电磁兼容涉及到人身安全的重要领域，重点依据标准是国标9254，它是强制标准，生产相关设备的话取得3C许可证才可以销售，无线电骚扰、抗扰度、防静电等。电源适应性也是很重要的要求，重点从人身安全考虑的内容，有一般要求、接触电、抗电和安全的保护功能。另外是功耗，在我们的行标里面提了产品的动态功耗和静态功耗，存储器SPC也提了功耗怎么测法。
这就是我介绍的整体内容，希望产学研用各单位一起将测评体系进一步完善。国内对测试不是太重视，但是随着质量强国，希望不要有外国月亮比中国圆的情况，一起保证国内生产出有竞争力高质量的闪存产品，这是我们的希望。谢谢各位聆听。（注：文字未经本人最终审阅，特此说明）
