8月29-30日，由DOIT传媒主办的“芯存储 AI未来”2023闪存峰会在杭州召开。
本次峰会聚焦以闪存和内存芯片为核心的存储器产业生态，重点关注存储器设计与制造、存储控制芯片、闪存存储系统、SCM存储级内存等新兴领域，旨在为业界人士提供交流分享最新技术、行业应用、发展趋势的平台。超过百位国内外领先的企业代表、行业领袖、权威专家学者和企业领军人物发表主旨演讲，与参会的上千余位观众现场交流思想理论、分享实践案例。
在“存储系统未来发展论坛”上，昆腾资深存储架构专家曾祥礼深入地讲解了全新的全闪存文件与对象存储管理系统——Myriad。以下为演讲实录。
大家好！我是昆腾的曾祥礼，接下来为大家介绍一下昆腾Myriad系统。
昆腾Myriad文件与对象存储管理系统是基于闪存技术的。我们知道非结构化数据近年来增长非常迅猛，未来5年都是倍增态势。之前，企业数据存储容量是TB级别的，但现在PB级别已经很常见，特别是互联网企业数据存储量已经达到EB级别。近年来，昆腾为国内一些互联网企业提供冷数据的存储解决方案，从在线存储迁移到磁带库的数据都是EB级别的了。数据是核心资产，随着新业务、新应用的涌现，企业需要更高的存储性能，更高弹性，规模更大的存储系统。
昆腾是一家在存储领域拥有40年历史的公司。针对用户痛点，我们推出了Myriad这款针对非结构化数据存储的管理系统。Myriad是一个云原生的，是为下一个数据时代服务的，基于闪存存储架构的，极具弹性的，可以同时支持文件、对象存储的管理系统。我们说Myriad是为下一个数据时代设计的，体现在以下几点。
首先非常快。Myriad基于闪存、RDMA技术，采用了全新的Share-Nothing可扩展架构。在任何配置情况下，都可以是很低的延时，因此可以同时达成高带宽、高IOPS。
第二，Myriad是现代的，它基于微服务，由K8S编排的云原生架构。现在很多用户已经在他们的数据中心用容器化的应用。
还有，Myriad使整个系统变得非常简单。Myriad在自动化存储实现和存储管理这方面做了很多工作，使得Myriad基于NVMe构建的存储网络配置非常简单，系统无论是扩展、变更还是缩减都无需中断业务，甚至无需专业的网络专家去介入。
Myriad是一个软件，它不需要专门的硬件去运行，可以运行在标准NVMe闪存服务器上，也可以运行在100GB网络交换机上。这是非常重要的，因为用户不会固定在某一个特殊的硬件技术之上，所以可以获取硬件成本下降的收益。
Myriad是云原生的。无论是在本地还是在云上进行部署的时候，都可以获得一致的体验。用户可以将Myriad系统轻松地在不同的云设备厂商提供的云端设备上实现移植，所以用户也可以在不断下降的云成本中获得收益。当然，用户也可以在Myriad集群之间移动数据集，比如实现数据的复制和迁移，将一些访问频度下降的数据移植复制到对象存储或者文件系统上。
昆腾Myriad架构采用全闪的体系结构集群，主要目的就是为了替换传统的磁盘阵列。借助Myriad可以让用户用全闪集群系统提供传统的机架式磁盘阵列，通过Myriad软件实现存储的整合，支持更多负载。从这个角度来说，Myriad可以为用户应用提供绿色存储资源给到用户。大家知道在满足同等带宽或者IOPS需求情况下，与传统磁盘相比，全闪存集群可以大大降低电源、冷却、排放，特别是数据中心的占地面积。
Myriad是昆腾非结构化数据存储系统一个非常关键的部分。对于文件和对象存储，昆腾可以提供两个关键的存储平台：一个是针对于热数据的，就是Myriad的存储平台。基于云原生，提供高IOPS、高带宽，可以伸缩到TB级别基于闪存的存储。随着时间推移，用户非结构化数据访问频度可能会越来越低，昆腾提供一个自动化的数据迁移，将一些访问频度比较低，越来越低的数据搬迁到对象存储，或者是磁带存储。昆腾是目前唯一一家能提供整体跨非结构化数据生命周期管理的解决方案厂商。
目前Myriad数据存储管理软件主要针对三个业务场景：一是联机交易类、关键任务数据的存储、快速恢复；二是媒体行业，虚拟现实和动画的渲染场景，这里我们提供针对虚拟现实、动画的渲染场景；三是针对数据分析，类似AI、机器学习这种场景。这些场景中，我们瞄准的都是非结构化的，小Block IO文件处理场景，这些场景中文件个数比较小，而且数量非常庞大，因此提供较高IOPS的存储环境才能支撑。
Myriad部署在闪存存储服务器之上，因此可以说是面向交易、面向事务性的存储系统。在这个文件系统里，可以根据业务层面需求按需去定制文件系统，比如可以针对用户、针对应用，去创建自用的文件系统。在文件系统底层资源是共享的，针对某一个用户、某一个应用来讲，它是一个单独的Namespace。与传统存储相比它有很多关键的管理功能，来支持高性能。首先就是“写重定向”存储，我们知道传统存储在去修改一个数据块的时候需要先把数据块拷贝到一个新的存储位置上，再去修改数据块。Myriad改了“重定向”写，先把文件写到新的存储位置上再修改指针，这是提升性能的方法，因为减少了一次写的操作。再一个，它是无锁的，借助了NVMe闪存存储介质的高性能，所以说它是无锁写。如果出现写冲突的时候，通过回滚的方式确保数据的一致性。还有其它的管理功能，比如支持N+M的动态纠删编码。
在此之上，Myriad还提供一些增强的数据服务，比如快照、克隆、复制，当然还有一些缩减存储，数据压缩的一些数据服务管理功能，当然还包括数据分析。在客户端接口方面，支持NFS v4、NFS v3、SMB，之后还将提供S3对象接口等。
Myriad集群由三个部分组成：第一部分是“负载均衡器节点”，是连接到客户环境中的100GbE网络，并实现负载均衡的网络服务层，提供数据和管理服务。第二部分是NVMe“存储节点”层，这个节点层是基于NVMe存储服务器，基于RDMA 100GB的Fabric构成高性能存储池，就是闪存的集群存储环境。第三部分是一个名为“部署节点”的组件，基础节点，这个节点作用只是完成整个系统的配置、软件的更新，本身不会参与到整个数据链路中。
Myriad只提供一个IP，然后面向用户的数据传输和整个系统的管理，这和传统的NAS扩展时需要预先在内部保留很多IP地址有很大差异。Myriad部署内部所需要的地址都是自动分配的，因此整个网络部署都非常简单。
我们再看一看Myriad集群是怎么扩展的。Myriad在扩展节点的时候非常简单，它新增节点只需要把节点拆箱上架、连接网线、连接电源就可以了，整个过程无需中断整个业务的运行。新节点加载到系统之后，一加电会自动检测到，Myriad这个文件系统集群会自动检测到新增的节点，然后自动进行配置。同样Myriad集群里删除节点或者更换节点也非常简单，它新增节点，删除节点，或者拿更高密度的存储节点、更高容量的磁盘加入到这个集群里，就像新增一个节点到这个系统内道理是一样的。这一点非常重要，因为采用这种架构，我们可以把Myriad想象成一个经得起未来考验的系统，为什么呢？因为随着市场的发展，新的硬件肯定有新的CPU、新的高密存储设备、新的更大容量SSD磁盘涌现，它的成本肯定越来越低，用户就可以利用Myriad的架构去替换更新的产品。
一套Myriad系统支持上百个存储节点，负载均衡的节点也可以按需扩展。同样缩减存储节点非常简单，Myriad的底层纠删会自动去平衡。
做一下简单的总结，Myriad是基于全闪存储，然后提供文件对象存储管理的，它用户端接口支持NFS、SMB、S3，或者通过唯一的IP实现数据的传输和管理。它是基于云原生架构，基于微服务，基于K8S编排，无论部署在何处都可以提供良好的弹性规模，和类似云服务的简单性。同时因为它是基于NVMe进行设计全新的Share-Nothing架构，与RDMA高速网络结合，可以减轻网络在传输时的服务器负载。每一个节点通过RDMA协议都可以直接访问到其他节点管理的SSD闪存磁盘。另外，Myriad不需要专门的硬件支持，基于软件定义方式，用户可以在未来获得硬件成本下降的收益。Myriad使得一切都变得非常简单，包括存储的管理、网络管理，以及整个集群的管理。
以上就是我的分享，感谢大家！
