宏杉科技谢勇:海量数据 洞见价值,宏杉MOFS 预见未来

近日,2022分布式存储线上峰会圆满闭幕。在分布式存储技术应用论坛上,宏杉科技产品部副总工谢勇发表了题为《海量数据 洞见价值,宏杉MOFS 预见未来》的主题演讲,分享宏杉科技分布式存储的技术创新及业务场景应用,助力用户在海量非结构化数据时代洞见数据价值。同时,在大会公布的“2022分布式存储峰会大奖”中,宏杉MOFS分布式存储系统凭借开放架构、卓越性能、极致可靠、数据融合和应用优化五大特性,斩获“2022分布式存储产品金奖”。

宏杉科技产品部副总工谢勇发表主题演讲

宏杉MOFS洞见海量数据价值

根据IDC预测,全球数据量将由2019年的45ZB增长到2025年的175ZB,整体涨幅超过300%,中国将成为全球最大的数据圈,由人口红利时代转向数据红利时代。其中非结构化数据与日俱增,占比超过80%,意味着分布式存储发展的黄金时代已经来临。

MOFS是宏杉科技针对海量数据存储应用推出的大规模分布式通用并行文件集群系统,具备开放架构、卓越性能、极致可靠、数据融合、应用优化五大特性,针对用户多样化的业务需求场景,提供文件、对象、大数据存储资源服务。

1、开放架构

宏杉MOFS分布式存储系统采用主流的分布式去中心化存算分离架构,可为用户提供分布式块、分布式文件、分布式对象多种存储资源,满足用户在IT系统建设中灵活选择、高效扩容、安全隔离的需求。

MOFS分布式存储系统的另一开放架构特性是支持丰富的接口类型,尤其是支持100G InfiniBand接口,可为HPC高性能计算业务提供更高带宽,单口达到100Gb/s吞吐、微秒级时延,显著提升HPC高性能计算业务效率。

2、卓越性能

在性能方面,宏杉MOFS分布式存储系统通过自主研发的增强型智能存储协议,实现三方面提升:首先,采用源端切片技术,支持负载均衡多线程的并发读写,整体读写效率可提升30%以上;其次,通过7种权限灵活设置、共127种权限组合,打造业界领先的内核级权限管理,提供更高级别的数据保护;此外,借助智能增强型客户端,无需配置后端网络,组网更加灵活。

在海量小文件应用场景中,宏杉MOFS分布式存储系统结合增强型客户端,采用创新Nest小文件聚合技术,有效解决海量小文件对IO占用严重的问题,优化小文件的数据恢复和检索速度,全面提升存储性能。

3、极致可靠

宏杉MOFS分布式存储系统能从系统级、节点级和权限级为用户提供高达8个9的整体可靠性保障,实现本地数据极致可靠。

此外,宏杉MOFS分布式存储系统还可通过跨节点的数据复制技术,利用大文件切片多线传输,小文件的打包传输、加密、压缩、断点续传和文件校验等丰富的子功能进行组合,保证数据在恶劣环境下仍能传输到容灾节点,实现容灾级数据极致可靠的保护。

4、数据融合

依托高效的多协议互通技术,宏杉MOFS分布式存储系统可通过CIFS、NFS、HDFS、S3等多种文件或对象存储协议,同时访问在同一个集群内同一个目录下的内容;并实现所有非结构化数据协议互通,共享一份数据。在大数据分析应用中,无需生成额外的数据副本,直接进行数据分析和应用,极大提升数据分析效率,节省整体TCO。

5、应用优化

在HPC高性能计算等应用场景中,需要对同一个文件的不同位置进行并行处理,宏杉科技MOFS分布式存储系统根据用户业务进行自主研发和优化,创新采用分布式字节锁技术,通过增强型协议客户端,获取该文件不同位置的锁权限,权限粒度由传统分布式存储的文件级精确细化到字节级,实现前端多个客户端同时对同一个文件的不同位置进行并行处理,提升整体处理性能,加速数据获取,提升数据价值。

宏杉MOFS分布式存储系统

多元化应用场景落地

目前,宏杉MOFS分布式存储系统已广泛应用于高性能计算、人工智能、大数据应用等场景之中。在百易存储研究院、中国计算机协会、信息存储专委会、中国计算机行业协会、信息存储和安全专委会以及DOIT传媒联合发布的 《2022分布式存储市场调研报告》中,对MOFS分布式存储系统过硬的产品实力和广泛的行业应用表示高度认可:

在高性能计算场景中,要充分释放高性能计算的算力潜能,需要并行文件系统具备高效、稳定、可靠、海量等特性。MOFS 并行文件系统具备高性能、高可靠、高可用和高 IO 吞吐能力,支持全局统一的系统映像和完全 POSIX 兼容的数据访问接口,从而提供数以万计的客户端系统支持、PB 级存储空间和每秒数百 GB 的吞吐量等强大动力,为高性能计算应用提供全新的支撑。宏杉科技MOFS分布式存储系统在教育科研、交通、政府、医疗大数据、企业等行业的多样化高性能场景中均已实现落地,为用户业务提供高效可靠的数据保障,获得用户高度认可。

结束语

作为一站式数据存储专家,宏杉科技拥有SAN、分布式、备份、云与超融合等全存储产品线,具备涵盖全产品、全方案、全服务的一站式数据存储能力。未来,宏杉科技将充分发挥研发创新能力,持续优化升级宏杉分布式存储,进一步激活数据价值,助力千行百业从容应对海量多元化数据挑战。