近日,XSKY星辰天合宣布发布 XGFS 5.2.100 版本,该版本有多项功能和性能突破,主要包括NFS协议通路性能更高、原生HDFS协议网关更稳定、易用性更强。
XGFS(XSKY Global File System)是 XSKY星辰天合提供的新一代分布式文件存储系统。
XGFS 基于灵活的 SDS 架构, 可提供 POSIX、NFS、SMB/CIFS、FTP 等丰富的文件服务,不仅可以用于企业的文件共享,备份归档通用场景, 也可以应用于视频监控、媒资管理、高性能计算等高性能、大带宽、大容量的场景。
在 XGFS 5.2.100 版本更新中:
性能方面:优化了在NFS协议通路的性能,单客户端 4KB 读相较原来可达175%,单客户端 4KB 写则高达173.8%;提升了高性能缓存的规格,相同容量可以缓存的文件数提升 40% 以上;对高性能客户端的稳定性做了提升,用户可以通过高性能并行客户端享受更加极致的读写性能;
可用性方面:提供了更加稳定的HDFS 协议网关,并进一步增强多网关并发读写能力;
易用性方面:优化了资源占用等的界面统计信息。
让我们一起来看看,最新发布的 5.2.100 版本中,XGFS 带来的这些变化的细节!
NFS 协议通路性能提升
NFS 协议是主要应用于 Linux,UNIX, Mac OS 和 VMware 操作系统环境的文件共享协议。
XGFS 分布式文件系统自研的 NFS 协议网关,支持全功能的 NFSv3 协议:
支持客户端(IP或网段)、客户端组权限限制
支持连接客户端统计
基于多网关多活架构, NFS 协议网关的处理性能表现优越。通过在 5.2.100 版本中的软件版本更新优化了 XPG(XGFS Performance Gateway,高性能文件网关服务),NFS协议通路的性能又达新高:
同样环境,5.2.100 版本 4K 读写性能和 1M 读性能都比之前版本有较大提升,4k读相较原来可达175%,4k写则高达173.8%!
高性能缓存 XCache 规格提升
XClient Cache 是 XGFS 在网关或客户端中提供数据缓存能力的模块,简称 XCache同时提供文件数据的读缓存能力和元数据的读缓存能力。
通过 XCache 数据读缓存,可以大大提高数据读性能。而 XCache 的目录预取引擎,对小文件读场景可以成倍提高性能!此外,XCache 的元数据预读管理,还增加了对元数据的读能力,对数据密集型应用带来极致性能。
在
5.2.100 版本中,XSKY 带来了大规格的 XCache:
在相同缓存内存大小,可以缓存的文件数提升 40% 以上
用户可以手动指定内存占用,不设上限
界面统计信息优化
在 5.2.100 版本中,XGFS 还优化了细粒度的文件系统信息统计显示,可以使用多种命令查看不同类型的实时与总量的 OPS(每秒可响应的并发请求数)统计信息、XCache 命中(命中率)和占用资源统计。
XGFS 对统计信息的实时与动态查询显示都进行了进一步的优化,实时统计可以自动更新,将 OP(请求) 统计信息的粒度进一步细化,可以分为业务 OP 、内部 OP,以及各 OP 单独的统计;内存和存储资源的统计也进行了进一步优化,可以细分查看元数据以及多种资源库的内存和资源量占用情况。
在 5.2.100 版本,用户可以更清晰的了解存储实时的工作情况,灵活分配资源与调整使用,星辰天合秉持数据常青之理念,为 XGFS 的易用性做出了跨越式提升。
多网关并发读写能力增强
在 Windows 和渲染场景中,需要使用多网关对同一命名空间内的相同文件进行读写访问。多网关访问依赖文件锁进行控制,文件锁是用于解决资源的共享使用的一种机制:当多个用户需要共享一个文件时,通常采用的方法是给文件上锁,来避免共享的资源产生竞争的状态。
在 5.2.100 版本中,XGFS 实现了多网关访问同一个文件的权限控制,使得多网关并发读写能力得到进一步扩展提升。
XGFS 配合 Windows 和渲染应用添加全局文件锁(建议锁,非强制锁,需要应用配合),多个客户端写入时,将会由应用加锁,此时文件锁生效,保护不被多应用同时读写。
XGFS 满足了应用在计算端加锁操作,达到大量计算节点同时在不同文件网关进行渲染操作。突破单节点渲染瓶颈,实现增加节点性能线性增长。
高性能并行客户端XPC 稳定性提升
在 5.2.100 版本中,XGFS 在计算节点的对高性能并行客户端(XPC)稳定性做了进一步优化提升,支持常见的Centos7.6、Ubuntu18/20 等诸多 Linux 系统(兼容 3.10、4.18 内核),也可以按其他操作系统定制。
XPC 可以提供标准 POSIX 语义,使用私有协议直接和存储集群通讯,由集群中所有存储节点同时提供服务。所有 XPC 支持同时开启其他协议访问(NFS、SMB、HDFS)并实现数据无损互通,并且 XPC 客户端所使用的文件目录,和其他协议一样支持基于目录的所有高级功能,如配额、快照、WORM 等。
XPC 客户端可以实现在大文件模型下读写带宽和 IOPS 均达到存储池性能上限,且单客户端的大文件读写带宽可达 5GB/s。在小文件模型下的读写 OPS 性能超过 10 万 OPS/s,相比 NFS 协议通路提升近 50%。通过使用 XPC 高性能并行客户端,能够提供相比更高的并发读写性能优势,可以极大的提升同样环境的作业计算效率,从而加快业务进展。
原生 HDFS 协议网关稳定性提升
HDFS 分布式文件系统是 Hadoop 中的的存储组件。
XGFS 产品在 5.2.100 版本中已实现原生 HDFS 协议,可以通过 XGFS 原生的 HDFS 协议网关,提供大数据存算分离解决方案中的文件存储服务。
此外,XGFS 目前已支持 NFS、SMB/CIFS、POSIX、FTP、HDFS、S3 等协议之间互通,也就是一份文件既可以通过原生 HDFS 接口访问,又可以使用其他文件协议接口访问。大数据服务所使用的文件目录,支持同时设置高级功能:快照、WORM、配额等,支持同时开启其他协议访问(NFS、SMB、FTP 等) 并实现数据无损互通。
利用 XGFS 的 HDFS 原生协议和多协议互通能力,可以面向下一代数据分析需求构建 “采集-清洗-分析基于一个数据集” 的全新工作流。
在大数据场景下提供 HDFS 大数据存储服务,无需在计算节点上安装额外插件或客户端软件包,只需简单改一条配置即可使用。大数据服务支持对外提供 HDFS 常用的命令字接口,并支持对接 HBase、YARN、Spark、Hive、MR 等常见的应用组件。
小结
XGFS V5.2.100 版本,性能与易用性进一步加强,同时 XPC(POSIX)客户端和 HDFS 协议网关的稳定性大大提升,完善了 XGFS 对大数据和人工智能等高性能数据分析生态的支持。
关于XSKY星辰天合:
北京星辰天合科技股份有限公司(简称”XSKY星辰天合”)是一家以“数据常青”为愿景的专业软件定义存储厂商,致力于成为国内领先的数据基础设施技术平台提供商。XSKY星辰天合专注于软件定义基础架构业务,于2021年入选工信部第三批专精特新“小巨人”企业名单。
XSKY星辰天合基于软件定义的统一技术架构和混合云模式的数据管理方案,为政企客户提供以数据价值为核心的产品和服务,帮助政企客户实现海量数据的”汇-存-管-用”,推进政企客户数据资产化升级、提升创新效能,助力夯实数字经济社会的基石。
在 IDC 2021 年全年中国区 SDS 的市场报告中,XSKY星辰天合对象存储市场份额排名中国区第一,在SDS中国市场整体份额中,位居前五,是TOP5中唯一一家专业软件定义存储厂商。
欲了解更多XSKY星辰天合公司信息,请访问:https://www.xsky.com/