机器视觉、网上银行、自动驾驶……新的业务场景、新的数据形态、新的响应需求,企业的存储基础设施正面临着前所未有的挑战。
分布式存储,凭借大规模集群下的整体性能和容量优势、系统扩展能力强、运维管理效率高、可用性和可靠性高等特点,受到越来越多用户的青睐,并进入企业的存储基础设施建设选型范围。然而,对于正在推进分布式存储落地的企业而言,如何进行系统选型?需要关注哪些方面?有什么好的解决方案?这份选型指南,请收好!
分布式存储选型3大关注要点
在当前业务不断波动变化和IT技术快速发展的背景下,企业应围绕业务需求来规划存储架构,综合考虑成本,从海量数据的安全存储、高效管理、价值挖掘等方面对存储系统选型进行考虑。
一、如何安全可靠地存储海量数据?
可靠性和安全性:由于分布式存储与网络、磁盘的运行情况息息相关,需要了解分布式存储在各种网络故障、磁盘故障场景下的处理机制是否符合当前企业的业务要求,例如在集群故障场景下有多少块盘和多少台主机出现故障,故障后数据是否能够自动修复,是否有相应的告警提示,是否支持对重要数据做备份?数据安全方面,存储系统是否支持数据加密,是否有完善的权限管理机制、日志审计查询功能等?例如,对于金融行业来说,保障业务的持续稳定无间断运行和数据安全流动是第一要务,存储系统的可靠性和安全性应是重点关注的内容。
性能和成本:企业可以根据自身业务的数据量、数据类型及对数据的读写性能要求,选择能够支持的分布式存储系统。例如在AI训练/自动驾驶领域,单个数据集可能就包含10万+数量的视频、图片及相应标准,总数据量往往达到几百TB甚至数PB,这对于存储的吞吐量、延迟要求极高。此外,还应考虑到是否有成本控制相关功能(例如重复数据删除、定期清除),以进一步提高空间利用率。
灵活扩展:虽然分布式存储能够支持弹性扩展,但是一些分布式存储扩容后,可能会导致大量数据迁移到新扩容的磁盘空间上,从而影响业务性能。因此建议用户选择能够支持平滑扩容并且对业务无感知的分布式存储。
二、如何实现数据统一管理和便捷运维?
数据统一管理:如何将多种数据类型的数据汇聚到分布式存储中进行统一的管理,如是否支持SMB/CIFS/CSI等?以最大化减少传统应用迁移至对象存储的改造成本;是否有可视化的界面可以进行便捷的数据管理,如数据上传、下载、删除等操作?
生命周期管理:采用分布式存储后,能否纳管原有的NAS设备,实现数据免迁移和业务无感知,节省投资成本?能否支持热温冷数据的自动迁移以及和公有云的无缝对接?例如,在智能制造AOI质检场景,质检图片数据在2年左右往往需要自动归档到后端磁带库等低成本介质,满足数据长期保存的合规性要求。
可视化的便捷运维:管理界面是否直观可视化,实现全集群的便捷管理?能否对容量、存储集群的稳定性、业务统计等动态展示?能否做到实时监控预警?
三、如何进一步挖掘数据价值?
在数据浪潮的推动下,企业需要在各类场景下高效存储和使用数据,对存储系统的要求也从简单的能存能管,提升到要便于价值利用。因此在分布式存储选型时,企业也要进一步关注存储系统能否快速对图片、视频、文本等非结构化数据进行有效信息提取,从而更好地对数据价值进行挖掘和呈现。
善用存储科技,释放数据价值
从以上的分析可以看出,IT技术人员在选择分布式存储过程中,需要考虑的因素众多。如果能拥有一款既安全可靠、满足业务需求,又能实现便捷管理和成本优化,并能为后续的数据价值利用打下坚实基础的分布式存储产品,将极大地推动实现数字时代企业的IT基础架构转型升级。
而杉岩MOS海量对象存储,作为一款兼具企业级海量非结构化数据存储能力和智能数据处理能力的分布式存储产品,就围绕海量数据的“存储、管理、挖掘”需求,创新存储科技,成为海量、安全、智能、非结构化数据存储的最佳选择。
海量数据安全存储
杉岩MOS基于分布式架构,支持百亿文件/EB级存储容量,单一命名空间下,满足高并发访问需求,支持业务在线时存储服务器横向扩容及整池扩容,扩容后新数据存放于新的存储池,老数据提供读服务,有效避免数据重平衡对前端业务的冲击;加之部署简单、灵活扩展的特点,可以充分满足爆炸式增长的非结构化数据存储需求,解决传统NAS存储无法弹性扩展的难题。
可靠性和安全性方面,杉岩 MOS支持副本、纠删两种数据冗余策略供用户按需选择。同时,通过桶内数据加密、WORM、多版本、回收站、CDP和多用户隔离等技术实现数据的加密、防误删、灾难恢复和权限控制等。
在兼顾性能和可靠性外,杉岩MOS还支持重删及压缩、数据分级存储、生命周期清除、传统SAN纳管和NAS/S3异构等多种成本优化技术,在帮助企业提高存储空间利用率、保护历史投资、节省存储空间和采购成本等方面有着独特的价值优势。
统一管理和简单运维
传统的SAN/NAS存储只能在局域网内访问,无法提供云边协同统一的数据管理能力。杉岩MOS不仅支持S3接口,还支持NFS、SMB、FTP、CSI、HDFS等丰富的接口,可以对接各种类型的应用,将各类数据汇聚到杉岩 MOS产品中,实现数据跨网络的统一管理和访问;支持NAS/S3纳管,省去了数据迁移与校验的过程,实现业务系统的快速切换与上线。
同时,根据数据不同的生命周期的阶段,杉岩MOS支持对数据进行全生命周期管理,支持冷热数据介质分层迁移、实时归档、延时归档、延时删除等,降低存储成本;与公有云相互兼容,将本地对象文件通过生命周期管理自动归档到公有云,实现业务无感知的数据上云、下云的融合和流动。
在运维层面,杉岩MOS提供了一系列的特性帮助用户简化运维,例如容量预警、桶审计日志、对象业务统计、硬盘亚健康、网络亚健康,多集群管理等。此外,在告警管理方面也支持多样化的告警方式,例如微信告警、电话告警、邮箱告警,支持自动巡检并生成巡检报告。
智能处理挖掘数据价值
在传统模式下,对数据库文件等结构化数据进行价值挖掘相对容易,但是对于图像、影音等非结构化数据的价值挖掘较为困难。为方便用户对非结构化数据的提取及使用,杉岩MOS集成了智能数据处理引擎,支持对非结构化数据进行多维度标签化和结构化处理,将图片转码、视频抽帧、OCR识别等数据处理能力下沉到存储系统内部,提升处理效率,通过标签检索对象,提升数据管理能力,降低成本并简化业务流程。
图 智能数据处理引擎工作流程
总而言之,在数据爆发增长的“数字时代”,软件定义的分布式存储将成为主流。企业在向分布式存储转型过程中,应该从自身业务需求规划出发,并着眼未来,平衡存储的可靠性、安全性、易用性、扩展性、性能和成本等多个方面,做出存储基础架构升级的最优解。而杉岩数据也将围绕海量数据“存储-管理-挖掘”的核心需求,不负用户所托,携手应对大数据挑战!