非结构化数据时代下的困局与创变

随着大数据、AI、物联网、5G技术兴起,无人驾驶,基因测序,8K超高清等新技术出现,加上受疫情影响,各行各业进入倍速版数字化转型之路,引发全球数据量激增,据IDC预测,2025年全球数据总量预计将超过175ZB,中国数据量将达到48.6ZB。

其中,与直接投入应用的结构化数据不同,非结构化数据(办公文档、邮件、报表、网页、声音、影像等)虽然占比整体数据量的80%,但从初期数据产生后单方面被弃置或冷存储到如今视频产业崛起,打上价值亟待挖掘的标签,由于其高增量以及不规则或不完整结构导致企业用户在统一存储、管理、分析和应用等方面出现困局。

创变在即,与其说企业是在设法从非结构化数据的“围城”中寻找方法抽身,不如说是在努力开放视角,利用这些城墙上的“砖”(即非结构化数据)按自己的意愿低成本盖“别墅”(创新应用场景)。

非结构化数据的创变之路

非结构化数据每年几乎都翻一番,长期存储与管理成本迅速增加。传统结构化数据的存储和消费模式完全不适用。此外非结构数据应用的比重也在增加,企业还要在存储和管理的基础上进行非结构化数据分析,挖掘新的业务增长机会获取竞争优势。因此,当前企业需要的是可以适应快速数据增长、简化管理、降低成本、轻松实现数据分析的非结构化数据解决方案。

结构化数据通常使用数据库管理。基于不同应用工作负载,NAS(网络附加存储)和对象存储通常是非数据化结构数据的主要选择。NAS让企业对以后使用的单个文件进行有序分类,便于文件共享,适用于数据变化较快的应用。对象存储可扩展性强大,提供自定义元数据帮助用户检索文件,适用于海量存储应用。

戴尔PowerScale+ECS为非结构化数据而生

为应对非结构化数据的挑战,戴尔科技推出了基于文件系统的PowerScale(横向扩展NAS存储)和基于对象存储系统的ECS,双管齐下,为非结构化数据树立存储新标准。

PowerScale系列的主要特点包括:

伸缩自如、简捷如一。PowerScale提供从最小11TB到多PB规模的存储能力,支持对数百万个文件进行操作,允许无缝进行新旧节点服过渡升级,不需要数据迁移,60秒内即可简单扩容一个节点。

智能数据管理软件加持。PowerScale搭载新一代OneFS操作系统,自2001年推出,前后经历八代演进,是将传统存储体系结构的三层(文件系统,卷管理器和数据保护)组合到统一软件层上,跨集群所有节点创建的智能文件系统,相比传统文件系统,可动态配置用户所需容量与性能,降低数据中心占用空间,提供超过80%的存储利用率,从而提升性能。

DataIQ软件帮助企业从非结构化数据中获取业务价值,尤其是分布在企业数据孤岛中的未分类数据。DataIQ通过在Dell EMC、第三方和公有云存储之间提供文件和对象数据的单一视图打破数据孤岛,确保数据分配到存储环境中最合适的层级,让用户能更好地控制数据,实现投资回报最大化。

CloudIQ存储监控和分析软件结合机器学习和人工智能技术,能实现实时性能、容量分析和历史记录跟踪,通过单一视图即可查看Dell EMC的基础架构。

容错能力与DevOps就绪。PowerScale具有灵活的故障转移功能,可承受多节点故障。支持K8s和OpenShift的集成。通过大规模简化能力缩短开发时间,降低成本,实现一位管理员就可以管理PB级的存储。

为企业存储和访问数据时提供“任意门”。PowerScale同步时支持多种文件传输协议。通过兼容S3,能部署在边缘到核心再到云的任意环境,大大增强了灵活性和敏捷性,优化了企业数据存储和访问的能力。

提供公有云与多云选项。PowerScale 提供灵活的部署选项。PowerScale for Multi-cloud能作为托管服务与所有主要的公有云直接连接,为有意向迁移规模应用到云或已经部署到云的用户提供便利。

F900

目前企业可选PowerScale全闪存节点以及Isilon全闪存节点,混合节点,或归档节点,满足企业业务从高性能到大容量的不同等级需求。F900是戴尔科技集团屡获嘉奖的PowerScale全闪存阵容新成员,配有dual-socket的cascade lake处理器,全NVMe闪存,并兼容NVIDIA GPUDirect,以帮助用户处理最数据密集型的工作负载。通过F900的发布,用户可以通过快速的全NVMe,以及对GPU加速应用程序的支持获得更强大的功能和扩展能力。简言之,F900就是为了现代化高性能数据湖而生。

企业级对象存储ECS是一个横向扩展的对象存储平台:

支持EB级容量扩展并且全球可用。用于公有云级别存储非结构化数据,同时提供私有云的可靠性和可控性。ECS可以扩展到EB级甚至更大容量,支持企业在单一全局命名空间下管理全球级分布式存储基础架构,并随时随地访问内容。

作为全包式设备或以软件定义模式部署。提供S3兼容性,让企业能够支持大规模的企业工作负载,例如云原生、归档、物联网、AI 以及大数据分析应用等。目前借助ECS构建对象存储云,企业可将总拥有成本降低多达59.5%。

支持小文件归并功能。当我们存储上亿个海量小文件时,单次写入容易导致管理效率下降,ECS设置将多个小文件在内存里合并为固定容量后进行一次写入,以此提升写性能。

当前ECS已经更新到了第三代的EX系列,包括EX300、EX500、EX3000和全闪存EXF900。以EX系列最新产品EXF900为例,搭载基于NVMe的SSD,单节点支持12-24个硬盘,每个机架从230TB起可扩容至多PB级,是面向企业现代化工作负载的理想选择。

总结

最后谈一下戴尔非结构化数据存储消费模式的创变,Dell Technologies On Demand(DTOD)的应用显示其已经转向按容量计费的模式,企业可以从多种灵活消费模式(含长期和短期承诺用量)中进行选择,包括新的一年期灵活消费,以适应数据增长与应用。

近期在2021戴尔DTW大会上,戴尔正式发布了全新的APEX服务,跨边缘和云提供一致服务,实行订阅模式,配备统一在线APEX控制台进行管理。来猜一猜,其中会不会有PowerScale和ECS?