本文是 XSKY 智能存储方案助力先进制造数字化转型系列文章中的第一篇,重点分享先进制造行业数字化转型过程中,对于数据存储的需求,以及为何传统存储架构无法很好满足这些需求。
随着智能制造的发展,自动化、信息化、智能化等技术渗透到制造业生产过程的各个环节,从工业现场的传感器、设备到制造生产过程中的各个信息系统(如制造执行管理系统、生产监控系统、设备运行维护系统、产品质量检测系统、能耗管理系统等),均会产生大量不同结构类型的数据。
但是,随着先进制造企业在数字化转型过程中,对数据价值的需求增加,尤其是现在企业对充分发挥数据要素乘数效应,发展新质生产力的要求之下,其此前支撑应用和数据存储的传统存储架构,已经无法满足。
新时期 先进制造企业 对存储系统的两大典型需求
先进制造行业所产生的数据具备四大特征,数据量大、增量快、保存周期长、持续扩容,这就使得先进制造企业对于存储系统要求具备更高的性价比,这是第一个典型的需求。
对于先进制造企业而言,产线、生产机台的投入,以及 MES、ERP 等生产系统的投入才是投资的重点,对于 IT 基础设施,尤其其存储系统的投入并不会占据其投入的主要份额。更何况在当前的经济周期中,有一些企业面临订单数减少的情况,对于存储系统等 IT 基础设施的投入成本更是会严格控制。
而先进制造企业动辄 PB 级别的数据量、每天数百 GB 乃至数十 TB 的机台数据增量、汽车相关 10-15 年、光伏领域 15-30 年的数据保存周期,这些特点,意味着企业的数据增长快、保存周期长,需要持续进行存储扩容。那么,企业的存储系统必须具备足够优异的性价比,才能够实现海量的数据存储。
随着先进制造企业对产品质量提升的不懈追求,众多企业引入了基于 AI 算法的视觉缺陷检测系统(AOI),以期实现对随机缺陷的识别和检测。为了确保产品质量,企业需要在产品出厂之前对检测系统的结果进行抽查,也会在产品出现问题之后,对检测系统的结果进行回溯检查。
如果每次检查都需要耗费数小时乃至数天时间,那么对于企业的运行效率将带来巨大的负面影响。相关的先进制造企业必须要求更快的数据查询,最好能够实现全局数据的秒级查询,这是第二个典型的需求。
在这两大需求之外,先机制造企业其实有一些更深层次、更细节的需求,包括提供 API 与 MES 生产系统的联动功能,以便满足 MES 系统调用存储的下载、预览、检索的接口需求;以及数据定期快速删除以快速释放存储空间的需求;还有就是存储空间灵活扩展的需求等等。
传统存储架构 为何无法满足先进制造存储需求?
在 XSKY 与客户的沟通调研中可以发现,传统的存储架构,无论是本地存储方案还是传统 NAS/中转服务器的存储方案,都已经无法满足先进制造企业的海量存储和秒级查询的新需求,更不要说其他的更多的管理需求。
传统存储架构之本地存储方案
一些制造企业采用了本地存储方案的方式(如下图所示),以进行生产数据的存储。相关数据从生产机台产生之后,存储在与生产机台对应的本地盘上,数据无法汇聚、也不互通,因此在进行相关质检调阅的时候,只能由技术人员根据记忆,在每个生产机台对应的本地盘上去查询,非常费事费力,无法满足企业对于数字化转型的需求。
整体而言,本地存储方案的缺陷非常明显:
- 由于本地盘容量有限,在数据增量非常快的情况下,制造企业或者定期删除旧数据,或者使用备份硬盘进行拷贝。前者无法满足客户数据长期保存的需求,后者则需要占用大量的人工和时间。更何况,万一本地硬盘或者备份硬盘损毁,还会造成数据丢失,带来更严重的问题。
- 本地存储方案数据分散,无法统一管理统一查询,质检员需要在每个机台调阅数据,费时费力,无法及时满足客户的数据查询需求。而且,一般而言,作为数据备份的移动硬盘中的数据无法直接打开,一般需要放回原来的系统中才能够打开查询,备份数据的追溯也就更为麻烦。基本上采用本地存储方案的查询时间,会耗费数小时到数天不等,在某些制造企业,有一些数据的查询甚至高达一周的时间。
传统存储架构之 NAS/中转服务器方案
有一些企业采用了传统的 NAS 方案作为其数据存储设施,虽然能够将各生产机台的数据进行汇聚和集中,也能够供质检员进行集中调阅。
但是,一方面传统 NAS/中转服务器存储方案,面对超过 PB 以上级别的数据就很难驾驭,使得一台 NAS 存储可以对接的机台数量有限,无法构筑统一的数据存储平台,这会使得查询效率也大为降低;另外一方面,由于传统 NAS/中转服务器存储方案采用的都是文件存储协议,其架构决定了在海量的情况下,查询的时间会非常漫长,上亿级别文件的查询需要几十分钟才能够完成,难以满足客户的需求。
此外,无论是本地存储方案还是传统 NAS 方案,都无法满足先进制造企业在追求存储高性价比和高性能查询时,所需要的多种高级需求:
- 无法实现图片压缩功能,不能实现更高性价比的存储方案——海量质检图片存储的规模下,不能为客户规划高效的存储方案,客户在存储的经济投入持续增大;此外对于更多元化的图片处理功能,例如图片水印、图片放大缩小、图片预览、图片批量下载等传统存储也无法满足。
- 无法进行动态数据标签的标注——随着先进制造业的发展,对质检数据的分类需求日益明显;存储具有动态数据标签的功能尤为重要,对客户的生产数据通过标签进行分类,后期可通过标签快速追溯,传统存储无法做到这点。
- 无法提供 API 和 MES 生产系统进行联动——在 MES 系统有需要调用存储的下载、预览、检索的接口需求下,传统无法满足其需求。
- 无法实现高效率数据删除——由于数据量大,为了节省成本数据需定期快速删除,快速释放存储空间,传统存储删除效率比较慢。
- 无法做到数据统一上收汇聚分析——传统存储只能目录挂载,满足 1 个产线或部分机台数据存储问题,无法所有机台数据统一汇聚统一做数据分析
- 扩展性有限,无法弹性扩展——只能满足部分产线或机台数据长期存储需求。
小结
因此,从如上分析可知。传统存储由于其架构上的缺陷,已经无法满足先进制造行业对于数据价值的需求,更无法充分发挥数据要素的乘数效应。
而且,不仅仅是生产机台的数据存储如此,其整个企业中的数据基础设施也没有办法由传统存储来满足。传统存储架构中,应用跟存储都是一对一建设、按项目采购,非常容易造成数据孤岛;同时,由于各个应用的存储设备不同,不同存储厂商之间的数据难以做到共享和平滑流动,数据需要不断地拷贝迁移才能够被利用;这些不同的存储产品,对运维人员的技能也是巨大的考验。
先进制造企业,要实现数字化转型,基于传统存储已经无法完成,必须考虑如何向软件定义的分布式存储架构转型。
怎么办?
敬请期待下一期文章:《先进制造业数字化转型:典型场景需求及实践解析》。