9月18-20日,由中国计算机学会(CCF)主办,CCF信息存储技术专业委员会、深圳大学、哈尔滨工业大学(深圳)、鹏城实验室承办的第25届全国信息存储技术学术会议(NCIS2019)在深圳召开。
作为全国一年一度信息存储领域的盛会,本次大会吸引了存储业界众多知名专家、学者和企业的参与,通过专题演讲、学术交流,产业前沿论坛、青年学者论坛和博士生论坛,进行了发展我国信息存储技术的深度研讨,并开展大数据、云时代和软件定义存储等方面的新技术及新产品展示,集中呈现国内外信息存储领域的最新动态。
会上,深信服创新研究院存储技术专家付忞带来了《面向企业云的分布式存储架构》主题分享。秉承深信服多年存储研发积累、具备丰富实践经验的深信服企业级分布式存储EDS以其高可靠、高性能两大突出特性在本次大会备受关注。
▲深信服创新研究院存储技术专家付忞
付忞表示,深信服从2014年开始投入存储技术的研发,并在自身超融合与桌面云用户中积累了非常丰富和成功的块存储经验。目前深信服有超过5,000家的超融合案例,其中70%以上用户的核心生产业务系统(如Oracle数据库、SQL数据库、ERP、MES系统)承载在深信服分布式存储之上。与此同时深信服桌面云已经累计销售75万个并发授权,而其中超过80%也都运行在深信服的分布式存储之上。
深信服企业级分布式存储EDS则继承了深信服过去多年的存储技术积累,并在块存储的基础上,融合了文件与对象存储,构建了基于“软件定义”的统一存储平台。经过不断的技术创新与平台优化,深信服EDS在高可靠、高性能上面优势突出。
高可靠:数据冗余保护机制+多重主动防御能力
深信服EDS的高可靠性重点体现在:一是深信服EDS针对存储冗余策略进行了深度定制和优化,支持副本和分布式纠删码,相比传统存储采用RAID方式的容错性更强,可实现故障自动切换,有效提升了存储集群的可靠性与可用性,使得底层存储更加稳定。
二是深信服EDS推崇热备空间概念,将传统热备盘的数据修复方式创新为热备空间修复方式,通过将故障磁盘内的数据打散,分散到集群所有可用磁盘空间进行修复,采用多磁盘并发的方式,从而快速提升数据修复效率,达到1T/30min的修复速率,降低故障修复时间,保障整个存储平台的高可靠。
三是深信服EDS能做到智能运维,自动感知业务故障。经过长时间和大量的错误代码训练,深信服EDS AI智能检测准确率高达98.5%,可以实现在故障发生之前就能预判软硬件的风险点,及时预警并提出修复意见。相比传统存储,这种基于AI机器学习的主动防御能力大大保障了平台高可靠性,避免突发故障所带来的业务中断风险。
付忞表示,人工智能已经基本融入到深信服所有的产品当中。深信服EDS的AI智能化涵盖了数据的全生命周期管理,包括性能及容量规划、故障监控、故障自愈、数据可视、一键管理等,并具备数据智能分类分层处理能力,让平台能够智能感知数据的冷热状态,还通过收集各种配置信息、使用日志来分析平台运行情况,为用户提供存储管理和使用建议等等。
高性能:分布式、智能合并等机制提高IOPS和吞吐
深信服EDS通过分布式数据库、分布式缓存、IO路径优化等来保障平台的高性能。
开源的分布式存储自带的数据库在处理海量元数据时会出现性能的衰减,从而造成存储集群在处理非结构化数据时效率低下。深信服创新推出了分布式数据库PhxKV,具备优秀的性能扩展能力,因而存储集群在处理海量小文件时具备更好的性能稳定性,性能抖动不超过5%,为EDS在高效处理百亿级海量小文件的场景下发挥了重要作用。
深信服智能分布式缓存,可实现对数据的智能感知,通过区分数据类型及大小特性来对不同数据做区分处理。相较于传统存储的机械式数据处理方式,深信服EDS可实现小IO的数据缓存合并,然后进行数据落盘,大IO数据直接写入机械盘,大幅提升每块普通硬盘的随机读写速度,从而发挥存储集群的最大性能优势,三节点存储集群可达到40W IOPS。
付忞表示,除了分布式数据库与分布式缓存,深信服EDS还通过IO路径优化、智能条带化技术来保障整个存储平台的高性能。
深信服EDS不仅在高可靠和高性能上面领先于业界,在易用性上也做了更人性化的设计。付忞表示,传统存储管理对运维工程师的技术能力要求较高,特别是故障处理定位难度较大。深信服EDS在存储集群管理的可视化设计上做得更加简单明了易用,特别是融合了AI智能检测,当故障发生时可直接提供预警和解决方案,大大降低了运维工程师的管理难度。普通运维工程师经过简单培训即可上手。
正是基于上述关键技术和其他的定制化优化,深信服EDS能给AI安防和智慧金融这些海量非结构化数据的存储场景及云存储场景用户带来融合、高可靠、高性能的高端存储服务体验。目前,深信服EDS已服务珠海公安、深圳南山公安、福清电视台、招商基金、深圳龙岗区图书馆、甘肃环境监测中心、上海嘉定区政法委等用户,帮助用户解决数据存储管理难题。
