PowerScale和HPDA的适配度有多高?

当HPC和大数据混熟,HPDA来了

随着油气勘探、自动驾驶、精准天气预测等数据密集型应用的爆发,业务模式逐渐复杂,企业对数据分析能力要求越来越高,引发高性能计算(HPC)与大数据分析紧密融合,而迫切解锁海量数据价值的结果是,激荡出了一个叫做HPDA的新时代。

HPDA(高性能数据分析)即利用高性能计算的并行处理运行强大分析软件实现快速数据洞察的过程,目前主要是帮助用户更好地应对数据密集型应用(包括大数据和AI负载)爆发带来的挑战,打开数据价值新空间,不久的将来HPDA应用创新将拓展至各行各业。

以自动驾驶为例,谈HPDA的存储要求

多样化数据密集型负载为行业应用带来新活力,但也为HPDA的海量数据存储和管理带来了不小的麻烦。我们以自动驾驶为例,首先,自动驾驶汽车能够实现自主上路行驶是基于汽车不同部位的传感器感知与其所在周边环境的地图绘制。

国际自动机工程师学会(简称SAE)将自动驾驶分为六个等级,L0是人工驾驶,然后L1-5依次是辅助驾驶、部分自动驾驶,条件自动驾驶,高度自动驾驶,完全自动驾驶。大家现在能等到普及的应该至少是L3级的条件自动驾驶。但随着自动驾驶等级的增加,汽车上安装的传感器数量也会成倍增加,绘制地图越来越丰富代表,所需的3D建模越来越复杂,实景图片越来越多,因此,自动驾驶需要分析处理的数据增长可见一斑。

在汽车传感器中,雷达传感器负责监视附近车辆的位置。摄像头负责检测和辨别红绿灯,标注路标,识别其它车辆和行人。激光雷达(光检测和测距)传感器则是通过汽车周围反射光脉冲来测量距离,检测道路边缘并识别车道标记。

以激光雷达反射光生成的3D点云数据为例,3D点云数据可以立体呈现汽车周边空间的物体位置点、RGB颜色、灰度值、深度、分割结果等信息,之后需要将这些数据进行清洗标注后喂进算法模型做反复训练。

当然,在自动驾驶领域的3D点云数据也有问题亟需解决——庞大数据量存储和算力需求。目前常用的激光雷达扫描仪每秒均能产生成千上万个点,每次扫描获取的数据点数可达数十万、数百万,数据量动辄几十至几百G,全部存下来都是问题,何况还要通过处理分析获取价值。

戴尔PowerScale和HPDA的适配度

为了处理指数级增长的传感器数据,作为自动驾驶汽车“决策大脑”的ADAS先进驾驶辅助系统(Advanced Driving Assistance System)基础架构要求采用的存储设备要在并发接收和流式传输海量数据时提供一致的性能,对不同类型数据的存储、管理(收发访问)都设置了高门槛。

戴尔PowerScale存储系统为非结构化数据而生,包含全闪存存储节点、混合型存储节点、归档存储节点,满足HPDA从高性能到大容量的需求,面对自动驾驶行业挑战同样早有准备。

比如,自动驾驶应用要收集来自传感器的大量3D建模数据和图片数据等,并确保对不同类型数据的快速访问。PowerScale支持广泛的文件传输协议如NFS、SMB、HDFS、S3、HTTP、FTP、NDMP、REST、SWIFT等,适用于各种类型工作负载,同一数据的访问无需协议转换和额外的时间开销。

让海量数据存储与性能兼得,PowerScale采用横向扩展架构和模块化设计,能实现百PB级容量的无缝扩展,性能随容量线性增长。支持在线扩容与软件升级,海量数据无需迁移。

同时PowerScale核心软件系统OneFS构建了不同性能资源池,让数据按既定策略进行流动,实现数据智能管理。同时,PowerScale各类型节点皆支持数据线内缩减、重删等功能,让数据访问和传输变得更加高效。

最后

包括自动驾驶在内的各种HPDA应用开启了数据掘金之旅。如何利用海量数据做有效分析,获取数据价值是最重要的目标。数据“挖掘”效率即竞争力,只有在这场旅途中选择适配度高的工具(存储解决方案)才能快速打破数据壁垒,而戴尔PowerScale正是兼顾数据存管用的不二之选!