据分析师预测称,2025年,全球数据将呈指数级增长10倍,达到163ZB。但对如何有效使用这些数据的问题仍然是任重道远,有保守估计,未来仅约1%的数据能够得到利用和处理。因此,现今各色行业都在面临着独特的业务挑战,但它们的一个共同点就是——需要从大量的数据中获取更多的价值。
从数据中获取更多价值需要结合各类新技术,如计算机视觉,边缘计算,云和AI等,并要求这些以数据为中心的技术方式进行重大转变,包括如何快速移动数据,存储更多数据以及处理云到边缘的所有数据。
英特尔战略从PC为中心转向数据为中心
我们可以看到,英特尔的战略由之前的以PC为中心转向以数据为中心,针对后者,旨在帮助客户从计算和存储方面增强整体系统性能,同时降低成本。
早在去年HPC China大会上英特尔院士,HPC战略总监Mark Seager就曾公开了英特尔以数据为中心的可获取市场规模(TAM),并指出,针对以数据为中心的业务,英特尔将自身TAM从2021年的1600亿美元调整为2022年的2000亿美元,尤其是非易失性存储TAM将到达750亿美元,而英特尔也将提供特尔Optane和英特尔3D NAND技术,推动SSD以及其他存储产品的创新。现在英特尔Optane的使用似乎也在步入正轨,2018年底,新华三的新型存储产品就采用了英特尔Optane技术。
Mark还表示,潜在数据增长的主要走向是云&容器以及新的工作负载和工作流。其中,机器学习和AI是基于云计算数据增长最快的工作负载,并开始越来越多地融入更多的行业创新应用。
HPC(高性能计算)能够切实加速这一变革,HPC可用于培训,模拟,船载导航,防御,攻击和指挥,控制,通信,情报,计算机,监视和侦察系统等,预计到2023年HPC市场规模将超过450亿美元,复合年增长率为6%。
于是工作负载驱动,采用AI技术加速传统HPC应用势在必行,反之AI也在借助HPC不断扩大规模,两者协同,促进了HPC-AI融合平台的发展。
助力AI+HPC,英特尔做了哪些事?
存储对HPC和AI中都很重要,英特尔从硬盘到SSD,到内存再到CPU缓存一直在保持创新,还推出了持久内存(Persistent Memory)的产品形态,新系统加持,提供与内存类似的读写速度,读写性能介于DRAM与SSD之间。从一个完整的存储架构角度来讲,不管是AI应用还是HPC应用,还是一般的企业级应用,都能够很大程度上从大容量的持久内存(Persistent Memory)中受益。
另外,市场上大部分HPC或者AI应用都运行在至强可扩展处理器上,站位很稳我们都知道。英特尔高性能计算方案和销售总经理Nash Palaniswamy称,人工智能工作负载实际上就是一个较典型的高性能运算工作负载。但一个单一的产品线,不会适合所有的的人工智能领域应用,因此英特尔希望订立不同产品线满足不同的市场需求。
并且,在整个AI开发流程中,训练工作就占了全流的30%左右时间。之前还要花大量的时间准备,格式化和处理数据,然后再输入,以不同方式将数据呈现给最终用户。未来英特尔希望有一个一致性的平台,能帮助客户无需来回切换平台工作,一次性解决AI开发问题。
目前英特尔已有的软件优化条件下可以做到1.4倍的性能提升。而新一代的至强处理器还会加入一个深度学习加速器——英特尔®DL Boost。做INT8运算时,最高可提升大概11倍的性能。加速器可以满足大规模训练需求,因此可能更多用于AI推理,在推理市场,英特尔占有超过90%的市场份额。当然你也可以把训练工作可以放在英特尔已有的平台上面做处理以便节约不必要的成本。
软件框架在人工智能领域非常重要的一个基础。英特尔也会有持续投入,例如nGraph——一种面向各种设备和框架的深度神经网络模型编译器,希望这些新的软件基础设施,可以跑在英特尔平台上面,帮助用户解决性能问题。
英特尔与PAC大赛
AI与HPC的相互融合就显得至关重要,而全国并行应用挑战赛(Parallel Application Challenge 简称PAC)则是英特尔助推HPC-AI融合平台的一个特殊途径。PAC大赛由中国计算机学会高性能计算专业委员会指导、教育部计算机类专业教学指导委员会联合英特尔(中国)有限公司、北京并行科技股份有限公司共同倡导发起,中科院计算机网络信息中心等单位支持,旨在普及和培养学生的并行计算系统能力,推动了并行计算人才的培养。
竞赛自2013年创办,已连续举办六届,累计有35座城市,330所高校、7000余师生参与,是全国范围内(含港澳台)最大规模并行挑战赛,在2017年起增设人工智能赛道,与优化组、应用组组成三大赛道。
英特尔为PAC大赛提供至强处理器作为推荐平台,华为云EI大数据MRS服务作为大赛结果评选的独家评审平台。英特尔(中国)有限公司还提供了围绕并行计算以及英特尔至强的相关培训内容,帮助参赛选手深入了解并顺利运用英特尔®至强平台进行并行程序的开发以及优化。
从英特尔的角度来看,AI只是HPC里的一部分应用。除了AI外,还有模型、验证、仿真等。另外还有可视化。目前可视化方面,超过70%的工作负载是跑在英特尔CPU上。
值得一提的是小编在展台上还得知电影《巨齿鲨》中的鲨鱼就是基于英特尔AI技术打造的远古巨鲨,这是英特尔结合Ziva的角色创建软件,为满足电影制作的计算需求提供了2500个英特尔至强处理器和近100000个核心,处理了超过1PB的流体仿真数据,多大270万的仿真任务,170万2D图像渲染,130万3D图像渲染,那段时期,这个身长近20米,体重70吨的巨齿鲨的细节特效呈现简直要吹爆。