随着人工智能 (AI) 不断对我们的日常生活产生越来越大的影响，其推理任务也逐渐从云端迁移到边缘侧和端侧。边缘侧推理为板载设备引入智能化能力，使数据能够在本地进行处理，并实时做出决策，同时提高了数据隐私性和安全性。
Arm Ethos NPU
Arm 多年来不断开发边缘 AI 加速器，以满足边缘侧和端侧不断增长的推理工作负载需求。此前两款成功的 NPU 产品——Arm® Ethos™-U55 和 Ethos-U65，为边缘侧和端侧 AI 应用带来了高性能、高能效的解决方案。
Ethos-U55 通常部署在基于 Cortex®-M 的异构系统中。而 Ethos-U65 则将 Ethos-U 系列的适用性扩展到基于 Cortex-A 的系统中，并为设备上的机器学习 (ML) 能力带来了两倍的性能提升。这两款产品均提供统一的工具链，可简化开发并支持常见的 ML 神经网络运算，包括卷积神经网络 (CNN) 和循环神经网络 (RNN)。
Transformer 架构的影响
于 2017 年问世的Transformer 架构彻底改变了生成式 AI，并成为许多新型神经网络的首选架构。基于 Transformer 架构的模型可利用注意力机制处理序列数据，并在机器翻译、自然语言理解、语音识别、分割和图像字幕生成等多项 AI 任务中实现优异的效果。
这些模型可被调整和压缩，在不过多影响准确度的情况下，能高效运行于边缘设备上，并在许多边缘侧和端侧用例中发挥领先的优势。
全新 Ethos-U85 NPU
依托 Ethos-U 系列 NPU 过往的成功经验，Arm 推出了全新产品—— Ethos-U85。该处理器秉承此前 Ethos-U NPU 一贯的高性能、高能效设计理念，并可同时为边缘侧和端侧设备上采用 Transformer 架构的现有和未来的工作负载提供支持。
Ethos-U85 是 Arm Ethos-U 产品线中的第三代 NPU，也是迄今为止性能和能效最强的 Ethos NPU。与上一代产品相比，该 NPU 的性能提升了四倍，能效提高了 20%，并且可在主流网络上实现高达 85% 的利用率。全新 Ethos-U85 可满足诸如工厂自动化和商用或智能家居摄像头等物联网应用不断攀升的性能需求。此外，其专为搭配基于 Cortex-M 或 Cortex-A的系统一同运行而设计，并容忍高 DRAM 延迟。
Ethos-U85 的主要特性包括：
——单周期支持从 128 到 2048 个 MAC单元的配置——在 1GHz 时，算力可支持从 256 GOPS 到 4 TOPS。
——支持 int8 权重和 int8 或 int16 激活。
——支持 Transformer 架构网络，以及 CNN 和 RNN。
——硬件原生支持 2/4 稀疏性，使吞吐量翻倍。
——内部 SRAM 为 29 至 267 KB，多达六个 128 位 AXI5 接口。
——支持权重压缩，采用标准和快速权重编码器。
——支持扩展压缩。
除了 Ethos-U55 和 Ethos-U65 目前支持的算子，通过支持 TRANSPOSE、GATHER、MATMUL、RESIZE BILINEAR 和 ARGMAX 等运算，Ethos-U85 涵盖了对 Transformer 模型和 DeeplabV3 语义分割网络的原生硬件支持。
Ethos-U85 也支持元素级算子链化。通过链化将元素级运算与先前的运算相结合，使 SRAM 不必先写入再读取中间张量。由此可凭借 NPU 和内存之间数据传输量的减少，提高 NPU 的效率。相比于 Ethos-U65，链化是 Ethos-U85 在效率提升上的新功能之一，其余还包括快速的权重编码器、优化的 MAC 阵列能效，以及提升的元素效率。
Ethos-U85 可用于与 Ethos-U55 和 Ethos-U65 相同的系统配置流程，并且我们支持从基于 Cortex-A 的系统直接驱动 Ethos-U85 的功能。
Ethos-U85 支持与上一代Ethos-U系列产品相同的软件工具链, 即使用TFLmicro运行时。此外，在这个基础上，Ethos-U85 同时还能为更广泛采用 Transformer 架构的用例提供支持，这对于已经投入在基于 Cortex-A/Cortex-M 与 Ethos-U55/Ethos-U65 的系统厂商来说，将能扩大其过往的投资价值。未来，我们预计将支持面向边缘设备的 PyTorch 运行时 ExecuTorch。
Ethos-U85 支持的算子将在 NPU 上进行加速，对于特殊算子不支持的情况，其中部分算子将调用CMSIS-NN库实现在Cortex-M系统上进行加速。例如，在 tinyLlama 的用例中，该模型算子可完全映射到 Ethos-U85，没有算子回退到 CPU。
Ethos-U85 担任了 Arm 全新物联网参考设计平台 Corstone-320 的核心角色，该参考设计平台加快了各类 AIoT 解决方案中高性能 SoC 的开发和部署。
释放边缘AI 的无限潜力
Ethos-U85 将提供在边缘侧和端侧设备上执行领先 AI 功能所需的算力。随着 AI 时代的不断发展，我们的合作伙伴将获得基于 Arm Ethos-U 的可靠、高效兼具高性能的解决方案。我们预计在新兴的边缘 AI 用例、智能家居、零售或工业场景中看到Ethos-U85 被广泛部署，这些用例和场景需要更高的计算性能，并支持新型的 AI 框架。
Arm 引以为傲的是，我们不断通过前沿的软硬件解决方案，为合作伙伴与生态系统提供强而有力的支持。全新 Ethos-U85 的推出将释放边缘侧和端侧 AI 推理用例的无限潜能，从而改变世界。Arm 正在引领边缘 AI 的创新提升至全新水平，并持续夯实 Arm 成为未来边缘 AI 的基石。
【本文作者：Arm 物联网事业部行业市场营销高级总监 Parag Beerkaka 】
