在AI技术蓬勃发展的当下，AI的影响力正渗透到各个行业，农业便是典型代表。借助AI对土壤、气候、作物生长等大数据的分析，精准农业得以实现，无人机、自动驾驶拖拉机等智能设备的应用，大幅提升了农业生产效率。但目前AI百模大战的焦点集中在云数据中心的集中式训练，而推理才是AI释放价值的关键。随着应用场景对实时性、隐私性要求的提高，AI推理从云端下沉到边缘成为必然趋势。对于芯片硬件玩家来说，边缘侧形态各异的设备与丰富用例，将带来更多激动人心的机会。而大模型、智能体在边缘侧的落地需要具备更高性能和能效的边缘计算平台。
在此背景下，Arm近日发布了全新的边缘AI计算平台，该平台以全新的Arm Cortex-A320 CPU和领先的边缘AI加速器Arm Ethos-U85 NPU为核心，可支持运行超10亿参数的端侧AI模型。
此次全新发布的Cortex-A320是Arm首个基于Armv9架构的超高能效CPU，专为物联网应用优化，也是全新边缘AI计算平台的核心组件。在性能方面，它较前代Cortex-A35提升了高达10倍的ML计算能力，标量计算性能提高了30%。其能效比较Cortex-A520提升了50%。此外，Cortex-A320最高可支持四核共享集群，可根据不同需求灵活扩展，满足各种应用场景的需求。值得一提的是，Cortex-A320充分利用了Armv9增强的安全性和 AI 计算特性，这些特性已经在其他市场得到广泛应用，而Arm现在将其引入物联网领域。
在安全性方面，Cortex-A320引入诸多Armv9增强的安全性特性，比如Secure EL2增强TrustZone内部隔离性，支持更安全地运行软件容器；指针验证/分支目标识别（PACBTI）可有效缓解指针安全隐患；内存标记扩展（MTE）则可通过内存标记机制，提高系统整体安全性。
性能方面，Armv9的特性也带来了AI计算能力的增强。比如，增强的Neon和可伸缩向量扩展(SVE2)技术，提供了更高效的ML计算能力；对例如BFloat16等新数据类型的支持，则提高AI计算的精度和能效；新增的矩阵乘法指令，优化了AI和ML计算性能，加速神经网络推理和训练任务。
正是这些改进使Cortex-A320成为物联网设备的理想AI计算平台，能够高效执行复杂的边缘AI任务，同时保证系统的安全性、可靠性和数据完整性。
作为边缘AI计算平台的另一核心，Ethos-U85是Arm Ethos-U产品线中的第三代NPU，也是迄今为止性能和能效最强的Ethos NPU。与前代产品相比，该NPU的性能提升了四倍，能效提高了20%，并且可在主流网络上实现高达85%的利用率。
去年Arm推出的集成了Cortex-M85和Ethos-U85的Arm Corstone物联网参考设计平台，显著提升了端侧Transformer网络的执行效率。如今，Ethos-U85 驱动程序进行了更新，使得Cortex-A320能够直接驱动Ethos-U85，无需额外搭载Cortex-M。这一更新降低了延迟，并使Arm的合作伙伴可以去掉用于驱动AI加速器的额外控制器，从而降低成本和系统复杂性。
可以说，此次发布的边缘AI计算平台实现了CPU和AI加速器的深度配合，让CPU和NPU相得益彰。Cortex-A320可以为Ethos-U85提供更高的内存容量与带宽，让大模型在Ethos-U85上的执行如虎添翼；任何开发者们不希望在Ethos-U85上运行的AI操作，可以回退到Cortex-A320，利用其Neon/SVE2引擎更灵活有效地在CPU上执行。这使智能物联网与消费类电子生态系统能够在正确的时间，并在合适的地方运行最适合的工作负载。
真正的边缘 AI 计算平台需要灵活性，使工作负载既可以运行在 CPU，也可以运行在 AI 加速器。对于在CPU上运行的AI任务，开发者希望能够获得最优的性能，这正是Arm Kleidi发挥作用的地方。去年，Arm推出了Kleidi软件库，并将其引入了智能手机和服务器市场，它包含优化AI负载在Arm CPU上执行的KleidiAI和加速机器视觉的KleidiCV。现在，Arm也将Kleidi扩展到了物联网。
KleidiAI 是一套专为AI框架开发者设计的计算内核，让开发者可以无缝地在Arm CPU上获取最佳性能，适用于各类设备。此外，KleidiAI已经集成到多个主流 AI 框架，包括Llama.cpp、ExecuTorch和LiteRT（通过XNNPACK）它可以加速 Meta Llama 3和Phi-3等主流AI大模型，进一步释放AI计算性能。
Arm物联网事业部业务拓展副总裁马健表示，此次Arm发布的全新边缘AI计算平台不仅是一次渐进式的升级，也代表了Arm为未来边缘计算和AI处理提出的新范式。
凭借强大性能及能效、高安全性和完善的软件生态，全新边缘AI计算平台将为物联网发展注入新动力。未来，Arm将继续引领边缘AI技术发展，推动物联网产业迈向新高度，开启智能化新时代。
