Arm智能视觉参考设计发布,构筑强大生态体系服务中国市场

6月13日,Arm在技术媒体沟通会上发布了面向中国市场的Arm智能视觉参考设计。该智能视觉参考设计支持灵活配置,为客户降本增效,加速系统开发进程,为视觉芯片及系统设计奠定坚实可靠的基础;同期启动的智能视觉合作伙伴生态计划,将聚集芯片设计、软件、算法、系统集成等领域更多的伙伴,进一步加速视觉系统的开发。

智慧视觉无处不在,视觉软硬件联合创新成为可能

在过去几年中,智能视觉芯片架构经历了一系列的演进:从功能固定难以编程的DSP和ASK,到通用性强易编程的CPU架构,到如今最先进的综合CPU、ISP图像处理器、NPU AI加速器,VPU视频编解码器、GPU图形处理器的异构SoC片上系统,逐步实现了低功耗、高性能和高度集成,为智能手机、摄像头、XR、机器人和物联网等资源受限的边缘设备提升了价值所在,也为智能视觉成为一种普世的能力奠定基础。

当前,智能视觉系统正呈现以下发展趋势:一是云、边、端的协同。视频数据巨大的数据量以及诸如自动驾驶等应用的实时性要求,决定了智能视觉系统需要能够将计算和决策任务分布在云、边和终端设备上,并实现协同工作;二是AI加持。未来的智能视觉系统将继续依赖深度学习模型和神经网络,以提高图像的分析和识别能力,并通过强化和自主自适应不断学习和改进,适应更多新的场景和任务;三是算力支持。由于复杂的模型和算法,大规模的图像数据处理实时性、高精度、高并发等要求,智能视觉系统需要提供日趋强大的计算资源和算力支持;四是对隐私和安全性的关注不断提升。智能视觉系统的广泛应用也引发了数据安全与保护相关问题,防护、加密、匿名等技术手段将具有更大的市场空间。

Arm物联网事业部业务拓展副总裁马健Chloe Ma

“Arm致力智能物联和视觉界的创新企业显著降低开发成本和风险,并大幅度缩短研发周期,将其创新快速转化为成熟产品量产以满足市场需求。” Arm物联网事业部业务拓展副总裁马健Chloe Ma表示。

多年来,Arm实现了从生产原材料,也就是处理器和系统向预先经过集成和验证的子系统转变,辅以Arm虚拟硬件,参考软件栈,形成设计智能视觉系统的技术平台,予客户足够的灵活性和选择,以支持差异化创新。

Arm携手安谋科技,智能视觉参考设计发布

智能视觉参考设计是Arm携手安谋科技发布、首次集双方在CPU、ISP、NPU和VPU处理器选项以及将这些元件组合在一起的子系统 IP,并由安谋科技预先集成和预先验证的解决方案。

Arm智能视觉参加设计采用Arm Corstone-1000和Corstone-300。前者是首款为Cortex-A设计的子系统,该方案基本配置是经过量产考验的Cortex-A35或Cortex-A53,并取得了Arm SystemReady IR认证,确保Linux等操作系统的开机即用,并简化软件开发,后者在智能视觉参考设计中作为低功耗待机子系统,可降低边缘设备的功耗,提高系统效率;参考设计中选用了Arm去年六月发布的Mali-C55——Arm迄今为止面积最小、功耗最低、且可配置性最高的ISP产品,Mali-C55提供升级的图像质量功能,支持自动曝光、自动白平衡、自动对焦,适于不同照明和恶劣天气环境。

安谋科技智能物联及汽车业务线负责人赵永超

“此次 Arm 和安谋科技合作的智能视觉参考设计,采用了安谋科技自研 VPU 和 NPU。”安谋科技智能物联及汽车业务线负责人赵永超说。

据赵永超介绍,“玲珑”VPU作为编解码融合、灵活可配、可编程的多核视频处理器,不断在编码标准、编码质量、PPA(功耗、性能、面积)等各个方面功能进行拓展、提升,并保持与Arm架构以及多媒体生态的兼容,如编码质量提升10~15%,带宽降低35%,不仅为合作伙伴提供灵活的组合和选择,也全面达到并高于行业客户的要求;“周易”NPU在16纳米工艺上实现面积只有3.3平方毫米,支持如Tensorflow、Caffe、Pytorch等多种典型的深度学习框架,已应用于汽车智能座舱、自动驾驶、智能物联网、安防监控等多个行业,实现视觉应用的智能化,为此次双方智能视觉的合作成功提供更强的人工智能能力。

Arm及其优秀的产品质量和强大的软件生态系统势必为用户带来更多信心。

面向中国市场的智能视觉方案参考设计

为什么智能视觉方案参考设计只面向中国市场推出?

马健解释说,中国是人口大国,城市化、数字化进程发展非常迅速,推动智能物联网和机器学习方面技术的快速发展,智能视觉技术在智慧城市、零售和智能制造等领域的应用广泛。如在智慧城市领域,视觉技术应用于城市安全监控和智能交通管理,以及智能化的垃圾处理和回收,达到绿色环保的目的;在零售领域,智能摄像头和视觉分析技术对人流统计和行为分析,优化商店布局,推广策略和服务响应,提升了顾客体验和销售效益;在智能制造领域,智能视觉广泛应用在监测和质量控制、自动化导航和定位、工艺控制和辅助操作等方面,提高了生产线的效率、质量和安全性,带来了更高的竞争力和生产效益。

除了企业级的应用,视觉技术在安全监控、智能门禁和个性化的家庭环境等智能家居领域,也有着非常巨大市场潜力,特别是在中国大量人口老龄化加速的背景下,如关系到千家万户的通过摄像头监测老年人的日常生活、生理指标、睡眠质量等,并及时报警或提醒看护人员,提高人民大众的健康水平。

“鉴于中国视觉市场在世界上的领先地位以及创新活跃度,Arm智能视觉参考设计将服务于中国市场,并促使我们以新的方式更好的支持客户及合作伙伴的差异化创新。”马健表示。

不断稳固和扩大的生态市场

市场规模快速扩大与创新活跃度高涨,带来的是激烈的市场竞争,国内Arm合作伙伴普遍认为,IPC视觉系统已经迎来红海市场。让合作伙伴能够聚焦于他们的差异化,从重复性的基础软件的开发与整合工作脱身出来,是Arm和安谋科技携手合作推出Arm智能视觉参考设计的初衷。

在发布智能视觉参考设计的同时,Arm组建智能视觉合作伙伴计划,携手AI视觉、芯片设计、软件、算法、系统集成等伙伴共同打造基于Arm架构智能视觉应用的强大生态。生态合作伙伴的加持,进一步加速视觉硬件、软件和系统的开发。

目前,百度飞桨已经实现了基于飞桨的视觉模型库和Arm虚拟硬件的整合适配,诚迈科技作为软件设计合作伙伴加盟,日前已经成为中国第一个Arm批准的ISP调优伙伴,厦门星宸科技在月初通过了PSA安全认证,展示了智能视觉界领军者对安全和隐私保护重视程度的提高。

“我们看到了业界的巨大的兴趣——Arm智能视觉合作伙伴计划刚刚启动就吸引了10余家伙伴的加入,对此计划的发展趋势和势头,我们充满了信心。”马健表示。

随着AI和大模型一日千里的发展,Arm坚信,智能视觉技术将继续在所有垂直行业得到更广泛的应用,智能未来“视”不可挡、智慧视觉将无处不在。