3月13日,赛灵思(Xilinx)推出reVISION 堆栈,宣布将赛灵思技术扩展至广泛的视觉导向机器学习应用领域。此举进一步补充和完善了其近期发布的可重配置加速堆栈,大幅扩展了赛灵思技术在机器学习应用领域从端到云的部署。
为高端视觉导向机器学习应用打开大门
全新的reVISION堆栈能够支持更广泛的没有或者很少硬件设计专业知识的嵌入式软件和系统工程师,使其也可以使用赛灵思技术更轻松、更快速地开发视觉导向的智能系统。一旦将机器学习、计算机视觉、传感器融合和连接的优势融为一体,这些工程师将从中大受裨益。
reVISION 正在各类市场中实现一系列快速增长的应用,其中包括传统的高端消费市场、汽车、工业、医疗和航空航天与国防等, 还包括新一代应用如协作机器人、具有“感应和躲避”功能的无人机、增强现实、自动驾驶汽车、自动化监视和医疗诊断等。在这些市场中,差异化至关重要,系统必须具备最高响应速度、最新算法和快速的传感器部署,大约三分之二的视觉导向半导体应用属于这类市场。
reVISION的四大使命
reVISION在传统嵌入式视觉向视觉导向自动系统转变过程中完成了四大使命:
首先,快速响应。高端系统不仅会思考,而且还要能够立即对情境做出“响应”。这就要求一个从感应到处理、分析、决策、通信和控制整个流程中更一致的视图。同时还要高效实施、部署最新机器学习技术,满足8位及更深层面的精确性要求。
其次,可重配置。鉴于神经网络和相关算法的快速变化以及传感器的快速发展,必须实现灵活性,能通过软硬件的可重配置性升级系统。
第三,任意互联。由于许多新系统都连接到了一起(物联网),因此需要与传统的已有设备通信,要与未来推出的新设备通信,还要能够进行云端通信。赛灵思将此定义为任意互联。
第四,软件定义开发。这些应用应通过最新软件开发技术快速开发和升级,包括高度优化的软件库,整合业界标准框架,支持最流行的神经网络和其他开源资源。
对标英伟达,reVISION性能惊艳
最快响应性 —— 从传感器到推理和控制的最低时延
软件定义的 reVISION 流程支持响应最快系统的快速开发。相比嵌入式CPU 和典型 SoC 的性能参数,赛灵思的表现大大超越了英伟达 ( Nvidia) 这一强手。
针对 Zynq SoC 的 reVISION流程与 Nvidia Tegra X1 进行基准对比可以看出,reVision流程在机器学习方面单位功耗图像捕获速度提升 6 倍,在计算机视觉处理的帧速率提升 42 倍,时延仅为 1/5(以毫秒为单位),这些对实时应用而言都是至关重要的。
刹车还是碰撞,快速响应至关重要
如下图所示,拥有速度极快的确定性系统响应时间非常实用。
例如,一辆汽车采用赛灵思基于 Zynq SoC 的reVISION 与采用 Nvidia Tegra 的汽车一起识别潜在的碰撞并采取刹车,在速度为 65 mph 情况下,根据 Nvidia器件的具体实现方案,赛灵思的响应时间可以让汽车在5到33英尺的距离停下,从而轻松实现安全刹车,避免碰撞。
快速迭代开发,软件定义最为关键
如下图所示,对快速演进传感器技术的管理同样需要可重配置性。
人工智能(AI)革命加速了传感器技术在不同领域的发展演进,也要求更高水平的传感器融合,以整合不同类型的传感器,以便在该环境了构建全面而完整的系统环境和对象视图。与机器学习类似,不管制定什么传感器配置标准、未来如何实现,都需要通过硬件可重配置性来满足未来需求。同样,只有赛灵思 All programmable 器件才能提供这种高度的可重配置性。
任意连接和传感器接口
如图下所示,基于Zynq的视觉平台提供了稳健可靠的任意连接能力和传感器接口优势。
借助reVISION堆栈所独具的可重配置性和任意连接优势,开发人员可以利用堆栈快速开发和部署升级。随着神经网络、算法和传感器技术和接口标准的不断加速发展,可重配置性对“适应未来”的智能视觉系统至关重要。
reVISION 堆栈构成
赛灵思reVISION 堆栈包括平台、算法和应用开发所需的丰富的开发资源,可支持最流行的神经网络, 包括 AlexNet、GoogLeNet、SqueezeNet、SSD 和 FCN。此外,该堆栈还提供了库元素,包括 CNN 网络层的预定义的优化型实现方案,这也是构建定制神经网(DNN/CNN)所必需的。机器学习元素配合丰富的满足加速要求的 OpenCV 系列功能用于计算机视觉处理。对应用层开发来说,赛灵思支持业界标准的框架,包括用于机器学习的 Caffe 和用于计算机视觉的 OpenVX。reVISION 堆栈还包括赛灵思及第三方提供的开发平台,诸如各种类型的传感器。
赛灵思公司战略与市场营销高级副总裁 Steve Glaser表示:“我们从端到云看到来自机器学习应用领域的巨大兴趣,而且我们也相信赛灵思对堆栈开发持续的投入能加速主流应用。今天,成百上千的嵌入式视觉客户都借助赛灵思技术实现了性能和时延 10 倍以上的提升。新增 reVISION 之后,成千上万的客户也将受益于上述种种优势。”
全球客户证言
Eyetech Digital Systems 公司 CEO 兼创始人 Robert Chappell 指出:“我们的眼部跟踪科技采用 Zynq SoC 支持高清视觉分析功能,让 ALS 等各种瘫痪病人受益匪浅。新型reVISION 堆栈借助机器学习的力量为算法开发提供了各种新的机会。这必将支持我们进一步扩展我们的人机交互硬件产品,并提升我们核心眼部跟踪产品的价值。”
ARM细分市场营销高级总监Lakshmi Mandyam表示:“嵌入式市场是一个不断发展的应用领域,其中算法,神经网络和传感器的变化需要目标平台的可重构性。来自赛灵思的基于ARM®的Zynq技术能够有效地部署这些应用,同时加速创新型机器学习应用从端到云的广泛采用。”
中国客户证言
在中国,近年来越来越多的用户正在多种不同应用领域开发嵌入式视觉系统,包括智能监控、机器视觉和高级驾驶员辅助系统等。
深鉴科技(DeePhi)致力于为机器人/无人机和安防监控等行业应用提供先进的嵌入式视觉解决方案。已经开发了一个完整的工作流程,用于在FPGA上部署深度学习算法,实现算法、软件和硬件的协同优化。
深鉴科技公司创始人兼CEO姚颂介绍:“在未来,我们希望真正赋予万物智能,而赛灵思的全可编程技术,将支持我们不断地适应和重新配置系统以实现这个目标。reVISION 堆栈中所包含的完整的工具包,可以让我们的客户更加轻松容易地利用全可编程FPGA 和SoC —即使是没有任何FPGA开发背景的算法工程师也能有效地部署经过训练的模型。这对于利用FPGA搭建智能解决方案有莫大的好处。”
零度智控的Dobby口袋无人机-AI版集成了复杂的计算机视觉和机器学习技术,通过手势控制和对象及主题跟踪为消费者提供独特的体验。这些功能直到最近还只属于更昂贵的系统,而借助Zynq All Programmable器件将这些复杂的算法实现到了Dobby AI中。
零度智控公司CEO杨建军说:“我们非常高兴看到赛灵思推出reVISION堆栈平台,它将支持我们的团队更容易地提升这些关键计算机视觉和机器学习算法,从而助力我们为Dobby AI赋予更加独特的个性。拥有像Xilinx这样不断深耕技术的合作伙伴,将确保我们可以在这个领域持续开发突破性的解决方案。”
威视锐科技是赛灵思联盟计划认证设计服务成员和授权培训合作伙伴,提供基于赛灵思FPGA、SoC和MPSoC的嵌入式视觉和视频解决方案及服务。基于赛灵思FPGA和SoC的嵌入式视觉解决方案,威视锐科技为用户提供了All Programmable全可编程的灵活、高性能且简单易用的开发流程,致力于帮助他们快速启动嵌入式视觉设计。
威视锐科技总经理姚远表示:“近期我们在威视锐EagleGo平台上实现了基于CNN的深度学习算法,进一步证实了Zynq‐7000 SoC的出色性能以及SDSoC设计工具的高效性。我们已经推出了ZynqUltraScale+ MPSoC系统级模块(ZURA),并将在随后的ZU+ MPSoC视觉解决方案套件中采用最新的reVISION开发堆栈。我们的解决方案包括Zynq‐7000 SoC/ZynqUltraScale+ MPSoC开发板以及带内置OpenCV库的系统级模块(SOM),同时可以提供基于Zynq‐7000 SoC的交钥匙智能摄像头解决方案,希望以我们基于赛灵思产品专业的设计服务能力和对本地用户的了解,让更多的嵌入式视觉开发者获益于先进的全可编程解决方案。”