PC等客户端计算设备越来越需要快速响应和情景感知式的用户体验、高质量视频会议和协作式应用,例如客户端设备可以分析摄像头采集的图像数据,确定后方人员是否离用户过于靠近,还可以在用户的注意力转移到别处时,模糊屏幕,保护隐私,或者调暗屏幕,延长电池使用时间。
莱迪思(LATTICE)Nexus FPGA、sensAI解决方案集合就是针对类似的应用所开发的计算机视觉和传感器融合应用的平台。
11月18日,莱迪思宣布了低功耗、AI/ML解决方案的最新路线图,Lattice Nexus FPGA芯片结合Lattice sensAI解决方案集合,可以帮助PC等OEM厂商开发智能、实时在线、具有低功耗和硬件加速AI功能的设备,这些设备还能现场进行升级,支持未来更多的AI算法。
莱迪思市场和业务发展副总裁Matt Dobrodziej表示:“基于视觉、声音和其他传感器的AI应用将革新客户端计算体验。我们的sensAI支持各类网络边缘AI解决方案,赋予客户端设备情境感知能力,让它们知道自身在何时、何地、以何种方式被使用。我们的Nexus FPGA则以行业领先的低功耗来实现这一功能。”
与使用CPU来驱动AI应用的设备相比,采用sensAI开发,并在莱迪思FPGA上运行的AI计算设备的电池使用时间延长了28%。sensAI还支持现场软件更新,从而保持AI算法的演进,还能让OEM厂商灵活选择不同的传感器和SoC技术来适配他们的设备。
莱迪思正与领先的AI生态系统伙伴合作,制定莱迪思客户端计算AI体验的发展路线图。
Mirametrix副总裁Stephen Morganstein表示:“我们的Glance by Mirametrix注意力感应软件可以捕捉用户的面部、眼睛和凝视动作,从而了解用户的意识和注意力。这项独特的技术开发的智能设备能提供更自然和沉浸式的用户体验和设备交互。莱迪思的sensAI解决方案集合和低功耗FPGA可帮助开发人员实现新颖的AI功能,提高设备的电池寿命。”
sensAI解决方案集合的最新版本(v4.1)现已发布,支持莱迪思基于AI的应用路线图,其增强特性和新特性包括:
- 客户端计算AI体验参考设计
- 用户检测:用户接近或离开设备时会自动启动或关闭客户端设备
- 注意力追踪:当用户的注意力不在屏幕上时,降低设备的屏幕亮度,节约电量,延长使用时间
- 面部取景:在视频会议应用中提升视频体验
- 旁边者检测:检测站在设备后面潜在的窥视者,模糊屏幕以保障数据隐私
- 更多应用支持——sensAI 4.1版本在性能和准确度方面的提升有助于拓展其目标应用,包括自动化工业系统中使用的高精度目标检测和瑕疵检测等应用。该解决方案集合拥有全新硬件平台,包括板载图像传感器、两个I2S麦克风和用于添加更多传感器的扩展连接器,助力基于语音和视觉的机器学习应用的开发。
- 易于使用的工具——sensAI还更新了神经网络编译器,支持Lattice sensAI Studio,这是一款基于GUI的工具,拥有AI模型库,经过配置和训练可适用于各类主流应用场景。sensAI Studio现支持AutoML功能,能根据应用和数据集目标来创建机器学习模块。一些基于Mobilenet机器学习推理训练平台的模型专为最新的Nexus系列产品——Lattice CertusPro-NX进行了优化。sensAI还兼容其他广泛使用的机器学习平台,包括最新版本的Caffe、Keras、TensorFlow和TensorFlow Lite。