9月24日,在HUAWEI CONNECT 2020期间,华为云CTO张宇昕宣布HiLens Framework开源。HiLens是业界首个端云协同多模态AI应用开发框架,以简洁统一的API降低AI应用开发者的上手难度,在保持高性能的前提下,简化开发者工作量。HiLens Framework则为开发者提供了一套开发工具,让开发者不必重复制造轮子,直接调用相关模块的API,即可规范快速地开发出高性能的端云协同多模态AI技能和应用。
HiLens Framework开源,有力提速端云协同AI部署
现代生活中,很多地方都有AI应用落地的场景和例子。比如在线下零售门店中,可以通过摄像头精准识别用户,实现千人千面的个性化定制服务;在无人车比赛中,高速行驶的无人车通过快速识别图像,实现实时推理,做出准确决策;在家里,具备AI能力的摄像头,可以实时看护老人、儿童的状态,一旦发生意外,就能第一时间发出警报;在各行业中通过OCR文字快速智能识别各种文本和票据等。
在这些应用场景中,有些数据敏感且要求实时处理响应,但往往因为网络不够稳定,无法上传到云端处理,因而采用端云协同方式,结合云上高效开发和边端侧的敏捷快速部署,既能保证AI计算的性能,又能兼顾用户隐私诉求,更加快捷高效。
但如何实现图像、声音等数据的端云协同AI计算呢?很多方案都存在AI运算能力不强、难以实现复杂的定制化功能、初学者上手难度太大、部署繁杂等缺点,无法在工业或商业用途中大规模落地应用。
华为云关注到这种用户需求,在2018年的华为全联接大会上,推出了业界首个端云协同多模态AI开发应用平台Huawei HiLens,支持视频、音频、图片、红外等多模态数据的AI应用开发、AI应用在线部署、海量设备管理等,能够对接多种端侧计算设备,为诸多场景的AI应用提供了更大的发挥空间。
Huawei HiLens发布两年后的今天,华为云宣布开源HiLens Framework,作为HiLens的端云协同多模态AI应用开发框架,简化了HiLens Kit技能开发者的开发工作,以简洁统一的API降低AI技能应用开发者的上手难度,在保持高性能的前提下,简化开发者工作量。10分钟即可学会开发技能;性能普遍提升3倍,代码量减少80%,开发周期缩短70%,开发成本降低90%。
以音频解码+片段截取+预处理的代码撰写为例,基于TensorFlow/OpenCV 需要100+行,而采用HiLens Framework则只需3行;以模式初始化+推理的代码撰写为例,基于TensorFlow/OpenCV 往往需要20+行,而采用HiLens Framework则只需2行。
此次HiLens Framework开源,涉及了音视频输入、媒体处理、模型推理、资源管理、日志系统、EI 服务接口、输出管理等功能模块,通过HiLens Framework开发的AI应用可移植运行到任何基于Ascend 310设备上,提供常用语言Python和C++接口,符合AI开发者的开发习惯。
HiLens Framework的开源,能够很好地帮助开发者快速定位AI开发中的问题,进而快速解决问题,实现端云协同AI的快速开发和落地。同时,将吸引更多的外围设备输入、输出,更多的外围工具集成等,更将汇聚开发者力量,丰富完善HiLens Framework集成能力,扩大HiLens端云协同影响力,同时拓展华为昇腾生态和华为云生态。
10倍提升开发效率,加速AI应用落地
AI应用开发框架HiLens Framework是打通端云协同的重要技术环节,与开发环境HiLens Studio、管理平台和多模态AI技能市场一起,大大加速了开发者的开发效率,帮助行业快速构建设备端与云上能力高效协同的HiLens智慧解决方案,通过HiLens Kit、Atlas500智能小站、第三方商用摄像头等端侧设备,提供了高效易用、成本低廉的AI应用开发方案,能够快速部署于商超、园区、家庭、工业等应用场景。
AI落地使用边缘计算的应用场景时,往往场景数据存在差异,难以用一个AI模型达到最佳性能。华为云HiLens与边缘云创新lab技术合作,推出难例上传与ModelArts Pro HiLens套件结合的增量学习模板,实现了对模型的增量训练,使得AI模型在具体应用场景中越用越聪明。
例如,某工厂出于安全原因,采用视频监控智能检测现场人员安全帽佩戴情况。项目部署方在HiLens技能市场检索后发现,这一应用场景已有基础模型,直接购买安装后先搭建出基础的技能。然后再通过HiLens Framework的接口将难以识别的部分数据筛选出来,上传到自己账户下的云端存储,借助ModelArts Pro HiLens套件,在基础模型上增量训练,使得模型越用越聪明,最终训练出符合该工厂环境的模型,实现根据具体应用场景的模型定制化。在这一过程中,该工厂仅用800张安全帽检测实践数据,就将模型精度从80%快速提升到90%,漏检率从25%下降到10%,通过几次难例上传与迭代,部署时间从原计划的3个月缩减到1个月,有效地推进了行业应用落地。
端云协同,拓展新生态
HiLens Framework的开源如水到渠成,不止向开发者提供一个AI应用的高效开发框架,还进一步推动华为云HiLens与华为云ModelArts Pro视觉计算AI平台的结合,形成一整套的AI模型训练、应用开发、分发部署的端云协同管理平台。
当HiLens用户通过HiLens Framework连接到ModelArts Pro,就进入了一个更加广阔的AI世界,联接了从昇腾芯片、MindSpore开发框架,再到华为全栈全场景AI解决方案,以及华为不断积累的各行业AI经验。
此次HiLens Framework的开源,如同一条金线,一头串起华为云的云端AI能力,另一头串起更多AI场景,让云端协同的边缘计算更易于部署落地,推动AI更加普惠,在开发者的共同推动下,AI将拓展将到日常生产、生活的方方面面,和每个人都息息相关。
当前,HiLens已拥有80+生态伙伴,助力企业开发者加速商业落地,如上海意赋教育等。已拥有30+高校,助力AI教育和科学研究,如浙江大学、上海交通大学等,欢迎更多开发者加入到HiLens Framework的开源项目中来。
