一位神秘兮兮的老乞丐对好奇的小孩一本正经地说:“少年,我看你骨骼清奇,是万中无一的武学奇才,维护世界和平就靠你了,我这有本秘籍——《如来神掌》,见与你有缘,就十块卖给你了”还记得这个桥段么?一般来说,我们看人,不仅要看脸,还需要看人整体的体型等,我来为大家讲解一下关于少年看你眉清目秀?跟着小编一起来看一看吧!
少年看你眉清目秀
一位神秘兮兮的老乞丐对好奇的小孩一本正经地说:“少年,我看你骨骼清奇,是万中无一的武学奇才,维护世界和平就靠你了,我这有本秘籍——《如来神掌》,见与你有缘,就十块卖给你了!”还记得这个桥段么?一般来说,我们看人,不仅要看脸,还需要看人整体的体型等。
而在人工智能领域,让机器来“识人”也是同样的道理。要让机器拥有更全面的感知能力、人机交互能力,仅仅“识脸”是不够的,机器还需要“知行”,即具备对人行为的识别和判断能力。人体骨骼姿态识别作为“知行”的核心技术,已经开始进入应用领域。
在火车站、地铁等场所,对人群进行异常行为的监测,防止出现打斗、翻越禁行区等行为;在康复及疗养中心,监测康复锻炼的进展,观测人员是否有摔倒、求救等行为;在教育中,检测体育、舞蹈动作是否标准;在虚拟游戏中,通过对人体动作的识别,呈现出人机互动画面。如何将算法更稳定、高效的落地在硬件平台上,成为人体骨骼姿态识别技术进入应用领域最迫切需要解决的问题。
人体骨骼姿态识别技术,通过深度学习卷积神经网络运算,检测出图像中人体关节点,将两个关节点之间的有效连接作为一个肢体,形成了人体骨骼姿态图。
上图展示的就是目前最流行的多人人体姿态估计算法之一OpenPose 人体姿态识别步骤。(图片来源:http://arxiv.org/pdf/1812.08008.pdf)
在地铁站进行人群异常行为监控时,单个监控摄像头中的识别对象可能包含数十个人,整个地铁站中人群的数量有数百人,甚至上千人,人工智能算法的计算量非常大。在互动性高的人机交互场景中,如虚拟游戏,人工智能算法需要极低的时延,才能保证良好的用户体验。而且,虚拟游戏设备等边缘终端设备的计算能力、内存都有极大的限制。这些都对人体骨骼姿态识别算法模型的运算效率提出了极高的要求。
为了实现高效的人体骨骼姿态识别技术,中国科学院自动化研究所程健团队,设计并实现了一种轻量级、高性能、无依赖深度学习加速引擎QEngine。用QEngine对人体骨骼姿态识别算法模型进行加速,从而降低计算量和内存开销。
深度学习加速引擎QEngine采用了量化压缩、高效卷积和算子融合三大核心技术。量化压缩技术将卷积网络32位浮点参数量化为8比特定点数,同时通过稀疏算法对人体骨骼姿态识别算法的卷积网络模型进行冗余剪枝,从而提高了计算效率。高效直接卷积的算法,在保证其较高的计算性能的同时,将内存开销降到最低。同时,通过算子融合将可融合的多个算子进行消去,从而减小运算量。
人体骨骼姿态识别算法模型采用深度学习加速引擎QEngine之后,视频流处理能力大幅提升,识别过程毫秒级时延,能够满足边缘端众多应用场景的需要。在90%的稀疏度下,QEngine可以对人体骨骼姿态算法模型进行4倍的加速。
基于深度学习加速引擎QEngine的人体骨骼姿态识别系统与观众互动
深度学习加速引擎QEngine的应用不仅限于加速人体骨骼姿态识别算法。QEngine兼容业界主流的深度学习框架Caffe、Caffe2、mxnet、TensorFlow等,支持CPU、GPU、嵌入式等多种硬件平台,可以对各种人工智能深度学习模型进行算力加速。采用QEngine之后,深度学习模型的性能可以提高2-4倍,并减少65%-85%的内存占用。
QEngine兼容业界主流的深度学习框架,并支持多种硬件平台
自动化研究所研发的深度学习加速引擎QEngine作为人工智能算力加速开放平台,可以为相关团队提供AI训练和推理加速服务,解决深度学习模型在终端硬件上部署的效率难题,缩短产品开发周期,加速AI技术的应用落地。
瞭望人工智能的星空,机器“识人”如星河一般,闪耀着璀璨之光向着大地漫延流动。
机器“识人”通过对人全面的观察,更好的理解人类,在多样化的场景下给予人“人性化”的响应。基于机器慧眼的情感驾驶,对车内人的表情和肢体语言进行捕捉分析,理解人的情感。根据人的情感,设定相应的声、光环境。如果识别出驾驶人出现疲惫状态、负面情绪,还可以提高车辆辅助驾驶的等级。
机器“识人”能够超越人眼极限,让事情变得更加简单、容易,为人类提供支持。利用手机摄像头对人的五官、脸部皮肤的进行观察,以非接触的方式便利地得到人体心率、血压、体重BMI指数,分析人的生理特征。AI视觉技术能够检测到人体的全方位立体信息,作为花样滑冰旋转动作、高台跳水翻滚动作等运动的“机器裁判”,建立人体动作形态的立体模型,更加准确的识别运动员的动作,精准评判。
人们对于安全、便利的追求和行业对于高效的诉求推动着机器识人技术朝着“更加理解人类”“超越人眼极限”方向不断创新,应用渗透到在越来越多的场景中。机器“识人”传奇刚刚开启,未来更值得期待。
来源:中国科学院自动化研究所
温馨提示:近期,微信公众号信息流改版。每个用户可以设置 常读订阅号,这些订阅号将以大卡片的形式展示。因此,如果不想错过“中科院之声”的文章,你一定要进行以下操作:进入“中科院之声”公众号 → 点击右上角的 ··· 菜单 → 选择「设为星标」