“美颜”,即对图片里的人脸进行美化。

“美颜”是一个深度学习 图像处理 图形学的技术。“美颜”牵涉到这些技术包括:人脸检测、人脸关键点定位、瘦脸、磨皮、美白等。

人脸相机开发教程(美颜sdk背后的技术)(1)

磨皮:是使皮肤变得更加光滑,其技术原理是:对图片进行肤色检测。只对皮肤区域做磨皮,磨皮一般使用图像处理的一些滤波算法,例如双边滤波,高斯滤波等。

美白:是操作图片上的所有像素点,获得像素点的R、G、B的值然后对获取到的值进行一定数目的增量。

美颜这些效果的实现都离不开人脸检测!

人脸检测,又称人脸特征点检测与定位。人脸特征点不同于角点等通常意义上的图像特征点,它们通常是一组由人工实现定义的点。根据不同的应用场景,特征点反应在人脸上有不同的数目,例如5点,68点,82点、106点、甚至是云播科技团队研发的386点等等。

除了在人脸识别系统中起到关键作用外,人脸检测也在视频美颜sdk中逐渐作为基本技术应用,因为只有准确的识别出人脸,才能进行磨皮、美白、瘦脸、滤镜等操作。根据对ai公司云播科技公司技术人员的专访,我们了解到肌柒美颜SDK技术实现的底层逻辑和极致效果。接下来我们就来探讨人脸检测技术的发展和在视频美颜sdk中的应用。

一、发展

传统人脸检测研究

和其他人脸技术类似,光照、头部姿态、表情等的变化,都会很大程度影响人脸匹配的精度。但是人脸配准也具有自身特点,首先特征点描述了人脸的结构,人脸结构是完整稳定的,五官相对位置固定;其次,头部姿态、表情等变化造成的特征点位置变化明显。传统人脸配准研究需要一直尝试寻找更加精准的特征描述来表达这种既确定又变化的点的组合,再根据描述符选择适当的优化求解方法,从而定位人脸特征点。

最直接被采用的特征描述符是颜色、灰度,利用肤色的不同对人脸各部分进行检测定位。稍复杂些可选择各种纹理特征描述,但目前这类特征描述都没有考虑特征点之间的位置关系,因此不具备维持合理的人脸结构。主动形状模型和主动外观模型可以同时表达纹理和形状两种特征。二者的形状特征都由点分布模型来表达,即通过计算特征点周围邻域纹理信息生成每个特征点对应的响应图,通过响应图,来标识出人脸的实际位置。

深度人脸检测研究

从06年开始,深度神经网络已经逐步在计算机视觉、语音识别和自然语言处理等多个领域取得了前所未有的成功,同样也给人脸检测研究带来了便利。学者们无需再挖空心思构建各种繁琐复杂的人脸描述符了。目前工业界比较认可的深度人脸配准方法有两类:级联卷积网络人脸配准和多任务深度人脸检测。这两种模式都是通过机器训练来逐步校准人脸检测的,有助于提升特征点检测定位精度。

二、应用

视频美颜sdk中的人脸检测

在视频美颜中,人脸识别业务的核心问题是人脸图像像素之间高层语义的对齐,即人脸关键特征点的定位。错误的特征定位会导致提取的人脸描述特征严重变形,从而导致识别性能下降。为了更好地支持人脸识别,一般要加大人脸框的变化范围,以减少对人脸检测框大小的依赖。

人脸相机开发教程(美颜sdk背后的技术)(2)

另外,视频美颜sdk中的美妆效果同样也要求人脸特征点达到超高精度定位,例如眼妆中的眼线睫毛,只有定位精准,才能达到自然贴合的美妆效果。这就特别考验开发者团队的技术水准和算法了。

为什么会提到富唐国际开发者中心呢,从早期的直播短视频类APP人人咖,到近期的颜值相机和肌柒相机,无论是人脸高精度识别算法还是美颜SDK应用类产品,自然贴合和高响应的速度已经让美颜SDK的功能和效果都远远走在行业前沿。

,