DL论文：面部关键点定位的前世今生和展望

前言

面部关键点定位是一个图像算法种一个经典的回归问题。给定一张面部照片，用算法找出面部关键点在图片中的位置。通常关键点有：鼻尖、眼角、嘴角等。通常鼻尖、左眼瞳孔位置相对固定，可以视为人脸的对齐的点来做人脸对齐。

应用和挑战

主要的应用：

• 图像理解。识别人物的表情、情绪等信息。

• 面部登记。

• 人脸识别。

• 人脸追踪。

• 3D建模、点对点表情捕捉与同步（魔戒中咕噜的表情捕捉）等

面临的挑战和问题：

• 多变性 variability。特征点位置每个人不同，而且受面部朝向、表情、张闭口这些条件影响，差异较大。

• 受采集条件影响。背景，etc

• 不同的应用对特征点的数量和准确率要求不同。基准点（鼻尖、眼角）对准确率的要求较高，面颊曲线本身定义模糊对标准要求较低。面部中间有比较重要的特征点，因此有 M17 （4 个眉毛，6 个眼部、3 个鼻部、4 个嘴部） 的概念。

近期技术回顾

技术流派分很多种，基于几何学的、基于色彩的、基于表现（appearance based）、基于边缘、基于表情。

• 基于表现的解决方案。

基于 Support Vector Regression 和 Markov Random Fields 减少搜寻时间提高准确率。

• Subclass Determinant Analysis .嘴部和眼部区域的像素跟某一个点密切相关。

• 从皮肤的特征相关出发，使用 svm 。

• ... 很多个解决方案，不翻了

很多研究者致力于面部特征点的研究，主要是因为很多带标注的开放数据集的存在。比如：multi-PIE，XM2VTS，FRGCV2，AR。这些数据集可以分为两大类，一类在完全可控的环境下拍摄，另外一类在完全不可控的环境下拍摄。常见的数据集包括：

• Multi-PIE. CMU Multi Pose Illumination and Expression Database. 750K 图片，337 个 subjects。每个 subject 有 15 个 pose。19 个光线条件和 6 种表情。68 个 landmarks，正负 45 度拍摄。

• XM2VTS。2360 个图，295 个人。 68 个点

• FRGC-V2 4950 个图，466 个人。

• AR。4K 图片，126 人。

• LFPW。1287 图。

• HELEN 2330 图，flikr 下载的。

• AFW。250 图，468 个脸。

• AFLW。29553 图。21 点。

• IBUG