人脸属性识别在人机交互、安全控制、直播娱乐和自动驾驶等领域有非常高的应用价值,因此也被广泛地研究,本节将介绍人脸属性相关的数据集。
1. FaceTracer数据集
数据集地址为https://www.cs.columbia.edu/CAVE/databases/facetracer/。
FaceTracer数据集发布于2008年,该数据集包括15 000张人脸,共10组属性,包括性别、种族、年龄、头发颜色、是否佩戴眼镜、是否有胡须、是否微笑、是否模糊、光照条件及室内还是室外环境,这是比较早期的人脸属性数据集。
2. PubFig数据集
数据集地址为https://www.cs.columbia.edu/CAVE/databases/pubfig/。
PubFig数据集发布于2009年,该数据集包括200个人的58 797张人脸图像,来自于互联网搜索,因此具有很好的姿态、光照、表情和场景多样性,总共标注了73个人脸属性。
3. LFWA和CelebA数据集
数据集地址为http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html。
LFWA和CelebA数据集都发布于2015年,LFWA数据集的图像全部来自于LFW人脸识别数据集,CelebA数据集则包含10 177个名人的202 599张人脸图像,它们标注的人脸属性有40种,包括是否戴眼镜、是否微笑等,是当前最大、使用最广泛的人脸属性数据集。
4. Fairface数据集
数据集地址为http://github.com/joojs/fairface。
Fairface数据集发布于2019年,共包括108 501张图像。由于当前很多的人脸数据集中存在人种的不均衡,Fairface建立了一个更加均衡的数据集。该数据集共包括White、Black、Indian、East Asian、Southeast Asian、Middle East及Latino 7类人种,图像来源于YFCC-100M Flickr数据集,标注属性包括人种(Race)、性别(Gender)、年龄组(Age Group)。
类似的数据集还有IBM收集的DiF(Diversity in Faces)数据集,同样来自于YFCC-100M,有超过100万张图像。
人脸表情识别(Facial Expression Recognition,FER)是人脸属性识别技术中的一个重要组成部分,在人机交互、安全控制、直播娱乐、自动驾驶等领域都有很高的应用价值,因此在很早前就已经有人开始研究。
1. The Japanese Female Facial Expression(JAFFE)Database
数据集链接为http://www.kasrl.org/jaffe.html。
JAFFE数据集发布于1998年,是比较小和老的数据集。该数据集是由10位日本女性在实验环境下根据指示做出各种表情,再由照相机拍摄获取的人脸表情图像。整个数据集一共有213张图像,10个人每人做出7种表情,这7种表情分别是难过(sad)、高兴(happy)、生气(angry)、厌恶(disgust)、惊讶(surprise)、害怕(fear)、中立(neutral),每组大概20张样图。
2. KDEF数据集
数据集地址为http://www.emotionlab.se/kdef/。
KDEF(Karolinska Directed Emotional Faces)数据集发布于1998年,最初是被开发用于心理和医学研究目的。它主要用于知觉、注意、情绪、记忆等实验。在创建数据集的过程中,特意使用比较均匀、柔和的光照,被采集者身穿统一的T恤颜色。这个数据集包含70个人,共35个男性和35个女性,年龄在20~30岁;没有胡须、耳环或眼镜,并且没有明显的化妆;7种不同的表情,每个表情有5个角度。该数据集总共有4900张彩色图,尺寸为562×762像素。
3. GENKI数据集
数据集地址为http://mplab.ucsd.edu。
GENKI数据集发布于2009年,由加利福尼亚大学的机器概念实验室收集。该数据集包含GENKI-R2009a、GENKI-4K、GENKI-SZSL几个部分。GENKI-R2009a包含11 159张图像,GENKI-4K包含4000张图像,分为“笑”和“不笑”两种,每张图像拥有不同的尺度大小、姿势、光照变化、头部姿态,可专门用于做笑脸识别。这些图像包括广泛的背景、光照条件、地理位置、个人身份和种族等信息。
4. RaFD数据集
数据集地址为http://www.socsci.ru.nl:8180/RaFD2/RaFD?p=main。
RaFD数据集发布于2010年,该数据集是由Radboud大学Nijmegen行为科学研究所整理的。这是一个高质量的脸部数据库,总共包含67个模特,其中有20个白人男性成年人、19个白人女性成年人、4个白人男孩、6个白人女孩和18个摩洛哥男性成年人。该数据集总共8040张图,包含8种表情,即愤怒、厌恶、恐惧、快乐、悲伤、惊奇、蔑视和中立。每个表情包含3个不同的注视方向,并且使用5个相机从不同的角度同时拍摄。
5. Cohn-Kanade AU-Coded Expression Database数据集
数据集地址为http://www.pitt.edu/~emotion/ck-spread.htm。
Cohn-Kanade AU-Coded Expression Database数据集发布于2010年,是在Cohn-Kanade Dataset的基础上扩展来的,它包含137个人的不同人脸表情视频帧。这个数据集比JAFFE数据集大得多,而且可以免费获取,包含表情的标注和基本Action Units的标注。
6. Fer2013数据集
数据集地址为https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge/data。
Fer2013数据集发布于2013年,该数据集包含共26 190张48×48灰度图,图像的分辨率比较低,共7种表情,分别为生气(anger)、厌恶(disgust)、恐惧(fear)、开心(happy)、伤心(sad)、惊讶(surprised)、中立(normal)。
7. RAF数据集
数据集地址为http://www.whdeng.cn/RAF/model1.html。
RAF(Real-world Affective Faces)数据集发布于2017年,总共包含29 672张图像,其中,7个基本表情和12个复合表情,而且每张图还提供了5个精确的人脸关键点,包含年龄范围和性别标注等。
8. EmotioNet数据集
数据集地址为http://cbcsl.ece.ohio-state.edu/EmotionNetChallenge/。
EmotioNet数据集发布于2017年,共950 000张图,其中包含基本表情、复合表情,以及表情单元的标注。
还有一些需要申请的数据集如SCFace等就不再介绍了,表情识别目前的关注点已经从实验室环境下转移到具有挑战性的真实场景条件下,研究者们开始利用深度学习技术来解决如光照变化、遮挡、非正面头部姿势等问题,仍然有很多的问题需要解决。
另外,尽管目前表情识别技术被广泛研究,但是我们所定义的表情只涵盖特定种类的一小部分,尤其是面部表情,而实际上人类还有很多其他的表情。表情的研究相对于颜值年龄等难得多,应用也广泛得多,相信近几年会不断出现有意思的应用。
9. AffectNet数据集
数据集地址为http://mohammadmahoor.com/affectnet/。
AffectNet数据集发布于2017年,数据集的采集使用6种不同语言的1250个关键词在搜索引擎中进行检索,最后超过42万张图。
AffectNet数据集的标注类型包括表情类型和幅度,其中表情类型包括中立、高兴、悲伤、惊讶、害怕、厌恶、愤怒和轻蔑8种基本表情,以及无表情、不确定和无人脸。
人脸年龄与性别识别在安全控制、人机交互领域有着非常广泛的应用,而且由于受到妆造等影响,人脸的年龄估计仍然是一个难点。
1. FGNet数据集
数据集地址为http://www-prima.inrialpes.fr/FGnet/html/benchmarks.html。
FGNet数据集发布于2000年,这是第一个意义重大的年龄数据集,包含82个人的1002张图像,年龄范围是0~69岁。
2. CACD2000数据集
数据集地址为http://bcsiriuschen.github.io/CARC/。
CACD2000数据集发布于2013年,这是一个名人数据集,包含2000个人的163 446张名人图像,其范围是16~62岁。
3. Adience数据集
数据集地址为https://www.openu.ac.il/home/hassner/Adience/data.xhtml#frontalized。
Adience数据集发布于2014年,是采用iPhone 5或更新的智能手机拍摄的数据,共2284个人26 580张图像。它的标注采用的是年龄段的形式而不是具体的年龄,其中,年龄段分为0~2、4~6、8~13、15~20、25~32、38~43、48~53、60+。
4. IMDB-wiki数据集
数据集地址为https://data.vision.ee.ethz.ch/cvl/rrothe/imdb-wiki/。
IMDB-wiki数据集发布于2015年,由IMDB数据库和Wikipedia数据库组成。其中,IMDB人脸数据库包含460 723张人脸图像,而Wikipedia人脸数据库包含62 328张人脸数据库,总共523 051张人脸数据,都是从IMDB和维基百科上爬取的名人图像,根据照片拍摄时间戳和出生日期计算得到的年龄信息及性别信息,对年龄识别和性别识别的研究有着重要的意义,这是目前年龄和性别识别最大的数据集。
5. MORPH数据集
数据集地址为http://www.faceaginggroup.com/morph/。
MORPH数据集发布于2017年,包括13 000多个人的55 000张图像,年龄范围是16~77岁。
人脸分割可以用于对人脸进行编辑及辅助其他人脸相关的任务。
1. Helen Parsing Dataset数据集
数据集地址为http://www.cs.wisc.edu/~lizhang/projects/face-parsing/。
Helen Parsing Dataset数据集发布于2013年,是将关键点检测数据集Helen Dataset进行掩膜标注后得到的人脸图像分割数据集,包含2000张训练图像和330张测试图像。
数据集共包含10类面部区域的标注,分别是Face skin、Left eye、Right eye、Left brow、Right brow、Nose、Inner mouth、Upper lip、Lower lip和Background,标注的方法是每一个类别都单独存储为一张图像。
2. CelebAMask-HQ数据集
数据集地址为https://github.com/switchablenorms/CelebAMask-HQ。
CelebAMask-HQ数据集发布于2019年,是从CelebA-HQ数据集中标注的30 000张人脸属性分割出来的数据集。其中,图像大小均为512×512,包括skin、nose、eyes、eyebrows、ears、mouth、lip、hair、hat、eyeglass、earring、necklace、neck及cloth区域。
3. LIP和MHP数据集
LIP(Look Into Person)和MHP(Multi Human Parsing)都不是一个专用的人脸分割数据集,但是它们包含整个人脸的属性分割标注。
LIP数据集地址为http://sysu-hcp.net/lp。
LIP数据集发布于2018年,图像来自于Microsoft COCO中裁剪出来的人像,共包含50 462张图像,19个语义标注,分别是hat、hair、sunglasses、upper-clothes、dress、coat、socks、pants、gloves、scarf、skirt、jumpsuits、face、right arm、left arm、right leg、left leg、right shoe、left shoe,其中,训练数据集有30 462张图像,测试集和验证集各有10 000张图像。
MHP数据集地址为https://lv-mhp.github.io/dataset。
MHP发布于2018年,是一个多人图像分割数据集,分为1.0和2.0版本。
MHP v1.0包含4980张图像,每一张至少2个人,其中,训练集3000张,验证集1000张,测试集980张。其除了背景外,包含18个语义类,分别是hat、hair、sunglasses、upper clothes、skirt、pants、dress、belt、left shoe、right shoe、face、left leg、right leg、left arm、right arm、bag、scarf、torso skin。
MHP v2.0数据集包含25 403张图,训练集包含15 403张图,验证集和测试集都是5000张图。MHP v2.0包含58个语义级别的标签,分别是cap/hat、helmet、face、hair、left-arm、right-arm、left-hand、right-hand、protector、bikini/bra、jacket/windbreaker/hoodie、t-shirt、polo-shirt、sweater、sin- glet、torso-skin、pants、shorts/swim-shorts、skirt、stock-ings、socks、left-boot、right-boot、left-shoe、right-shoe、left-highheel、right-highheel、left-sandal、right-sandal、left-leg、right-leg、left-foot、right-foot、coat、dress、robe、jumpsuits、other-full-body-clothes、headwear、backpack、ball、bats、belt、bottle、carrybag、cases、sunglasses、eyewear、gloves、scarf、umbrella、wallet/purse、watch、wristband、tie、other-accessaries、other-upper-body-clothes和other-lower-body-clothes。
LIP、MHP v1.0和MHP v2.0数据集虽然不是人脸属性分割数据集,没有包含各个人脸子区域的标注,但是它们包含整个人脸的分割标注,其中丰富的姿态有助于对该类方法进行评测。
人脸颜值和吸引度在社交平台和图像质量评估上都有应用。
1. SCUT-FBP5500数据集
数据集地址为https://github.com/HCIILAB/SCUT-FBP5500-Database-Release。
SCUT-FBP5500数据集发布于2017年,数据集共5500个正面人脸图像,年龄分布为15~60,全部都是自然表情。它包含不同的性别分布和种族分布(2000个亚洲女性、2000个亚洲男性、750个高加索男性、750个高加索女性),数据分别来自于数据堂和US Adult database等。每一张图由60个人进行评分,共评为5个等级,这60个人的年龄分布为18~27岁,均为年轻人,适用于基于表观和形状等的模型研究。同时,每一张图像中都提供了86个关键点的标注。
2. Selfier数据集
数据集地址为https://www.crcv.ucf.edu/data/Selfie/。
Selfier数据集发布于2015年,作者们从selfeed.com网站上收集了46 836张自拍图,然后标注了36种属性,分为以下组别,前面是属性,后面是具体的分类。
·性别:is female。
·年龄:baby、child、teenager、youth、middle age、senior。
·种族:white、black、asian。
·脸型:oval、round、heart。
·脸部表情:smiling、frowning、mouth open、tongue out、duck face。
·头发颜色:black、blond、brown、red。
·发型:curly、straight、braid。
·装饰:glasses、sunglasses、lip-stick、hat、earphone。
·其他:showing cellphone、using mir-ror、having braces、partial face。
·光照条件:harsh、dim。
Selfier数据集中的每一张图像都标注了受欢迎的分数。该数据集可以用于研究人脸属性与受欢迎程度之间的关系。
装造在人脸图像中是普遍存在的,抗妆造干扰的人脸识别也是一个具有挑战性的问题。
1. 妆造数据集
数据集地址为http://www.antitza.com/makeup-datasets.html。
妆造数据集发布于2012年,是一个女性面部化妆数据集,可用于研究化妆对面部识别的影响。它总共包括4个子数据集,分别如下:
·YMU(YouTube化妆):从YouTube视频化妆教程中获取的面部图像。YouTube网址为http://www.antitza.com/URLs_YMU.txt。
·VMU(虚拟化妆):从FRGC数据库中采集的高加索女性受试者的面部图像,使用公开的软件来合成的虚拟化妆样本,软件来自www.taaz.com。
·MIW:从互联网获得的有化妆和没有化妆的受试者的前后对比面部图像。
·MIFS:化妆诱导面部欺骗数据集,这是从YouTube化妆视频教程的107个化妆视频中获取的。每一组包含3张图像,其中一张图像是目标人物化妆前的主体图像,一张是化妆后的图像,最后一张是其他人化同样的妆试图进行欺骗的图像。
2. 妆造迁移数据集
数据集地址为http://liusi-group.com/projects/BeautyGAN。
妆造迁移数据集发布于2018年,包括3834张女性人脸图像,其中有1115张无妆造人脸图像和2719张有妆造人脸图像。妆造类型包括不同程度的烟熏妆(Smoky-eyes makeup style)、华丽妆(Flashy makeup style)、复古妆(Retro makeup style)、韩式妆(Korean makeup style)及日式妆(Japanese makeup style)。