心理所创建第三代高生态效度的深度微表情数据库 - CAS(ME)³

　　作为重要的非语言交流线索，微表情可以揭示一个人的真实情绪状态。特别是随着深度学习方法在微表情分析领域的蓬勃发展，微表情分析的发展得到了关注。然而，心理学和人工智能的研究都受到了微表情小样本的限制。 　　  

　　中国科学院心理研究所微表情应用研究中心建立了CAS(ME)³数据库，这是一个大规模、自发的微表情数据库，包含了样本的深度信息，并且具有高生态效度。该数据库有望引领下一代微表情分析的发展。   

　　数据规模对于基于人工智能的微表情分析至关重要。CAS(ME)³提供了约80小时的视频，超过800万帧，包括1109个人工标注的微表情和3490个宏观表情。CAS(ME)³的大样本量可以有效地进行微表情分析方法验证，同时避免数据库偏差。   

　　CAS(ME)³的亮点之一是数据库中的样本包含深度信息。引入深度信息这一模态的灵感来自于基于人类视觉感知的微表情识别心理学实验。受试者被要求观看2D和3D微表情视频，并回答关于视频的情绪价值、情绪类型和情绪强度的三个问题。被试在观看3D视频的情况下，反应时间更短、强度评分更高，这表明深度信息可以促进个体对微表情的识别。在证明了深度信息对人类视觉感知的有效性后，研究团队继续进行智能微表情分析的工作，并且证明了在深度信息的帮助下，算法对微表情的连续变化更加敏感。 

图1.微表情样本：RGB图像和深度信息（Part A - spNO.216：AU R1+R2，惊喜）

　　CAS(ME)³的另一个亮点是它的高生态效度。在微表情诱发的过程中，研究者优化了采集环境，设计了模拟犯罪的诱发范式，使之尽可能接近现实。并且，在数据采集的过程中，同时通过摄像机和可穿戴设备收集视频、语音和生理信号，包括皮肤电活动、心率/指尖脉搏、呼吸和脉搏等。实验表明，高风险场景（如犯罪）中的被试比低风险场景（如无罪）中的被试泄露更多的微表情。这种高生态效度的样本为真实场景中微表情分析和情绪理解提供了基础。 

　　此外，在算法层面，缓解微表情小样本问题的手段之一是无监督学习。作为无监督学习的一个研究方向，自监督学习已经成为一个热门话题。使用额外的深度信息或更多的微表情帧来生成标签并构建微表情分析的自监督学习模型是很自然的一种设想。CAS(ME)³提供了1,508个无标签的视频，超过4,000,000帧，搭建了基于无监督学习的微表情分析的数据平台。   

　　心理所傅小兰研究员带领的研究团队此前已经发布了三个微表情数据库：CASME、CASME II和CAS(ME)²。这些数据库被来自50多个国家的600多个研究团队申请试用，并且超过80%的微表情分析文章至少使用了其中一个数据库进行方法验证。 

　　基于CAS(ME)³与之前的CASME系列数据库，未来有望出现基于自监督学习和基于深度信息、生理和语音信号的多模态微表情分析研究。 

　　随着数据驱动的科研范式的形成，研究所越来越重视心理学研究中的科学数据工作，正在积极建设中国科学院心理研究所科学数据中心。该数据库未来可通过科学数据中心提供的平台申请使用。 

　　该研究获得国家自然科学基金、中国博士后科学基金和国家重点研发计划的资助，并于近期发表在IEEE Transactions on Pattern Analysis and Machine Intelligence上。 

　　论文信息：Li, J., Dong, Z., Lu, S., Wang, S. J. *, Yan, W. J., Ma, Y., Liu, Y., Huang, C., & Fu, X.* (2022). CAS (ME) ³: A Third Generation Facial Spontaneous Micro-Expression Database with Depth Information and High Ecological Validity. IEEE Transactions on Pattern Analysis and Machine Intelligence. DOI: 10.1109/TPAMI.2022.3174895.