心理所研究揭示面孔选择区域加工表情的时间动态特征

　　面部表情是个体内在情绪状态的外在表达，大脑能快速而准确地进行识别。以往研究发现大脑加工面孔存在外侧视觉通路和腹侧视觉通路。其中，外侧视觉通路包括后侧颞上沟（posterior superior temporal sulcus face area，pSTS-FA），腹侧视觉通路包括枕叶面孔选择区域（occipital face area，OFA）和梭状回面孔选择区域（fusiform face area，FFA）。包括顶下叶皮层（inferior parietal cortex, IP）在内的背侧视觉通路也参与面孔和面部表情加工，却鲜有研究。 

　　脑与认知国家重点实验室傅小兰研究组的科研人员最近开展了一项脑磁图（MEG）实验。研究者招募了20名健康的成年被试，记录其观看七类基本面部表情（愤怒、厌恶、恐惧、高兴、悲伤、惊讶、中性）时的大脑活动，并通过MEG定位任务确定枕叶（LO-faces）、顶下回（IP-faces）、梭状回（FG-faces）、后侧颞上沟（pSTS-faces）的面孔选择区域。借助时间尺度上的多变量模式分析（Multivariate Pattern Analysis，MVPA）（图1），结果显示LO-faces、IP-faces、FG-faces、pSTS-faces在刺激后的100-150 ms之内开始区分面部表情（图2），并且相比于FG-faces和pSTS-faces，LO-faces和IP-faces有更高的峰值准确率。进一步地，在大脑所有区域上的面部表情分类也显示枕顶叶区域的分类准确率更高（图3）。 

图1.时间尺度上的多变量模式分析

图2.在不同面孔选择区域下面部表情区分的时间进程

图3.大脑所有区域的面部表情区分准确率

　　为了探究这些面孔选择区域解码表情信息的本质，研究者训练具备表情识别能力的卷积神经网络，再提取表情图片在不同卷积层的特征计算Image-based RDM（基于图像）和Category-based RDM（基于类别）。表征相似性分析（representational similarity analysis，RSA）的结果显示，甚至在刺激后的约100 ms，相比于面部表情的图像级信息，LO-faces和IP-faces的神经活动和其类别级信息更相似（图4）。 

图4.神经反应和Image-based RDM、Category-based RDM的相似性分析

　　该研究首次揭示了面孔选择区域对面部表情加工的时间过程，强调了腹侧、背侧、外侧视觉通路的面孔选择区域对于表情加工的快速反应，尤其是枕顶的背侧通路的重要性，为表情加工的感知计算模型提供了数据支撑。 

　　心理所博士研究生张志豪为论文的第一作者，心理所副研究员赵科、研究员傅小兰为通讯作者。其他共同作者包括陈通教授（西南大学）、刘烨副研究员（心理所）、王重阳博士（清华大学）和刘长虹教授（英国伯恩茅斯大学）。 

　　该研究得到国家自然科学基金（62061136001、32071055）的资助。相关成果已在线发表于NeuroImage。 

　　论文信息： 

　　Zhihao Zhang, Tong Chen, Ye Liu, Chongyang Wang, Ke Zhao^*, Chang Hong Liu, Xiaolan Fu^*,Decoding the Temporal Representation of Facial Expression in Face-selective Regions,NeuroImage, 2023, https://doi.org/10.1016/j.neuroimage.2023.120442.