大脑是一台预测机器？心理所研究揭示语言理解中的语音预测
6月14日，中国科学院心理研究所青年特聘研究员屈青青等在Cerebral Cortex期刊发表题为Predicting phonological information in language comprehension: evidence from ERP representational similarity analysis and Chinese idioms的研究论文。该研究聚焦于大脑在语言理解中如何进行预测加工,采用脑电神经表征相似性分析，揭示了语言理解中的语音预测(phonological prediction)及其时空表征机制。
当前，关于语言预测的一个关键问题是预测加工的表征内容，即人们通常预测哪些语言表征信息。已有研究揭示，在语言理解中，人们对即将出现的句法、语义信息进行预测。但关于较低层级的语音特征能否被预测，研究较少且争议较大。如果存在语音预测，那么，语音预测的时间与神经表征又是怎样的？
为了回答上述问题，研究者使用具有汉语特色且高限定性的汉语成语作为实验材料，通过ERP表征相似度分析(RSA)方法对神经活动的时间及空间表征模式进行分析，考察语言理解中语音预测的时间与神经表征。研究通过操纵汉语四字成语对之间第三个字的读音，使其在成语对之间共享同一个音节(within-pair，例如：声东击（ji）西、面黄肌（ji）瘦)或不共享同一个音节(between-pair)。具体而言，实验材料为10组常用的四字成语，每组内所有成语的第三个字具有相同的发音，例如：声东击（ji）西、面黄肌（ji）瘦，因此每个组内部成语对之间为within-pair组（即语音相关组）。跨组别成语对之间语音不同，因此为between-pair组（即语音不相关组，见图A）。
实验中，成语的前半部分（“声东”）与后半部分（“击西”）分屏呈现，并实时记录被试的脑电信号。基于组内的第三个字共享相同的语音特征(图B)，研究者预期within-pair组(如：“声东击ji西”，“面黄肌ji瘦”)引发的神经活动模式相似度将高于between-pair组 (如：“声东击ji西”，“年事已yi高”)。通过分析空间神经活动相似度验证了上述研究预期，表现为与between-pair组相比，共享语音的within-pair成语对之间的空间神经活动相似度更高。更重要的是，这种神经表征相似性效应在相同语音（即成语后半部分）呈现之前已开始出现(约200 ms，图C)，为语音预测及其时间进程提供了神经证据。另外，研究者进一步分析了上述语音预测效应在不同脑区的表征模式。结果发现，在两种条件下，最大的神经表征相似度均出现在后部脑区，语音预测的神经表征相似效应出现在左侧中后部脑区（图D）。
A. 实验设计；B.成语第三个字的语音相似性矩阵；C.空间表征相似性分析显示语音相似呈现前200毫秒开始出现语音相似的神经表征相似度效应；D.语音预测的神经表征相似度效应主要集中在大脑左侧的中后部
综上，该研究表明，在语言理解中，大脑根据当前情境和上文信息，对将要出现的信息进行主动的预测；在高限定的语境下可以预测到未来词汇的语音信息。在汉语成语的理解加工中，语音预测发生在高预测词汇呈现之前的数百毫秒，集中在大脑左侧中后部。该研究为语音预测加工提供了证据，并初步揭示了其时空表征，加深了语言预测的理解；另外，该研究为语言预测加工提供了研究思路与技术路线的新视角。
该文章第一作者为心理所与国科大中丹学院联合培养研究生魏巍，通讯作者为屈青青。黄紫睿、冯臣为该研究做出了贡献。该研究获得国家自然科学基金面上项目、国际(地区)合作与交流项目、北京市科技新星项目、中国科协青年人才托举项目、中科院心理所“揭榜挂帅”项目的资助。
论文信息：Wei Wei, Zirui Huang, Chen Feng, Qingqing Qu* (2023). Predicting phonological information in language comprehension: evidence from ERP representational similarity analysis and Chinese idioms, Cerebral Cortex, bhad209, https://doi.org/10.1093/cercor/bhad209
相关论文信息：
Zirui Huang, Chen Feng, Qingqing Qu* (2023). Predicting coarse-grained semantic features in language comprehension: evidence from ERP representational similarity analysis and Chinese classifier, Cerebral Cortex, bhad116, https://doi.org/10.1093/cercor/bhad116
Xinjing Li, Xingshan Li, Qingqing Qu* (2022). Predicting phonology in language comprehension: Evidence from the visual world eye-tracking task in Mandarin Chinese. Journal of Experimental Psychology: Human Perception and Performance, 48(5), 531–547. https://doi.org/10.1037/xhp0000999
附件下载：