心理所合作研究揭示人脑从话语韵律理解交际意图的神经动态历程

在日常生活或工作的人际交往中，我们不仅需理解对方言语的字面意义，更要领会其背后蕴含的交际意图。准确理解对方的交际意图对于成功和高效的社交互动至关重要。目前，认知神经科学领域的一个重要前沿科学问题便是交际意图理解的动态神经机制。

交际意图不仅体现在话语的词汇选择上，在很多情况下需要依赖额外的语言外线索来传达或解读。其中，一种重要的语言外线索便是“韵律”（即话语的轻重缓急、高低起伏等语调变化）。例如，当某人对朋友说：“我在犹豫要不要买这个品牌的设备。”朋友回答：“我们调查了它的质量。”若此话语的语调上升且基频较高，可能意味着朋友对设备质量的赞美之情及“建议”购买的意图；若语调降低且基频压低、延长发音，则可能意味着对设备质量的否定及“警告”不要购买的意图。从现有研究推论，基于韵律线索理解交际意图，在许多情境下，可能会涉及听觉感知、情感态度分析以及意图解释等一系列逐渐抽象的心理表征的建构。系列加工假设认为，意图解释的起始时间会显著晚于韵律声学感知加工和情感分析；而平行加工假设则认为，意图表征会快速通达，其起始时间会跟韵律声学感知（或情感分析）同时平行进行。那么，人脑是如何进行多层级的认知加工，从韵律线索中理解交际意图的呢？

中国科学院心理研究所认知与发展心理学研究室李晓庆研究组与香港中文大学冯刚毅教授开展了一项合作研究。该研究利用脑电技术，并结合单变量线性混合效应模型（LMEM）和多变量表征相似性分析（RSA）方法，研究了人脑从语音韵律线索中理解交际意图的神经动态时间历程。

在研究中，大学生被试听一系列双人对话（同时记录其脑电活动），并根据自己对交际意图的理解在9点量表上做出选择（意图行为评价）。研究人员操纵了每个对话的关键句中关键词的韵律特征，以传达建议、警告、或中性意图；通过把建议/警告与中性基线条件相比，以揭示交际意图理解的神经机制（见图1）。

图1. 对话材料举例(a)、对话材料中关键句的关键词的情感效价(b)以及脑电实验的试次呈现流程(c)。

研究结果发现，首先，与中性基线条件相比，建议或警告意图条件都诱发了显著的ERP效应，表现为ERP正波的增强（见图2）。

图2. 建议(suggestion)、警告(warning)和中性(neutral)三个实验条件诱发ERP活动（锁时在关键词的起始时间）(a)、ERP效应的头皮分布(c)、以及意图行为评价结果(b)。

更重要的是，为了进一步揭示人脑ERP活动反映的是听觉感知加工、情感分析、还是意图解释，研究人员借助基于单试次的LMEM和RSA方法分析了ERP反应与话语“声学特征”、“情感效价”以及“意图行为评价”之间的关系；然后，借助基于jackknife或bootstrap的方法，比较了不同层级加工起始时间的相对早晚。

研究结果显示，人脑从韵律信号中理解交际意图时，听觉感知加工开始的最早，然后情感效价分析开始出现，意图解释开始的最晚；在非常晚的阶段，情感分析和意图解释会同时平行进行（见图3和图4）。

最后，研究人员进一步建构了具有不同结构的RSA和LMEM回归模型并对之进行比较，发现早期的情感分析能够为随后的意图解释提供证据支持；在晚期加工中，情感分析和意图解释相互支持、相互促进。

图3. LMEM分析中，不同时刻的ERP反应与“声学”、“情感”和“意图行为评价”的相关关系的效应量（β估计）。实线表示显著的ERP相关效应，而虚线表示在特定10毫秒时间段内经过FDR校正后不显著的相关效应。

图4. RSA分析中，神经RDM与声学(a)、情感(b)和意图(c) RDM的Spearman相关系数的时间进程。彩色线条和阴影区域表示使用基于簇的置换检验（簇定义阈值p < .05和校正后的显著性水平p < .05）得到的显著效应。(d) 声学、情感和意图相关系数的起始潜伏期（***p < .001）。

综上所述，本研究提供了神经层面的证据，证明了人脑从语音韵律中理解交际意图时，会经历多层级的认知加工过程（包括韵律声学感知、情感分析和意图解释）。随着心理表征抽象程度的增加，这些不同层级认知加工的起始时间逐渐延迟，总体上符合序列加工的认知计算模式；然而，情感评估和意图理解在非常后期表现出并行加工和相互影响。本研究为我们理解人脑如何从韵律中理解交际意图提供了新的见解，并揭示了韵律意图理解的精细认知架构（即越来越抽象的表征）和时间特征。

值得指出的是，本研究并不否认在特定情境（如高度限制性语境）中，意图表征可以快速通达。未来的研究可以整合多种方法，包括计算建模和多变量表征编码建模等，进一步探索在不同语境中不同层级的认知加工如何相互动态作用以实现意图理解。

该研究获得国家自然科学基金（32171057）项目的支持。

文章已在线发表于NeuroImage。心理所博士研究生高攀科为第一作者，心理所李晓庆研究员和香港中文大学冯刚毅教授为共同通讯作者。 

论文信息： 

Gao, P., Jiang Zh., Yang Y., Zheng Y., Feng G. *, & Li X. * (2024) Temporal neural dynamics of understanding communicative intentions from speech prosody. NeuroImage. https://doi.org/10.1016/j.neuroimage.2024.120830