心理所研究为多模态语义加工中的动态环路机制提供因果性证据

　　语义加工依赖于两个系统的交互作用：语义表征系统和语义控制系统。语义表征系统主要用于语义的存储，语义控制系统使语义加工更灵活、动态地符合当前的情景和任务要求。然而，广义上的语义信息不仅包括语言信息，也包括来自其他模态的信息。其中来自手势的信息格外重要。手势是伴随言语而产生的活动，一般手势呈现早于言语，不仅可以作为言语的补充说明，而且可以包含言语中不存在的信息。手势信息和言语信息交互作用，共同影响着人们对交流信息的理解。以往的研究发现，跨模态的手势信息和言语信息的加工过程也会涉及语义加工的两个系统，然而这两个系统是如何在手势与言语的跨模态语义加工中动态交互的尚不明确。

　　针对这一问题，中国科学院行为科学院重点实验室杜忆研究组采用非侵入性精密计时双脉冲经颅磁刺激（double-pulse TMS）技术，将手势和言语信息的整合过程分成以40ms为单位的时间窗，在每个时间窗上分别对多模态语义表征核心脑区——后侧颞中回（pMTG）和语义控制核心脑区——额下回（IFG）实施双脉冲TMS刺激（图1），以期获得两个系统的因果性时间动态加工机制。

　　实验中，研究者根据言语词汇的加工过程将手势和言语的整合分成词汇前的语音阶段和词汇后的语义加工阶段。词汇前阶段包含3个时间窗（TW1,TW2, TW3），词汇后阶段包含5个时间窗(TW4-TW8)。实验招募了26名年轻被试，通过被试内设计分别刺激IFG，pMTG和头顶（Vertex控制条件），实验共包含24个block，分4次每次间隔5-7天完成。实验从两个维度操纵了手势-言语信息的一致性，包含语义一致（呈现“剪”的语音和“剪纸”的手势动作）和语义不一致（呈现“剪”的语音和“喷水”的手势动作），以及性别一致（说话人和做手势动作的人都是男性）和性别不一致（说话人是男性，做手势动作的人是女性）条件。实验要求被试看着屏幕，但是只对听到的讲话人性别做出判断。

图1. 刺激呈现及双脉冲TMS 刺激施加于不同时间窗的示意图

DP表示手势的区分时间点（discrimination point）,IP表示言语的识别时间点（identification point）

　　研究结果发现，在控制条件下（刺激Vertex）出现了典型的语义一致性效应，即语义不一致条件下的反应时显著大于语义一致条件下的反应时，说明手势与言语存在自动化的语义整合。以语义一致性效应量作为手势-言语整合的行为指标，相对于控制条件，刺激pMTG时在TW1,TW2和TW7三个时间窗出现了手势-言语整合效应的显著性降低，而当TMS实施于IFG时，则出现了TW3和TW6下手势-言语整合效应的显著性降低（图2）。

图2. TMS选择性地在IFG和pMTG的不同时间窗影响了手势和言语的整合

　　根据结果，研究提出了手势-言语的两阶段整合环路。第一个阶段是词汇前的语音加工阶段，在这一阶段，语音信息的输入一方面自下而上地激活了位于颞上回和颞上沟（STG/S）的语音表征，另一方面又受到先呈现的手势信息的自上而下的词汇语义约束。在这一过程中，手势对言语的调控先发生于pMTG，后出现于IFG，提示存在pMTG向IFG的前馈投射。第二个阶段是词汇后的语义加工阶段，手势的语义信息和言语的语义信息整合形成统一的语义表征。在这一过程中，IFG比pMTG更早参与到整合过程，提示存在IFG向pMTG的反馈调节（图3）。

图3. (A) 不同加工阶段手势-言语整合受到TMS影响的脑区汇总图。（B）手势-言语两阶段加工环路假设

　　该研究为多模态语义整合的动态脑环路机制提供了因果性证据，揭示了额叶语义控制系统与颞叶语义表征系统的动态交互过程。

　　该研究得到国家自然科学基金（31800964, 31822024）、心理所青年人才启动项目（Y8CX382005）和中国科学院战略性先导科技专项（XDB32010300）的资助。

　　心理所助理研究员赵婉莹是该研究的第一作者，杜忆研究员为通讯作者。

　　相关论文已在线发表于The Journal of Neuroscience。

　　论文信息：

　　Zhao, W., Li, Y., & Du, Y. (2021). TMS reveals dynamic interaction between inferior frontal gyrus and posterior middle temporal gyrus in gesture-speech semantic integration. The Journal of Neuroscience, JN-RM-1355-1321. https://doi.org/10.1523/jneurosci.1355-21.2021