心理所研究揭示多层级神经追踪协同实现生物运动视听整合

清晨的公园里，你听见远处传来的脚步声，余光瞥见晃动的身影，瞬间便知有人迎面走来。无论是见其人还是闻其声，人类都能敏锐地捕捉生物运动信号。视听信号的同步出现更是促进了人们对生物运动的探测和感知。这种看似简单的促进效应要求人脑协调不同感官接收生物运动信息，利用其自然的视听对应关系进行多感觉整合，从而产生一定的知觉增益。这个过程究竟是如何实现的？近期，中国科学院心理研究所蒋毅研究组的研究人员借助脑电技术揭示了上述过程背后的动态神经振荡编码机制，发现对生物运动信息的视听整合包含了一场精密的脑波协奏。

很多生物的基础运动模式具有稳定的节律性，如行走的人类、飞舞的蝴蝶、游动的水母。团队前期工作发现，人脑皮层的神经振荡会通过同步化活动追踪编码人类行走运动中的层级节律结构，产生皮层追踪效应（cortical tracking effect），且该效应强度与生物运动知觉相关（Shen, et al., 2023a）。此外，听到节律一致的脚步声会显著提升对目标生物运动的视觉搜索，且该现象由特异于自然生物运动信号的视听整合驱动(Shen, et al., 2023b)。在此基础上，此次研究考察了节律结构的神经追踪在生物运动多感觉加工中的作用及其机制。

实验1对比了人类被试在加工视觉（V，行走运动）、听觉（A，脚步声）、视听（AV，同步的行走运动和脚步声）生物运动信息时的脑活动。视觉的行走运动和听觉的脚步声都包含了层级节律结构（图1），即行走的每一步构成了基础的脚步周期（step cycle），而左右脚的交替运动形成了高阶的步态周期（gait cycle）。视听信号之间存在天然的节律对应关系。

图1. 视觉和听觉生物运动中的层级节律结构

实验1a发现，在视听双通道条件下，大脑皮层中的神经活动能够追踪人类行走运动中的层级节律结构，表现为步态周期频率和脚步周期频率上神经振荡能量的增强（图2a）。而且，在两种频率上，视听条件下的神经追踪效应均显著大于单通道条件（AV>A; AV>V），产生了多感觉增益效应。更重要的是，不同频率上的皮层追踪效应表现出不同的多感觉整合模式：在步态周期频率上(图2b)表现为超加式整合（AV>A+V）；而在脚步周期频率上(图2c)，则表现为加和式整合（AV=A+V）。实验1b证实，上述效应在不同运动速度的生物运动刺激上可稳定出现（图2d-f）。不同于线性加和，超加式整合反映了视觉和听觉信号的协同交互，可能通过增强神经激活带来信息加工的增益，提示两种层级的神经追踪效应可能在功能上存在差异。

图2. 人脑在生物运动步态周期（gait cycle）和脚步周期（step cycle）上不同的视听整合模式

实验2通过纳入倒立的生物运动刺激作为控制（图1a），进一步分离了上述不同层级的神经追踪效应在生物运动特异性与一般性的视听整合过程中的作用。对比正倒立条件下的视听整合效应（以视听一致和不一致条件间的皮层追踪效应之差为指标）发现，在步态周期频率上（1 Hz, 图3a-b），正立条件下的视听一致性效应显著强于倒立条件，这说明较宽时间尺度下的皮层追踪参与了特异于自然生物运动线索的视听整合。而在脚步周期频率上（2 Hz, 图3d-e），尽管正立和倒立条件都观察到了视听一致性效应，但二者无显著差异，这意味着较窄时间尺度下的皮层追踪反映了领域通用的视听整合过程。此外，由于对生物运动的多感觉整合能力损伤与自闭症等社会认知障碍紧密相关，实验2还进一步探究了生物运动视听整合的神经编码与自闭特质之间的潜在关联。结果发现只有对步态周期的皮层追踪效应与个体的自闭症特质相关。上述结果提示了高阶皮层追踪效应对生物运动加工及社会认知能力的独特贡献。

图3. 步态周期而非脚步周期与生物运动特异性视听整合及个体自闭特质的关联

综上，如同交响乐中不同乐器的协奏，不同模态、不同时间尺度的皮层追踪以各异的模式协同作用，实现了生物运动特异性和领域一般性的多感觉加工。此外，多模态生物运动皮层追踪与自闭特质相关，提示进一步探究其作为自闭症早期神经标志的可能性，或将为认知障碍疾患的早期诊断与干预提供潜在的客观指标。

该研究及系列前期工作，从单通道到多通道、从行为到神经层面，深入阐明了多感觉生物运动信息加工的认知神经机制，揭示了不同层级皮层追踪对应的潜在认知功能差异。这些发现为理解其他具有层级节律特征的自然刺激（如语言、音乐）的多感觉加工提供了启示。同时，结合团队关于节律信息调控视觉注意和意识的研究（Yuan et al., 2021; Hu et al., 2024），系统揭示了人脑自发利用层级时间结构优化信息加工、适应动态环境的普遍规律，也为发展新型神经调控技术提供了理论依据。

该研究获得科技创新2030“脑科学与类脑研究”重大项目、国家自然科学基金、中国科学院先导专项、前沿科学重点研究项目、中国科学院青年创新促进会优秀会员项目、中国博士后科学基金等的支持。

相关成果已在线发表于eLife。中国科学院心理研究所博士后申莉为论文第一作者，心理所青年特聘研究员王莹为通讯作者。

论文信息：

Shen, L., Li, S., Tian, Y., Wang, Y.*, & Jiang, Y. (2025). Cortical tracking of hierarchical rhythms orchestrates the multisensory processing of biological motion. eLife, 13, RP98701. https://doi.org/10.7554/eLife.98701

前期相关工作：

Shen, L., Lu, X., Yuan, X., Hu, R., Wang, Y.*, & Jiang, Y. (2023a). Cortical encoding of rhythmic kinematic structures in biological motion. NeuroImage, 268, 119893. https://doi.org/10.1016/j.neuroimage.2023.119893

Shen, L., Lu, X., Wang, Y.*, & Jiang, Y. (2023b). Audiovisual correspondence facilitates the visual search for biological motion. Psychonomic Bulletin & Review, 30(6), 2272–2281. https://doi.org/10.3758/s13423-023-02308-z

Yuan, P., Hu, R., Zhang, X., Wang, Y.*, & Jiang, Y.* (2021). Cortical entrainment to hierarchical contextual rhythms recomposes dynamic attending in visual perception. eLife, 10, e65118. https://doi.org/10.7554/eLife.65118

Hu, R.#, Li, S.#, Yuan, P., Wang, Y.*, & Jiang, Y. (2024). Temporal integration by multi-level regularities fosters the emergence of dynamic conscious experience. Annals of the New York Academy of Sciences, 1533(1), 156-168.  https://doi.org/10.1111/nyas.15099