心理所研究使用强化学习模型发现抑郁症患者的社会学习过程存在异常

　　在社会互动中，个体常常需要根据对方的行为来预测对方的态度、心理状态以及未来的行为，从而灵活地调整自己在互动中如何回应他人，这种能力称为社会学习。社会学习体现在生活的方方面面。在实验室中，可以用博弈游戏来模拟。比如，在经典的信任博弈中，投资者将一笔钱投给被信任者，如果被信任者返回一部分收益，那么投资者会继续选择投资；反之，则不会继续投资。在这个过程中通过社会学习，双方建立了信任，投资得以继续。因此，社会学习在社会互动中扮演重要地位。抑郁症患者存在普遍而显著的社会功能损伤。那么，抑郁症患者是否存在社会学习异常呢？

　　既往研究使用非社会性的概率学习范式，发现抑郁症患者的学习功能异常，比如对负面反馈的过度学习、对于预期偏差的编码异常等。然而，在社会学习中，抑郁症患者是否也存在同样的学习障碍仍然未知。近期，中国科学院行为科学重点实验室的周媛研究员带领团队使用重复信任博弈范式，构建了高生态效度的社会学习场景，搭建强化学习计算模型 (Rescorla-Wagner Reinforcement Learning Model, R-W RL Model)，探究了抑郁症患者在社会学习过程中，对于他人守信与背叛行为的学习率与健康人之间是否存在差异，以及差异大小是否受到情景不确定程度的影响。

　　研究招募了68名未服药抑郁症患者和52名健康对照，作为投资者完成了改编的重复信任博弈。在实验中，研究者操控了对手返还概率（10%，30%，50%，70%，90%）和是否事先披露对手可信度信息，来增加实验场景的生态效度（图1）.

图1.实验流程

　　对投资行为的分析发现，在未知对手可信度信息条件下，抑郁症患者的投资行为显著低于健康被试；在已知对手可信度信息条件下，只有面对50%和70%返还概率对手时抑郁症患者的投资行为显著低于健康被试（图2）。这一结果表明高情景不确定性（未知对手信息和对手返还概率趋于基线）时抑郁症患者更难以与对手建立信任关系。

图2.被试类型、对手返还概率和是否事先披露可信度信息对投资行为影响的交互作用图

（a）没有事先披露可信度信息条件；(b)事先披露了可信度信息条件

　　为了刻画信任建立背后的学习过程，研究者构建了4种候选模型。模型1是基线R-W模型；模型2在基线R-W模型的基础上区分了对于对手（正性）守信返还结果以及（负性）背叛不返还结果的学习率；模型3在基线R-W模型基础上添加了可信度判断的心理结构；模型4在模型3的基础上区分了对于对手（正性）守信返还结果以及（负性）背叛不返还结果的学习率。研究发现，模型2在每种实验条件中都具有最好的拟合度（图3a），且模型2在Parameter Recovery中具有良好的复现稳定性表现（图3b），在Model Recovery中生成的模拟数据能够很好的复刻原始数据特征（图3c）。

图3.最优模型（M2）的模型评估

　　基于模型2的学习率估计，进一步进行2（被试类型，组间）*2（是否已知对手可信度，组内）混合方差分析，结果发现：（1）抑郁症患者与健康被试的正性结果学习率没有组间差异；（2）抑郁症患者对负性结果的学习率显著高于健康被试，在未知对手可信度条件下组间差异呈现出更大的趋势；（3）抑郁症患者的选择温参显著高于健康被试，这说明抑郁症患者的投资行为更加随机并更少依赖于选项效价（图4）。在Rstan中使用分层贝叶斯估计方法对上述模型评估与参数组间比较结果进行重复验证，可以得出一致结论。

图4.对个体参数估计的方差分析结果

　　该研究使用强化学习模型，首次揭示了抑郁症患者在社会学习过程中存在异常，体现在对于负性人际背叛的学习率较健康人更高，且在高不确定性情境下表现出更大的学习率差异。该研究为抑郁症社会功能复健提供了新的候选干预目标，启示社会功能复健可以针对如何降低患者对于人际背叛结果的敏感性，以及如何降低环境不确定性等方面入手，来促进患者信任关系的建立，从而改善其社会功能。

　　该研究受国家自然科学基金面上项目（81771473, 82171535, 72033006）以及心理所“揭榜挂帅”科学基金项目（E2CX3815CX）资助。第一作者是博士生金悦宁，通讯作者是心理所研究员周媛。首都医科大学附属北京安定医院王赟副研究员和肖乐主任医师，Aarhus大学Martin Dietz助理教授和Vibeke Bliksted副教授, 心理所已毕业硕士生高青林、在读硕士生蔡雨洋，对该研究工作也有重要贡献。研究成果已在线发表于临床心理学期刊International Journal of Clinical and Health Psychology。

　　论文信息：

　　Jin, Y., Gao, Q., Wang, Y., Dietz, M., Xiao, L., Cai, Y., Bliksted, V. & Zhou, Y. (2023). Impaired social learning in patients with major depressive disorder revealed by a reinforcement learning model. International Journal of Clinical and Health Psychology, 23(4), 100389. https://doi.org/10.1016/j.ijchp.2023.100389

　　相关文章：

　　高青林, & 周媛. (2021). 计算模型视角下信任形成的心理和神经机制——基于信任博弈中投资者的角度. 心理科学进展, 29(1), 178-189. https://dx.doi.org/10.3724/SP.J.1042.2021.00178