理大研究发现改进人工智能大型语言模型有助于更好地与人类大脑活动保持一致
近年来，随着生成式人工智能(GenAI)改变了社交互动格局，大型语言模型(LLM)备受关注。大型语言模型使用深度学习算法训练 GenAI 平台处理语言。理工大学(PolyU)最近的一项研究发现，当以与人类处理语言更相似的方式进行训练时，LLM 的表现更像人脑，这为大脑研究和人工智能模型的开发带来了重要见解。
当前的大型语言模型 (LLM) 大多依赖于一种预训练类型——上下文单词预测。这种简单的学习策略在与大量训练数据和模型参数相结合时取得了令人惊讶的成功，正如 ChatGPT 等流行的 LLM 所展示的那样。最近的研究还表明，LLM 中的单词预测可以作为人类处理语言的合理模型。然而，人类不仅仅是预测下一个单词，还会在自然语言理解中整合高级信息。
由香港理工大学人文学院院长兼冼为坚基金人文及科技教授李平教授领导的研究团队 ，将下一句预测(NSP)任务纳入模型预训练，并研究了模型数据与大脑活动之间的相关性。该任务模拟人类大脑在语篇层面理解的一个核心过程，以评估一对句子是否连贯。相关研究最近发表在学术期刊《 科学进展》上。
研究团队训练了两个模型，一个模型使用了 NSP 增强，另一个没有，这两个模型都学会了单词预测。功能性磁共振成像 (fMRI) 数据是从阅读连贯句子或不连贯句子的人那里收集的。研究团队检查了每个模型的模式与 fMRI 大脑数据中的大脑模式的匹配程度。很明显，
使用 NSP 进行训练带来了好处。使用 NSP 的模型在多个区域与人类大脑活动的匹配程度远远高于仅进行单词预测训练的模型。其机制也很好地映射到人类话语理解的既定神经模型上。研究结果为我们的大脑如何处理完整的话语(例如对话)提供了新的见解。例如，大脑右侧的部分(而不仅仅是左侧)有助于理解较长的话语。使用 NSP 训练的模型还可以更好地预测某人的阅读速度——表明通过 NSP 模拟话语理解有助于 AI 更好地理解人类。
最近的 LLM，包括 ChatGPT，都依赖于大幅增加训练数据和模型大小来实现更好的性能。李平教授说：“仅仅依靠这种扩展是有局限性的。进步还应旨在提高模型的效率，依赖更少而不是更多的数据。我们的研究结果表明，诸如 NSP 之类的多样化学习任务可以提高 LLM 的效率，使其更像人类，并可能更接近人类智能。”
他补充道，“更重要的是，这些研究结果展示了神经认知研究人员如何利用 LLM 研究我们大脑的高级语言机制。它们还促进了人工智能和神经认知领域研究人员之间的互动和合作，这将导致未来对人工智能大脑研究以及大脑启发式人工智能的研究。”
版权声明：本文由用户上传，如有侵权请联系删除！