IT之家 12 月 20 日消息，以ChatGPT 等为代表的大型语言模型（LLMs）在过去几年中越来越擅长处理和生成人类语言，但这些模型在多大程度上模拟了人类大脑支持语言处理的神经过程，还有待进一步阐明。
据 Tech Xplore 18 日报道，哥伦比亚大学和费因斯坦医学研究所的研究团队近期进行了一项研究，探索了 LLM 与大脑神经反应的相似性。研究表明，随着 LLM 技术的进步，这些模型不仅在性能上有所提升，而且结构上也越来越接近人类大脑。
论文的第一作者加文・米施勒（Gavin Mischler）在接受 Tech Xplore 采访时表示：“我们撰写这篇论文的灵感来源于近年来 LLM 和神经 AI 研究的迅速发展。”
“几年前，有几篇文章显示，GPT-2 的词嵌入与人脑对语言的神经反应有一定相似性，但在人工智能这一飞速发展的领域中，GPT-2 如今已经过时，算不上最强大。”
“自从 ChatGPT 发布后，涌现了许多更强大的模型，但关于这些新模型是否仍然表现出相同的大脑相似性，相关研究却并不多。”
米施勒及其团队的主要目标，是探究最新一代的 LLM 是否依然表现出与人类大脑相似的特征。研究人员对 12 个不同的开源 LLM 进行了分析，这些模型在架构和参数数量上几乎一致。同时，他们也通过在神经外科患者的脑部植入电极记录其听到语言时的大脑反应。
米施勒解释道：“我们还将同样的演讲文本输入 LLM，并提取其词嵌入，这些嵌入是模型内部用来处理和编码文本的表示。为了衡量这些 LLM 与大脑的相似性，我们尝试通过预测大脑对词语反应的神经活动来评估它们的对应性。通过这种方式，我们可以了解两者的相似度。”
在数据收集后，研究人员利用计算工具分析 LLM 与大脑的对齐程度。他们特别关注哪些层次的 LLM 与大脑中与语言处理相关的区域最为匹配。大脑对语言的反应已知会逐步通过对语音的声学、语音学等成分的分析，建立语言的抽象表征。
米施勒表示：“我们发现，随着 LLM 能力的提升，这些模型的词嵌入与大脑对语言的反应越来越接近。更出乎意料的是，随着模型性能的提升，它们与大脑层次结构的对齐程度也有所提高。这意味着，语言处理过程中大脑不同区域提取的信息，与性能较强的 LLM 的不同层次提取的信息对比，更加一致。”
这些研究结果表明，表现最好的 LLM 更能准确反映大脑的语言处理反应。而且，这些模型的优秀表现可能与其早期层次的高效性有关。
有关研究结果已经在《自然・机器智能》期刊上发表，IT之家附链接：点此前往
还没有评论，来说两句吧...