认知科学家开发了解释语言理解困难的新模型
长期以来，认知科学家一直试图了解是什么让某些句子比其他句子更难理解。研究人员认为，任何关于语言理解的解释都将从理解理解困难中获益。
近年来，研究人员成功开发了两种模型，解释了理解和造句的两种重要困难类型。虽然这些模型成功地预测了理解困难的特定模式，但它们的预测是有限的，并且与行为实验的结果不完全匹配。此外，直到最近，研究人员还无法将这两个模型整合成一个连贯的解释。
由麻省理工学院脑与认知科学系 (BCS) 的研究人员领导的一项新研究现在为语言理解困难提供了这样一个统一的解释。基于机器学习的最新进展，研究人员开发了一种模型，可以更好地预测个人产生和理解句子的难易程度。他们最近在国家科学院院刊上发表了他们的发现。
该论文的资深作者是 BCS 教授 Roger Levy 和 Edward (Ted) Gibson。主要作者是 Levy 和 Gibson 以前的访问学生 Michael Hahn，他现在是萨尔州大学的教授。第二作者是 Richard Futrell，他是 Levy 和 Gibson 的另一位前学生，现在是加州大学欧文分校的教授。
吉布森说：“这不仅是现有理解困难解释的放大版本。” “我们提供了一种新的基础理论方法，可以进行更好的预测。”
研究人员在现有的两个模型的基础上创建了一个统一的理解难度理论解释。这些较旧的模型中的每一个都确定了导致理解受挫的明显罪魁祸首：期望困难和记忆检索困难。当一个句子不容易让我们预测它即将到来的单词时，我们会遇到困难。当我们很难跟踪一个具有复杂嵌入子句结构的句子时，我们会遇到记忆检索困难，例如：“律师不信任的医生惹恼了病人这一事实令人惊讶。”
2020 年，Futrell 首次提出了统一这两种模型的理论。他认为，记忆力的限制不仅会影响带有嵌入从句的句子的检索，还会影响所有语言的理解;我们的记忆力限制不允许我们在更普遍的语言理解过程中完美地表示句子上下文。
因此，根据这个统一模型，记忆约束会在预期中产生新的困难来源。我们可能很难预测句子中即将出现的单词，即使该单词应该很容易从上下文中预测出来——以防句子上下文本身难以记住。例如，考虑一个以“Bob throw the trash...”开头的句子，我们可以很容易地预测到最后一个词——“out”。但如果最后一个词之前的句子上下文更复杂，就会出现预期困难：“Bob throw the old trash that have been sitting in the kitchen days [out]”。
研究人员通过测量读者响应不同理解任务所需的时间来量化理解难度。响应时间越长，给定句子的理解难度就越大。先前实验的结果表明，Futrell 的统一帐户比两个旧模型更好地预测了读者的理解困难。但他的模型并没有确定我们倾向于忘记句子的哪些部分——以及这种记忆检索失败究竟是如何混淆理解的。
哈恩的新研究填补了这些空白。在这篇新论文中，麻省理工学院的认知科学家与 Futrell 一起提出了一个基于新连贯理论框架的增强模型。新模型识别并纠正 Futrell 统一账户中缺失的元素，并提供新的微调预测，以更好地匹配实证实验的结果。
与 Futrell 的原始模型一样，研究人员的出发点是，由于记忆力的限制，我们的思维并不能完美地代表我们遇到的句子。但除此之外，他们还添加了认知效率的理论原则。他们提出，大脑倾向于以一种优化其准确预测句子中新词输入能力的方式来部署其有限的记忆资源。
这个概念导致了几个经验预测。根据一个关键的预测，读者会依靠他们对单词的统计共现知识的了解来弥补他们不完美的记忆表征，从而隐式地重建他们在脑海中读到的句子。因此，包含较少单词和短语的句子更难被完美记住，从而更难预测即将出现的单词。因此，这样的句子通常更难理解。
为了评估这种预测是否符合我们的语言行为，研究人员使用了 GPT-2，这是一种基于神经网络建模的人工智能自然语言工具。这种机器学习工具于 2019 年首次公开，使研究人员能够以前所未有的方式在大规模文本数据上测试模型。但 GPT-2 强大的语言建模能力也带来了一个问题：与人类相比，GPT-2 完美的记忆完美地代表了它处理的非常长和复杂的文本中的所有单词。
为了更准确地描述人类语言理解的特征，研究人员添加了一个组件来模拟人类对记忆资源的限制——就像在 Futrell 的原始模型中一样——并使用机器学习技术来优化这些资源的使用方式——就像在他们新提出的模型中一样。生成的模型保留了 GPT-2 在大多数情况下准确预测单词的能力，但在句子具有罕见的单词和短语组合的情况下显示出类似人类的故障。
“这是一个很好的例子，说明现代机器学习工具如何帮助发展认知理论和我们对思维运作方式的理解，”吉布森说。“即使在几年前，我们也无法在这里进行这项研究。”
研究人员为机器学习模型提供了一组带有复杂嵌入子句的句子，例如“律师不信任的医生惹恼了病人的报告令人惊讶”。然后，研究人员将这些句子的开头名词——上例中的“report”——替换为其他名词，每个名词都有自己的概率出现在后面的从句中。
一些名词使人工智能程序更容易“理解”它们所在的句子。例如，该模型能够更准确地预测这些句子以常见措辞“The fact that”开头时的结尾方式，而不是以罕见的措辞“The report that”开头时的结尾。
然后，研究人员着手通过对阅读相似句子的参与者进行实验来证实基于人工智能的结果。他们对理解任务的反应时间与模型预测的反应时间相似。吉布森说：“当句子以‘report that’开头时，人们往往会以一种扭曲的方式记住这句话。”罕见的措辞进一步限制了他们的记忆力，从而限制了他们的理解力。
这些结果表明，新模型在预测人类如何处理语言方面优于现有模型。
该模型展示的另一个优势是它能够提供不同语言的不同预测。“以前的模型知道为什么某些语言结构，比如带有嵌入式从句的句子，在记忆的约束下通常更难处理，但我们的新模型可以解释为什么相同的约束在不同的语言中表现不同，”Levy 说。
“例如，对于以德语为母语的人来说，带有中心嵌入从句的句子似乎比以英语为母语的人更容易，因为说德语的人习惯于阅读从句将动词推到句子末尾的句子。”
根据 Levy 的说法，需要对该模型进行进一步的研究，以确定除了嵌入从句之外导致句子表示不准确的原因。“我们需要测试其他类型的'混淆'。” 同时，哈恩补充道，“该模型可能会预测其他人甚至没有想到的‘混淆’。我们现在正试图找到这些，看看它们是否会像预测的那样影响人类的理解。”
未来研究的另一个问题是，新模型是否会导致人们重新思考一长串专注于句子整合困难的研究：“许多研究人员强调了与我们在脑海中重建语言结构的过程相关的困难，”利维说。“新模型可能表明，困难与这些句子的心理重建过程无关，而是与已经构建后的心理表征保持一致。一个大问题是这是否是两个独立的事物。”
无论如何，吉布森补充说，“这种工作标志着对这些问题的研究的未来。”
版权声明：本文由用户上传，如有侵权请联系删除！