麻省理工学院研究人员开发出比大型语言模型更高效的小型语言模型
•
2023-06-15 10:13:27
摘要 麻省理工学院计算机科学与人工智能实验室 (CSAIL) 的研究人员开发了一种超越大规模语言模型的小型自学语言模型。CSAIL 的模型算法称为简...
麻省理工学院计算机科学与人工智能实验室 (CSAIL) 的研究人员开发了一种超越大规模语言模型的小型自学语言模型。
CSAIL 的模型算法称为简单伪标签编辑 (SimPLE)，允许它从自己的预测中学习，无需使用带注释的训练数据。
据Venture Beat报道，该团队声称该模型在各种任务中的性能优于更大、更著名的模型，如 OpenAI 的 GPT-4 或谷歌的 LaMDA。
“我们的小模型经过训练，可以掌握语言理解的核心原则——语境蕴含，而法学硕士并没有明确地了解它，”麻省理工学院 CSAIL 博士后研究员、该研究的主要作者 Hongyin Luo 说。
Lou 说团队的下一步是“在各种与语言相关的任务中使用蕴含模型”。
他表示，与 GPT-3 相比，该模型仅包含 1/500 的参数，相比之下，这将使它的部署更容易、更快。
版权声明：本文由用户上传，如有侵权请联系删除！
标签：