人工智能生成的学术科学写作的识别准确率超过99%
人工智能聊天机器人ChatGPT 的首次亮相以其生成类似于人类的文本和对话的能力而引起了全世界的关注。根据 6 月 7 日发表在Cell Reports Physical Science杂志上的一项研究，许多迹象仍然可以帮助我们区分 AI 聊天机器人和人类。根据这些迹象，研究人员开发了一种工具来识别 AI 生成的学术科学写作，准确率超过 99%。
堪萨斯大学教授、第一作者希瑟·德赛尔 (Heather Desaire) 表示：“我们努力创建一种易于使用的方法，这样即使是高中生也可以在几乎没有指导的情况下为不同类型的写作构建一个 AI 检测器。” “需要解决 AI 写作问题，人们不需要计算机科学学位就可以为这个领域做出贡献。”
“现在，人工智能写作存在一些非常明显的问题，”Desaire 说。“最大的问题之一是它从许多来源收集文本，并且没有任何形式的准确性检查——这有点像游戏二真相与谎言。”
尽管许多 AI 文本检测器可以在线使用并且性能相当不错，但它们并不是专门为学术写作而构建的。为了填补这一空白，该团队旨在为此目的构建具有更好性能的工具。他们专注于一种称为观点的文章，该文章概述了科学家撰写的特定研究主题。该团队选择了 64 个观点，并创建了 128 篇关于相同研究主题的 ChatGPT 生成文章来训练模型。当他们比较文章时，他们发现了 AI 写作的一个指标——可预测性。
与人工智能相反，人类的段落结构更为复杂，句子数量和每段总字数各不相同，句子长度也有波动。对标点符号和词汇的偏好也是一个赠品。例如，科学家倾向于使用“然而”、“但是”和“虽然”等词，而 ChatGPT 在写作中经常使用“其他人”和“研究人员”。该团队为模型计算了 20 个要注意的特征。
测试时，该模型在从人类撰写的文章中剔除 AI 生成的完整观点文章方面达到了 100% 的准确率。对于识别文章中的各个段落，该模型的准确率为 92%。该研究团队的模型在类似测试中的表现也大大优于市场上可用的 AI 文本检测器。
接下来，团队计划确定模型的适用范围。他们想在更广泛的数据集和不同类型的学术科学写作中对其进行测试。随着 AI 聊天机器人的进步和复杂化，研究人员还想知道他们的模型是否站得住脚。
“当人们听到这项研究时，他们首先想知道的是‘我可以用它来判断我的学生是否真的写了论文吗?’”德赛尔说。尽管该模型非常擅长区分 AI 和科学家，但 Desaire 表示，它并非旨在为教育工作者捕捉 AI 生成的学生论文。然而，她指出，人们可以很容易地复制他们的方法来为自己的目的构建模型。
版权声明：本文由用户上传，如有侵权请联系删除！