ChatGPT真的是万事通吗？

OpenAI 发布了 ChatGPT，彻底改变了人工智能中人机交互的方法。与聊天机器人的第一次接触揭示了它在各个领域提供详细而精确答案的能力。这项研究检查了 ChatGPT 在 25 种不同的 NLP 分析任务上的能力，其中大多数任务甚至对人类来说都是主观的，如情绪分析、情绪识别、攻击性和立场检测、自然语言推理、词义消解、语言可接受性和问题回答。

这项研究将 ChatGPT 的查询过程自动化，分析了超过 38000 个响应，将其结果与现有的 SOTA 解决方案进行了比较。结果显示，对于零样本和少样本评估，ChatGPT 模型的平均质量损失约为 25%。研究表明，任务越困难（SOTA  性能越低），ChatGPT 损失就越大。这尤其是指诸如情绪识别之类的实用 NLP 问题。

Jan Kocoń 及其同事还测试了测试了 ChatGPT 通过随机上下文少样本个性化对选定的主观任务进行响应的能力，获得了明显更好的基于用户的预测。额外的定性分析揭示了 ChatGPT 的偏见，这很可能是由于 OpenAI 对人类培训师施加的规则。这项研究为最近的预测性 NLP 模型的高质量是否可以表明一个工具对社会的有用性，以及应该如何建立这种系统的学习和验证程序提供了讨论基础。

论文链接：

https://arxiv.org/abs/2302.10724

转自：“学术头条”微信公众号

如有侵权，请联系本站删除！