诊断 ChatGPT 的 AI 伦理问题
2023/3/6 14:05:35 阅读：169 发布者：
自然语言处理的最新突破允许以开放的方式合成和理解连贯的文本，从而将理论算法转化为实际应用。大型语言模型（LLM）对报告总结软件和撰稿人等业务产生了重大影响。然而，观察表明，LLM 可能表现出对社会的偏见和毒性，带来系列不负责任导致的道德后果和社会风险。因此，应该为负责任的 LLM 制定大规模的基准。
尽管一些实证调查揭示了高级 LLM 中存在一些伦理困难，但目前还没有对当前 LLM 使用的伦理进行系统的检查和用户研究。为了进一步指导未来负责任地构建具有伦理道德的 LLM，这项研究对 OpenAI 的 ChatGPT 进行了定性研究，以更好地了解近期 LLM 中具有道德风险的实际特征。
研究根据经验在多个样本数据集上对 ChatGPT 进行了基准测试，从四个角度综合分析了 ChatGPT：（1）语境{偏见}；（2）语境{可信度} ；（3）语境{稳定性}；（4）语境{毒性}。
研究发现，ChatGPT 的表现可能比目前的 SOTA 语言模型略好，同时也表明了大量的道德风险无法通过现有的基准来解决，因此需要通过额外的案例研究来说明这些风险。
论文链接：
https://arxiv.org/abs/2301.12867
转自：“学术头条”微信公众号
如有侵权，请联系本站删除！
