ChatGPT可以评估人的性格吗？

大型语言模型（LLM），尤其是 ChatGPT，在各个领域都取得了令人瞩目的成果，但它们潜在的类人心理在很大程度上仍未得到探索。现有的研究工作尝试考察 LLM 的虚拟人格，但少有学者通过 LLM 分析人类人格的可能性。

基于此，本文提出了一种基于 MBTI 测试的 LLM 通用评估框架来评估人的性格。具体来说，首先通过随机排列 MBTI 问题中的选项来设计无偏见的提示，并采用平均测试结果来鼓励更公正的答案生成。然后，替换主题询问陈述，以实现对 LLM 不同主题的灵活询问和评估。最后，以正确性评估的方式重新制定问题说明，以帮助 LLM 生成更清晰的响应。

研究结果显示，所设计的框架使 LLM 能够灵活地评估不同人群的性格。研究进一步提出了三种评估指标，以衡量最先进的 LLM（包括 ChatGPT 和 InstructGPT）的评估结果的一致性、稳健性和公平性。实验揭示了 ChatGPT 评估人类性格的能力，平均结果表明，与 InstructGPT 相比，ChatGPT 以更少的性别偏差实现了更一致、更公平的评估，而其结果对提示偏差更敏感。

论文链接：

https://doi.org/10.48550/arXiv.2303.01248

转自：“学术头条”微信公众号

如有侵权，请联系本站删除！