机器学习模型会学习常识吗？
2023/3/6 14:17:00 阅读：111 发布者：
机器学习模型可能会犯一些很容易隐藏在大量数据中的基本错误。这种错误常常与被称为“常识”的人类直觉背道而驰。因此，这项研究试图描述数据驱动模型的常识，并量化模型学习常识的程度：将常识规则形式化为与训练数据一致的统计分位数规则，并定义了大规模提取此类规则的问题。
研究提出了一个框架，该框架将基于逻辑的方法与统计推理相结合，以在没有监督的情况下从模型的训练数据中得出常识规则。
研究进一步展示了如何在测试时调整模型，以减少常识规则违规，并产生更连贯的预测。通过在三个不同领域的数据集和模型上评估此框架——它针对这些数据集生成大约 25-30 万条规则，并通过各自数据集的最先进模型发现了 1500-26000 条违反这些规则的行为。测试时间自适应可在不影响总体模型精度的情况下将这些违规行为减少 38%。
论文链接：
https://arxiv.org/abs/2303.01433
转自：“学术头条”微信公众号
如有侵权，请联系本站删除！
