AI日报｜大型语言模型不可能是因果模型；论大型语言模型的沟通技巧；综述：基于扩散的图像生成模型

今日值得关注的人工智能新动态：

MIT新研究：AI帮助机器人用全身操作物体

研究认为：大型语言模型不可能是因果模型

论大型语言模型的沟通技巧

SoTaNa：开源软件开发助手

知识驱动的CoT：探索LLMs中的知识密集问题推理

综述：基于扩散的图像生成模型

综述：AI音乐生成工具与模型

01

MIT新研究：

AI帮助机器人用全身操作物体

麻省理工学院的研究人员最近推出了一项名为“接触丰富的操纵计划”（contact-rich manipulation planning）的创新研究成果。他们使用一种称为平滑（smoothing）的人工智能技术，将许多接触事件总结为较少数量的决策要素，它甚至可以使用简单的算法来快速识别机器人的有效操纵计划。

这种方法使工厂能够使用更小的移动机器人，这些机器人可以用整个手臂或身体操纵物体，而不是只能用指尖抓取的大型机器人手臂。这有助于减少能源消耗并降低成本。

此外，这项技术对于前往火星或其他太阳系天体执行探索任务的机器人也很有用，因为它们只需使用机载计算机就可以快速适应环境。      

02

研究认为：

大型语言模型不可能是因果模型

有些人认为，要实现人工智能，规模是关键，对于因果模型而言，也是如此。研究人员指出，大型语言模型（LLMs）不可能是因果模型，并给出了原因。为此，研究人员定义并举例说明了结构因果模型（SCM）的一个新子类，他们称之为元结构因果模型（meta SCM），它在变量中编码了其他结构因果模型的因果事实。他们推测，在 LLMs 成功进行因果推理的案例中，其背后是各自的 meta SCM 在自然语言中揭示了因果事实之间的相关性，而 LLMs 最终是根据这些 meta SCM 的数据进行训练的。如果假设成立，那么这就意味着 LLMs 就像鹦鹉 一样，它们只是简单地背诵数据中蕴含的因果知识。最后的实证分析提供了有利的证据，证明当前的 LLMs 是弱因果鹦鹉（causal parrots）。

论文：

Causal Parrots: Large Language Models May Talk Causality But Are Not Causal

03

论大型语言模型的沟通技巧

该研究探讨了如何利用更好的沟通技巧来提高对生成代码的信心，研究人员提出了一种以交流为中心的流程，使用大型语言模型（LLMs）生成的交流器来识别问题描述和生成代码中模棱两可或可信度较低的问题。然后，他们提出澄清性问题，来获得用户的回复，从而完善代码。

论文：

Does Asking Clarifying Questions Increases Confidence in Generated Code? On the Communication Skills of Large Language Models

04

SoTaNa：开源软件开发助手

软件开发在推动整个现代社会的创新和效率方面发挥着至关重要的作用。为了满足这一动态领域的需求，人们越来越需要一种有效的软件开发助手。然而，以 ChatGPT 为代表的现有大型语言模型在可访问性（包括训练数据和模型权重）方面受到限制。虽然其他大型开源模型（如 LLaMA）也显示出了良好的前景，但它们在理解人类意图方面仍然存在困难。一项研究介绍了开源软件开发助手 SoTaNa。SoTaNa 利用 ChatGPT 为软件工程领域生成基于指令的高质量数据，并采用参数高效微调方法来增强开源基础模型 LLaMA。

论文：

SoTaNa: The Open-Source Software Development Assistant

05

知识驱动的CoT：

探索LLMs中的知识密集问题推理

大语言模型（LLMs）配备了思维链（CoT），在各种下游任务中表现出令人印象深刻的推理能力。即便如此，由于存在幻觉和无法访问外部知识的问题，尤其是在回答知识密集型任务（如 KBQA）时，LLMs 经常会出现不正确或不真实的中间推理步骤。为了缓解这一问题，研究人员提出了一个名为知识驱动的思维链（KD-CoT）的框架，通过与外部知识的交互来验证和修改 CoT 中的推理踪迹，从而克服幻觉和错误传播。经过大量在 WebQSP 和    ComplexWebQuestion 数据集上的实验证明，所提出的KD-CoT在解决推理生成任务中表现出显著效果，其绝对成功率分别为 8.0% 和 5.1%，优于普通 CoT ICL。此外，所提出的反馈增强型检索器在检索知识方面优于最先进的基线，显著提高了 Hit 性能。

论文：

Knowledge-Driven CoT: Exploring Faithful Reasoning in LLMs for Knowledge-intensive Question Answering

06

综述：基于扩散的图像生成模型

一项研究对现有的图像生成扩散模型进行了整理。扩散模型是一类生成模型，它采用一种独特的方法来生成图像，逐步向图像中添加噪声，直到图像完全退化。去除噪声的反向过程与图像生成的概念一致。一种主要方法是与检索系统相结合。该方法建议从检索系统中获取罕见或未见过的对象信息，从而引入新的概念。检索系统中获取罕见或未见过的对象信息，从而将新概念引入模型。给定主体驱动生成是一项根据给定图像生成图像的任务。目前有多种技术，包括微调和利用图像编码器来提高模型生成高质量图像的能力。

论文：

A Survey of Diffusion Based Image Generation Models: Issues and Their Solutions

07

综述：AI音乐生成工具与模型

一项研究对人工智能音乐生成工具进行了全面调查，包括研究项目和商业化应用。为了进行分析，研究人员将音乐生成方法分为三类：基于参数、基于文本和基于视觉的类别。他们的调查强调了这些工具的多种可能性和功能特点，它们迎合了从普通听众到专业音乐家的广泛用户。研究发现，每种工具都有自己的优势和局限性。因此，研究人员编制了一份综合清单，列出了在工具选择过程中应考虑的因素。

论文：

A Survey of AI Music Generation Tools and Models

转自：“学术头条”微信公众号

如有侵权，请联系本站删除！