来源：《中国社会科学文摘》2023年第4期P17—P18
作者单位：中国科学院自动化研究所 浙江大学生物医学工程与仪器科学学院 中国科学院心理研究所，原题《语言认知与语言计算——人与机器的语言理解》，摘自《中国科学：信息科学》2022年10期，崔晋摘
语言认知指人脑对语言的理解，泛指个体在接受语音、文本等信息时，从听觉、视觉等感知觉信息中提取抽象的符号信息的过程。语言认知是一个复杂的过程，不同层次和不同单位的语言结构，以及不同类型的语言信息的加工机制各有不同，所依赖的脑网络也非常复杂。
语言计算是指机器对语言的理解过程，强调研制具有表示语言能力的模型，建立计算框架来实现这样的语言模型。以中文为例，语言计算的过程包括对文字的识别和表示，字、词、短语、句子和篇章的结构及语义解析，文本符号与外部世界的关联分析等，最终达到使机器理解语言的目的。
语言认知和语言计算领域定义的人和机器语言理解的过程基本一致，都是从基本语言单元的编码开始的，继而将其组合为更大粒度的文本单元，最终与外部世界相关联。不同的是，两者的实验方法和研究问题的关注点有很大区别。语言认知研究多采取“提出假设—设计实验—数据验证假设”的实验手段，而语言计算研究大多采取“采集数据—构建模型—任务验证模型性能”的方法。在研究问题上，语言认知研究偏向于揭示问题背后的原因，而语言计算研究则重点关注解决问题的方法。语言认知研究大脑语言理解的基本单元和维度，其在大脑中的空间表征形式和时间进程，以及世界知识和认知功能对于语言理解的调控作用，着重强调“是什么”和“为什么”的问题。语言计算研究如何让计算机高效地切分和表示词汇，将词汇表示组合为句子和篇章表示，以及分析文本中各个元素的功能和关系，主要关心的是“怎么做”的问题。语言认知和语言计算领域重点关注的研究内容和思考方式不同。正因如此，两者的差异可以为双方带来新的启示和见解。
近年来，越来越多的研究人员开始借助语言计算方法，在自然文本的实验刺激条件下研究人脑语言理解过程。这类方法为建立精确到词的神经表征模型提供了极大的便利，进而，不仅可以用于分析传统实验数据，更在分析自然语言加工数据时展现了巨大的潜力。具体来说，这类方法采集词汇、句子或者篇章的神经活动数据，然后使用语言计算模型编码实验刺激，最后利用编码后的刺激研究大脑语言理解的问题。
认知机理启发的语言计算模型旨在通过研究大脑的语言认知机理，分析认知机理与机器语言计算之间的关联，最终设计更加智能的语言计算模型，完成各项语言处理任务。目前已有认知启发的语言计算方法归纳为下述四类：（1）借鉴大脑表征、学习、注意力、记忆等认知机制，设计或改进计算模型，使得（部分）模型具有与大脑类似的结构，从而提升模型处理下游任务时的性能。（2）将大脑神经活动、神经影像或行为数据看作一种额外模态的数据，可以提供不同于已有数据的信息，因此在模型训练过程中将其与计算任务的数据相融合，以此提升模型的性能。（3）从模型底层架构上模拟生物神经元或神经环路的结构和工作机理，以此构建更加智能的计算模型。（4）借鉴或使用认知科学的研究方法来解析神经网络模型编码的信息。
未来在研究人的语言理解问题上，计算理论驱动的语言理解认知实验大有可为，即根据计算模型的结构或结果提出研究假设，然后在行为学或脑活动数据上进行验证。具体有以下五个重要研究方向。
1. 收集多语言多模态神经活动数据。未来的语言认知研究要在多种语言和多种类型的数据上进行多重验证。尤其对于结合计算模型的研究来说，数据的规模和质量直接决定了结果的可靠性，因此利用侵入式和非侵入式的多种工具针对不同语种采集大规模高质量的神经活动数据十分重要。同时，数据的开放和共享也在逐渐成为语言认知研究的趋势，这将会极大促进语言认知的研究。
2. 启发新的认知机制假设。我们可以把不同语言计算模型中的各个模块当作大脑计算机制的假设，用认知科学实验进行验证。
3. 关联多种语言变量和认知功能。随着基于神经网络方法的语言计算方法性能不断提升，用模型分离不同语言特征越来越准确，从而使得在同一批数据上计算出大脑不同区域在视听觉感知、多模态信息融合和语言理解中的其他功能机制成为可能。
4. 解析大脑语言理解的底层计算机制。随着脉冲神经网络和震荡神经网络的不断发展，未来的计算模型可以融合神经科学的结论来模拟底层神经元的工作模式，同时也可以根据语言学理论对语言单元进行操作从而完成语言理解的任务，这样就为关联语言学和神经科学的研究提供了一种新的解决方案。
5. 探索语言学习、演化的机制。当今，深度神经网络的语言处理能力有了质的飞跃，而且也有了更多婴儿语言习得过程中的语料记录，因此可以利用计算模型探索语言学习、演化的机制。甚至还可以深入探讨语言计算模型中的循环连接、卷积操作、点积注意力机制、反向传播算法等是否也为人脑语言理解计算过程中的必备环节。
在机器的语言理解问题上，语言认知研究提示人脑可能具备许多高效的加工方式，在表征、学习记忆的认知机理，神经元的工作机制，行为学和影像数据等方面启发构建新一代语言计算模型具有巨大潜力，以下五个方面将成为未来重要发展方向。
1. 文本的表征和组合方式。在编码概念含义时，大脑会针对不同类型的概念使用不同的表征方式。在编码句法结构时，大脑会对不同类型短语使用不同的组合方式，采用层级编码方式如树型结构来指导词汇的组合顺序，并且采用并行加工的方式来编码多个层次语言单元（词汇、短语、句子等）的信息。上述编码方式使得人脑存储和计算文本含义十分高效，也与人类具有“举一反三”和快速学习的能力息息相关。未来的语言计算模型可以借鉴这种机制，结合符号化和分布式的表征方式，采取多样性、层级性和并行性的组合方式来学习文本表示和组合模型。
2. 语言的连续学习。人类在孩提时期就具备连续学习和小样本学习的能力。这种学习能力与人类的记忆系统密切相关，学习新信息的结果便是记忆。不同类型的信息由不同的记忆系统负责加工和存储，如声音和图像等信息由感觉记忆负责存储，并在较短的时间内进行保持。人脑复杂结构化的记忆系统保障了海量数据的高效组织和有需要时的快速提取，这些都是计算模型可以借鉴的。
3. 语言的交互学习。现有最好的通用语言计算模型使用预测下一个词汇作为目标函数，在海量文本中进行训练，在多项任务中取得卓越的性能。不同的是，相比分析和记忆语言结构，人类往往通过与他人进行交互来学习语言，这是一种更有效的学习和提升语言能力的方式，借鉴这种交互学习方式，未来的语言计算模型除了利用文本信息作为监督信号，也可以从其他模型的结构或者输出结果中得到反馈，在彼此不断的交互中进行学习。
4. 多模态信息融合。与交互学习密切相关的是多种模态信息的综合处理。人类的语言学习环境是一个多模态的系统，相比单模态的信息，人类更加擅长处理多模态的信息，并且对于多模态信息的处理速度要快于单一模态的信息。但是如何让计算模型高效融合来自不同模态的信息是一个难题。因此，在多模态信息融合上，脑启发的计算模型是未来一个重要研究方向。
5. 计算模型的可解释性。认知科学设计实验来解析人脑的工作机理，这种研究方法和认知实验数据也可用于解析或评估语言计算模型的工作机制，启发新的模型可解释性方法。
语言认知的研究是认知科学和脑科学的核心问题之一。不仅对揭示人类语言智能的基础、揭示大脑工作原理的奥秘有重要意义，也有助于推动脑启发的语言智能技术的发展。与此同时，语言计算研究的新思想和新技术亦可以为脑语言认知的研究提供重要的借鉴和支持。因此，未来语言认知和语言计算的研究必将产生更紧密的结合，这方面的交叉研究的前景非常值得期待。
转自：“中国学派”微信公众号
如有侵权，请联系本站删除！
