以下文章来源于北京航空航天大学学报社会科学版 ，作者北航学报社科版
ChatGPT——挑战、发展与治理
来源：北京航空航天大学学报(社会科学版), 2023, 36(2): 188-192.
编者按
2023年，研究机构OpenAI发布的ChatGPT聊天机器人掀起了人工智能的新一轮浪潮。当前，中国正在积极探索人工智能发展的新模式、新路径，在对标ChatGPT大模型的基础上，着力构建开源框架和通用大模型的应用生态。ChatGPT受到了来自法学、数学、计算机科学与技术、网络空间安全、软件工程、语言学、哲学等多个学科的广泛关注，由此引发了如何认识ChatGPT、ChatGPT会给社会带来哪些机遇和挑战、应该对ChatGPT采取何种治理方案等诸多问题。针对上述问题，本刊特邀五位青年学者，从交叉学科视角出发，针对人工智能发展的新趋势及其潜在的技术安全风险，探讨ChatGPT对中国人工智能产业的影响方式和借鉴意义，以期为推动中国人工智能产业良性、高效发展助力。
一. ChatGPT背后的技术安全风险及其应对路径
赵精武，北京航空航天大学法学院副教授，硕士生导师。
生成型预训练变换模型（Chat Gegerative Pre-trained Transformer，ChatGPT）因其强大的功能而爆火出圈，无论是短文撰写、新闻编辑，还是代码编写、时事点评，ChatGPT均能胜任。因此，国内外市场对于ChatGPT所代表的人工智能产业抱有较高的期待。部分专家甚至认为，ChatGPT能够通过取代人类完成部分重复性、模块化的工作任务，进而对社会人力资源分配和产业结构优化产生直接的推动效用。然而，技术创新从来都是与风险相伴的，ChatGPT也不例外−ChatGPT一旦被滥用，虚假信息泛滥、用户数据泄露、内嵌的算法歧视以及知识产权侵权等一系列风险也将随之而至。
以网络安全风险为例，ChatGPT的自动编写代码功能在提升代码编写效率的同时，也会被黑客用于辅助编写恶意代码，网络安全态势势必更加严峻。具体表现为：其一，ChatGPT的代码编写功能将拓展黑客攻击的技术工具，使得原有的网络攻击呈现更加庞大的规模化趋势。ChatGPT能够辅助黑客高效完成恶意软件的编写，如此一来，黑客针对关键信息基础设施进行有组织、有规模的网络安全攻击的频次将会增加。同时，过去以大型企业为主要目标的攻击模式可能转变为囊括大中小型企业的攻击模式。其二，ChatGPT的信息编写功能能够辅助网络诈骗分子生成规模化、低成本的网络钓鱼软件，并且生成的诈骗信息具有智能化特征，使得被诈骗者识别信息真伪的难度进一步增加。其三，ChatGPT的信息编写功能可能会导致网络虚假信息泛滥，并且网络用户更加难以甄别这些信息的真伪，由此将导致网络空间舆情治理压力增大。
面对ChatGPT滥用可能导致的种种风险，国内外学者纷纷提出了具有前瞻性的治理方案。有专家、学者提出，应对ChatGPT需“制定专门立法”“制定配套措施”。实际上，ChatGPT的市场成功不等于人工智能产业取得了突破性创新发展，相对应的风险治理思路更应当考虑现有的技术水平。结合ChatGPT所具有的如仅能完成重复性和模块化的工作内容、输出结果准确率无法保障、知识更新周期慢、算力资源需求庞大等技术特征，监管机构没有必要立即将尚处探索阶段的ChatGPT作为现阶段网络空间治理的核心立法任务。因为凭借不确定的技术应用场景和难以预测的安全风险径直推导出“法律需要对ChatGPT进行专门立法规制”，只会陷入“一项技术对应一条法律制度”的谬误之中。
法律与技术的关系并非简单的治理与被治理的关系，而是表现为被需要与需要的关系。技术在不同的发展阶段，往往存在差异化的制度需求，或是产业促进制度，或是禁止性规范，或是对既有立法体系的法律解释与概念重述。在目前ChatGPT技术尚未落地应用之前，过于超前地规划立法方案和制度建构路径，可能会压制技术的创新。区块链、元宇宙等领域同样存在类似问题，专门立法和配套措施等治理思路并不能真正解决这些问题，同时还可能会致使法律偏离原本的功能定位。
事实上，中国已先后颁布了《中华人民共和国网络安全法》《网络信息内容生态治理规定》《互联网信息服务算法推荐管理规定》等法律法规，针对人工智能技术和算法技术滥用问题规定了详细的法定义务和监管体系，足以应对短期内ChatGPT可能带来的各类技术安全适时风险。中国监管部门完全可以利用现有法律制度，规范ChatGPT的相关产业活动；未来在经验成熟时，可以考虑启动人工智能技术应用领域的立法，以应对各种潜在的安全风险。
首先，重点监管大型企业研发活动，落实人工智能技术标准。ChatGPT对于算法、数据乃至服务器的需求量惊人，具备开发能力的主体大多限于超大型互联网企业或技术公司。在相关产品投入市场之前，可以利用算法备案机制，对存在影响网络安全和国家安全可能性的产品或服务进行安全性审查。此外，相较于对用户使用行为进行监管，从源头上对研发企业进行监管的成效可能会更加显著，且研发企业也有技术水平和能力对恶意软件代码片段编写功能加以限制。
其次，明确研发机构、网络平台经营者对于人工智能产品应用的安全风险评估义务。ChatGPT及其类似产品本身不具有社会危害性，但以不当方式使用则可能会导致一定的损害后果。针对ChatGPT可能引发的网络钓鱼邮件等网络诈骗风险，应当明确作为“危险制造者”的研发机构、网络平台经营者在将此类产品投入市场之前必须进行安全风险评估，确保风险可控。
最后，需要重点关注以人工智能信息审核技术规制人工智能可能诱发的虚假信息泛滥风险。为了避免滥用ChatGPT等人工智能技术生成大量难以通过自动化批量审核的虚假信息内容，监管机构以及网络平台经营者可能需要进一步提升监管技术，以人工智能监管科技来规范人工智能生成的内容。根据ChatGPT这类产品的发展水平和生成信息内容特征，鼓励行业协会、大型企业或第三方专业机构积极推进人工智能违规信息审核产品的研发和推广。
二. ChatGPT发展需要关注复杂系统研究
王鑫，北京航空航天大学人工智能研究院助理教授，硕士生导师。
17世纪以来，科学思想经历了从简单系统还原论到复杂系统涌现论的根本转变。如何认知、处理复杂系统，已成为现代科学的核心问题。处理复杂系统的方法论可以归结为以下三种：一是以数学物理模型为代表的Hypothesis-driven Science，通过抽象自然现象，提出科学假设，构造模型解释、推导、预测，再以实验方法验证，形成普适性定律；二是以统计学为基础的Data-driven Science，通过真实数据特征分析，归纳科学问题，得到新发现，提出新理论；三是以神经网络为代表的人工智能方法，学界将其称为“Data is Science”，其底层逻辑在于数据本身就被认为是一种描述世界的方式，因此缺乏对数据及其特征之间的耦合、因果等内在关联关系的刻画，更关心“效果怎么样”，而非“原因是什么”。
上述三种方法论也形成了当下人工智能与复杂系统研究的两种主要范式：一是以ChatGPT为代表的超级拟合范式，即采取大模型、巨参数、海量数据，试图对客观世界进行无限逼近，表现为“大数据、小定律”，但其核心瓶颈在于不可解释性和“学习”效率低；二是结合了Hypothesis-driven Science和Data-driven Science的寻找principles范式，追求复杂系统的可解释性数理建模和智能涌现的本源，代表性工作包括2021年获得诺贝尔物理学奖的复杂气候系统研究，以及目前的脑科学、类脑智能研究等，表现为“大定律、小数据”，但其仍受限于复杂系统的数学理论困难和神经科学的发展现状。
当前，一方面，ChatGPT在连续问答、知识归纳、代码写作、文献推荐等多个方面表现出了前所未有的强大能力，很有可能对众多行业都带来变革性影响，其潜力令人期待。另一方面，ChatGPT的“智能”水平是基于模型规模、数据量的大幅度提升而突然涌现出来的，即得益于所谓的“scale up”和“scaling law”。涌现本身就是复杂系统的重要特征，但ChatGPT的“智能”为何能够涌现，其涌现的相变点受哪些因素影响，目前均为未知。从技术上来看，大模型范式所需的高质量、易标注的数据量有限，算力要求高，成本与能源消耗大；从原理上来看，ChatGPT并没能突破超级拟合范式的瓶颈，仍然存在不可解释性、可泛化边界未知、涌现原理未知、逻辑推理能力有限等问题。同时，ChatGPT的使用也带来了法律安全、认知安全、应用安全、社会安全、数据安全等一系列的安全性挑战。
三. ChatGPT的网络安全威胁及其应对路径
李大伟，北京航空航天大学网络空间安全学院助理教授，博士生导师。
着眼未来，高性能通用人工智能的下一个颠覆性突破也许来自大模型（如高质量大数据、高效率大模型、涌现学习能力）和大定律（如可解释、可泛化、逻辑推理能力）的结合。其核心科学问题在于，面对无处不在的复杂系统，如何在拟合过程中内嵌数理原理或智能涌现规律。
自从机器与人类结缘以来，二者的历史发展进程便始终在不断地交织、发展和演变。ChatGPT作为强大的自然语言处理模型，能够提供文本生成、对话交互、机器翻译、智能建模等服务，以“合作者”的身份，为人类创造更多的价值和福利。然而，在技术的发展过程中，也会出现一些问题和挑战。以ChatGPT为代表的新兴人工智能也面临着安全威胁的挑战，如何防御这些威胁，是必须认真思考和应对的问题。
从传统的软件系统的角度来看，ChatGPT可能会遭受DDOS攻击、命令注入攻击、数据泄漏、访问控制漏洞攻击等安全威胁。从人工智能模型的角度来看，ChatGPT面临的安全威胁包括：对抗样本攻击（即攻击者可以通过在输入中添加微小但有意义的扰动来欺骗ChatGPT模型）、模型逆向攻击（即攻击者逆向推导出模型的参数或训练数据，从而获取敏感信息或泄露隐私）、模型解释攻击（即攻击者通过访问模型的解释信息来获取敏感数据）、窃听攻击。此外，作为自然语言处理模型，ChatGPT还会遭受提示语注入攻击，攻击者可在用户输入的数据中混入可执行的命令，迫使底层引擎执行意外动作，危害系统安全。
ChatGPT生成的语言符合人的思维，常常带有情感倾向，且模型的输入数据库是人为设定的，学习的数据也具有人类特征。因此，不能简单地将ChatGPT视为机器，而是应将其视为机器与人的结合体。作为机器与人的结合体，ChatGPT会带来许多新的安全问题。从机器的角度来看，ChatGPT会带来模型安全、数据安全、算法偏见等问题，模型中的错误数据会不断累积，最终导致虚假信息的产生甚至泛滥，算法与数据集的选择也会导致模型输出的偏见和不公平性。从人的角度来看，ChatGPT会带来政治与舆论、军事与国防、恶意程序生成、情绪引导、版权问题等方面的安全问题。敌对势力可以利用ChatGPT，操纵舆论叙事以谋求地缘政治利益；也可以借助ChatGPT，辅助军事决策，改变战场形态；还可以使用ChatGPT生成恶意程序，降低发动网络攻击的门槛。此外，ChatGPT生成的文本还可能会导致情绪引导、版权侵害等问题。
针对上述安全威胁，可以采取多种防御手段。首先，可以通过限制ChatGPT的访问范围和使用权限，来防止恶意攻击者利用模型进行攻击，完善人工智能模型，提高系统“免疫力”；其次，可以使数据集多样化，对数据进行清洗和脱敏，保护用户隐私和数据质量，避免隐私泄露和数据偏见；最后，可以制定配套规则，完善相关法律法规，进行数据库监管，明确数据来源，加强用户教育，规范应用场景，从人的角度来规范ChatGPT。总之，ChatGPT的安全威胁与防御手段，需要人们在保障其高效、智能应用的同时，充分考虑安全风险和保护用户隐私，以确保ChatGPT能够稳定、可靠和安全地运行。
总的来说，机器与人类的历史发展进程始终是紧密相连的，二者的关系也在不断地发展和演变：从替代者到合作者，从简单的机械设备到智能的人工智能技术。这些进展让人们看到了机器与人类共同进步的美好前景，也让人们看到了许多新的安全威胁。机器与人之间的关系不再是简单的互相替代或对抗的关系，而是一种相互协作、互补发展的关系。因此，不能只局限在机器的层面探讨ChatGPT带来的安全威胁，而是需要从机器与人这一新的角度来审视安全问题。唯有如此，才能为ChatGPT制定合理的防御机制，采取适当的安全防御手段。
四. ChatGPT研发需要关注人工智能的安全模型测试
刘艾杉，北京航空航天大学计算机学院助理教授，硕士生导师。
以深度学习为代表的人工智能技术，在计算机视觉、语音识别、自然语言处理等方向上已经取得了巨大进展，发挥了极其关键的作用。然而，由于现实应用场景的开放性，以大数据训练和经验性规则为基础的深度学习面临着环境的动态变化、输入的不确定性，甚至恶意攻击等问题，暴露出安全性不足的隐患。有研究者于2014年提出了对抗样本（adversarial examples）的概念，利用精心设计的、人类难以感知的微小噪声可实现对机器学习模型预测结果的误导，如图1所示。
根据图1，可将对抗样本定义为
式中：fθ为神经网络；x为原始数据样本；xadv为含有对抗噪声的对抗样本；y为x的类别标签；‖⋅‖为x与xadv之间的差别距离足够小，但是fθ对xadv进行了错误分类；∈为一个极小的衡量噪声大小的数值。
2019年，Nature杂志更是发文指出了对抗样本存在的广泛性和深度学习的脆弱性。
作为一种典型的人工智能系统，ChatGPT也面临着对抗攻击这种异常数据分布的挑战，其应用安全性和可信性均存在较为明显的问题。有研究表明，通过在与ChatGPT系统的交互和对话中优化生成的具有攻击性的文本噪声（如优化生成的特殊符号或精心设计的文字错误），可以直接误导“黑盒”的ChatGPT系统给出特定的错误回复，直接给其安全性带来挑战。从本质上来看，基于深度学习的ChatGPT系统仍面临对抗攻击所带来的挑战，其安全性不足的隐患仍然存在。
公共安全领域存在着大量智能应用场景，这些安全攸关的场景对于人工智能的安全性、可靠性、可控性具有极高的需求。近年来，国内外相关机构都提高了对人工智能安全性的重视程度：国际互联网协会（ISOC）、新美国安全中心（CNAS）、美国国防高级研究计划局（DARPA）等机构发布了多项报告，强调人工智能的安全性和可信赖性；中国也相继发布了多项政策文件，要求确保人工智能安全、可靠、可控发展。在此背景下，为了保障深度学习的高安全性和可信赖性，开展针对人工智能算法安全性评测的研究已经刻不容缓。
通过开展智能算法安全性评测技术的研究，可以在一定程度上提升智能算法决策行为的可解释性和可追溯性，并进一步对安全性进行加固和提升。显然，开展相关研究对于探索智能算法的安全性机理以及提高其安全度和效用具有重要的意义和价值，也将助力基于深度学习的人工智能技术在高安全风险场景下安全可靠的应用与发展。
五. ChatGPT迭代呼唤新的机器学习模型范式
周号益，北京航空航天大学软件学院助理教授，硕士生导师。
机器学习模型范式一直是该领域的研究核心。最早的机器学习模型可以追溯至1960年的感知机模型，感知机算法收敛性（Novikoff）定理是关于感知机模型的第一条理论，开启了学习理论的历史篇章。通常，机器学习模型范式的研究伴随着模型泛化性能的讨论，统计机器学习理论（Statistic Learning Theory）的提出是近半个世纪以来有关机器学习理论分析最具影响力的工作，奠定了机器学习模型训练有效性和预测结果可理解性的理论基础。
ChatGPT是一种大型语言模型（Large Language Models），其本质是基于深度学习模型的自然语言处理技术，前身GPT-3使用了以自注意力机制为核心的Transformer模型范式。自注意力机制是基于模型输入的带权变换构建的，按照维度比例正则化的方式执行点相似度乘积运算，进而抽取成对的关联不变性以供后续前馈网络学习。与另一著名的引入局部不变性的CNN卷积模型范式相比，该模型能够以更大的模型容量、更强的远距离关联能力，进一步提升机器学习模型的建模能力。
统计机器学习理论几乎是伴随着机器学习模型的发展而不断发展，并一直指导着相关领域的研究者们探索新一代的学习模型。具体来说，典型的监督场景下的机器学习范式能够被表述为在可行域D下的一个最优化网络权重问题，公式为
式中：w为待学习权重；fw为网络模型；x和y为大规模的监督语料；l为损失函数；E为数学期望。
ChatGPT的训练成功首先源于Transformer架构对fw的能力提升。同时，ChatGPT的训练还主要使用了预训练、微调、对齐、专门化4个步骤来完成构建：预训练是通过x,y对重参数化的fw进行广泛训练，使其具备基本的上下文学习、语言生成等能力；微调能够从不同域D的分布出发，促使模型遵循人类指令来泛化至新任务上；对齐和专门化，则是通过对l 的“人在回路”学习过程使模型输出更加符合人类习惯的结果。现有统计机器学习理论在合理假设下能够部分解释上述现象，但是对于思维链推理（chain of thought）等体现大规模语言模型能力涌现的技术还是缺乏理论上的直接回答。
从人工智能产业的角度来看，以谷歌为代表的互联网科技公司首先在奠基性模型范式上取得了巨大的突破，随后，微软和OpenAI两家互联网科技公司在GPT系列模型的工程实践上也取得了惊人的成功，体现出了显著的后发优势。在一定程度上，该现象也是近半个世纪以来人工智能学科发展的缩影：机器学习的第一性原理的缺位，表现为现阶段的人工智能发展中“实践大于理论”“业界超越学界”的特点。
ChatGPT逐渐成为漂浮在人工智能学科上的“一朵乌云”，以其出色的工程实践和潜在的使用风险，呼唤着下一代具有更强泛化性、鲁棒性、解释性能力的深度学习模型范式的到来。
转自：“法学学术前沿”微信公众号
如有侵权，请联系本站删除！
