以下文章来源于前瞻科技杂志 ，作者於志文,李青洋,等
全文刊载于《前瞻科技》2023年第1期"形式化方法与复杂计算系统可信保障专刊”
於志文
-教授
-教育部“长江学者”特聘教授
-国家杰出青年科学基金获得者
文章摘要
物联网、边缘计算、移动互联网和人工智能等技术的发展，极大丰富了“以人为中心”的感知与计算场景。人为中心感知计算将人作为感知的目标主体或参与者，在感知计算过程中有意识或无意识地贡献人类智慧，提高了模型适应能力和避免人工智能危害人类。文章对人为中心感知计算的概念进行了探讨，从不同角度总结了相关研究工作与典型应用，提出了若干重要挑战与主要研究问题。最后，对人为中心感知计算在人机协作方式、伦理等研究方向进行了展望。
文章速览
物联网、边缘计算、移动互联网和人工智能等技术的发展推动了感知和计算设备在人类日常生活中的广泛部署，增强了复杂场景的感知和理解能力，极大丰富了“以人为中心”的感知与计算场景。人为中心感知计算结合种类丰富的智能传感设备与人工智能算法，在人类生活空间设计和部署多样化的智能感知系统，全面地感知人类及其所处环境的多种状态（包括人的运动、行为和生命体征等），以及人类所处环境的属性和变化情况等，从而分析和挖掘人类个体与群体的行为动力以及交互特征，辅助并支持人类在数字化与智能化环境中的生活便利性。
尽管人工智能对大数据挖掘的分析和处理能力已经超过了人类，但是随着人工智能系统越来越复杂，对人工智能系统的安全性、可靠性评估也越来越困难。不可靠的感知系统可能引发感知错误，从而带来负面影响，例如身份识别错误导致用户信息和财产损失。因此，在追求感知系统技术革新的同时，也需要注重技术与人类的合作关系，让人类也参与到感知计算的过程中，利用人类智慧评估和调整模型，进而能够有效地调整和控制系统，避免危害人类的情况发生，这在“以人为中心”的感知计算中尤为重要。
相比于人工智能，人机智慧表现出远超机器的优越性，例如对情感的捕捉和理解，对机器人的敏捷操控等，可以用于辅助人工智能算法理解复杂的感知和计算场景。因此，人机智能计算不断探索人、机智慧的深度融合和交互方式，通过结合人类和机器的智慧解决复杂问题，调整和改善感知模型的感知能力，提升感知模型的决策推理能力，如减少交通堵塞、减缓碳排放、机器人远程操作等。
1
人为中心感知计算概念
人为中心感知计算主要包含2层含义，第1层含义是以人为服务目标，通过传感网感知、群智感知等多种感知方式收集行为和环境的数据，基于这些感知数据可以利用人工智能等算法为人们提供个性化服务；第2层含义是让人类作为感知参与者，主动采集数据、标记数据，同时参与感知模型纠错，利用人类智慧对感知模型进行调整和更新。因此，在人为中心的感知计算中，人类既可以作为被感知和消费的主体，也可以是感知计算过程的参与者。不论人类在感知计算中承担何种角色，在设计感知模型时都需要遵循人为中心、为人服务的宗旨。为了描述人为中心感知计算的感知方式、计算模式、应用场景，提出了人为中心感知计算框架。该框架如图1所示，包含感知层、计算层和应用层。
图1 人为中心感知计算框架
（1）感知层。感知方式包括传感网感知、群智感知、人机协作感知，负责从城市路网、社交媒体等场景中收集数据。该层需要根据任务需求来分配感知终端之间、感知终端与人之间的协作方式，进而指导终端设备收集到完备的数据。
（2）计算层。结合人类智慧和人工智能处理感知层收集到的数据，根据人类历史反馈的可信度以及人工智能运算结果的可信度，对上传的数据进行汇聚和优选，实现人类智慧和人工智能互补，并进一步在计算过程中，以迭代的方式利用人类智慧指导模型优化与调整。
（3）应用层。利用人智感知计算实现多种场景下的“以人为中心”的创新服务，如在生活场景下设计智能化人机对话服务，在社交场景下提供个性化用户推荐服务，在智慧城市场景下实现自动化城市规划服务等。
2
人为中心感知计算的研究进展
为了更好地综述人为中心感知计算的研究现状，根据人在感知计算过程中的参与程度，人为中心感知计算可分为传感网感知、群智感知和人机协作感知。传感网感知在人为中心感知环境中，主要以人作为服务对象和感知目标主体，感知系统的性能完全取决于机器智能。群智感知利用大量普通用户使用的移动设备作为基本感知单元，最终完成大规模、复杂的城市与社会感知任务。人机协作感知借助人类提供的信息和知识，作为感知模型调整与提升的依据，从而确保人机感知系统的适应性。
2.1 传感网感知
传感网络由部署在监测区域内大量的传感器节点组成，通过无线通信的方式对特定的感知数据进行汇聚，实现对城市多个区域的监测。根据感知主体不同，将传感网感知研究进展分为行为感知和环境感知。
基于多模态数据融合的行为感知是指通过各种传感器设备的信息进行融合与计算，分析人类不同的行为，进而完成对人类行为的监测与指导。目前对于行为感知的研究，主要通过两种传感器实现，一种是移动传感器，包括智能手机、智能手表等；另一种是固定传感器，包括Wi-Fi、麦克风等。在实际应用中，行为感知具有重要的研究意义。例如，一些研究工作对危险驾驶行为进行识别，可以提前对司机或者交通管理部门进行提示；对人身份识别的研究，可以应用于安全监控等多个方面。
基于多情境数据融合的环境感知是指通过部署在不同场景中的多种传感器数据，分析环境的变化，从而为用户提供相应服务。例如，对车流量的感知可以帮助交通部门提前做出应对，同时帮助用户规划行驶路线。对空气污染的感知可以辅助政府进行空气质量监测，执行对应的治理措施。美国加州大学洛杉机分校的嵌入式网络感知中心（Center for Embedded Network Sensing, CENS）团队进行了一系列相关研究，采用摄像头集群监测森林土壤温度，同时研究了感知过程中的数据隐私保护问题以及集群数据在传感网络中的传输。总体而言，环境感知具有感知情境复杂、影响因素众多、感知手段多样的特点，需要整体环境的融合，构建综合性更强的环境感知平台。
传感网感知通常采用专用设备对特定属性进行监测，但大范围部署传感和计算设备存在网络通信负载大、用户服务质量低等问题。为了解决上述问题，产生了大规模无线传感器网络服务的相关研究。在传统基于泛洪的网络通信机制的基础上，Ye等提出了一种通用的智能服务感知网络控制器（Service-Aware Wireless Mixed-area Networks, SA-WMN）网络架构，具有网络适配模块、认知模块和资源配置模块，可实现经济高效的网络资源管理；Wang等提出了共存路由和泛洪机制，用于在Wi-Fi网络中同时进行路由，并使用单个Wi-Fi数据流在ZigBee节点之间进行泛洪。
2.2 群智感知
清华大学刘云浩对众包、参与式感知等相关概念融合后，提出“群智感知计算”概念。群智感知计算是利用大量普通用户使用的移动设备作为基本感知单元，通过物联网/移动互联网进行协作，实现感知任务分发与感知数据收集利用，最终完成大规模、复杂的城市与社会感知任务。在数据采集处理时主要研究群智数据优选、关联、迁移等问题，对群智数据进行集聚和计算。考虑用户参与度对于群智感知效果的影响，需要研究有效的激励机制。
（1）群智数据优选。针对杂乱群智数据，一些研究工作采用语义相似度度量的方法来减少冗余、提高数据质量。运输行程质量管理系统（Transport trip Quality Measurement System, TQMS）构建城市交通运输质量监测平台，集聚并管理市民移动终端产生的数据，经过数据分析与语义提取获得城市交通运输质量状况。Bao等集聚大量的视频数据，利用视频图像的语义信息对视频中的亮点画面进行检测。针对多样化的群智数据，可以通过筛选不同角度的感知数据，实现对同一事件或情境的全面感知。Marcus等集聚某个事件的大量博文，建立博文中文本和
之间的关系以及博文之间的转发关系，及时发现重要的事件；Chen等利用群体贡献的关于某事件的多样化
信息，从时间和主题维度对
聚类得到各个子事件。
（2）群智数据关联。相比于传感网感知数据，群智感知通过广泛采集的多视角数据可以获得场景的全面描述，构建群智数据之间的关联，有助于完成智能决策等目标。群智数据关联学习的研究主要分为两种：显示学习和隐式学习。显式学习方式需要依靠前期先验知识，对不同模态数据、特征、结果的分布做出一定的假设，使用条件相关来计算变量之间的协方差或联合概率分布。为了更加灵活地建模多模态数据之间的关联，一些研究工作提出了隐式学习，通过建立深度神经网络学习不同模态数据间隐藏的交互和关联关系，通过多层神经网络学习数据之间的潜在关联关系或层次化耦合关系。
（3）群智数据迁移。为了提高感知模型在不同环境、不同任务上的鲁棒性，有必要将群智知识在数据与模型等层面进行迁移。针对新环境中的模型迁移，一般通过迁移源环境中的知识来提升当前环境中模型的性能。Wang等提出了检测城市共享车辆的迁移学习框架，将从出租车和公交车数据中学习到的知识迁移到共享车辆检测问题中。针对新任务中的数据稀疏问题，常采用基于元学习的迁移方法，使得模型仅通过少量数据即可在新任务上获得较好的性能。Yao等提出了解决城市时空预测问题的元学习方法，将多个城市的信息迁移到目标城市中。
（4）群智感知激励机制。为了保证群智感知应用的正常运行，设计合理的激励机制或算法提高用户的参与度十分必要。根据回报方式的不同，可以将激励机制分为物质激励和非物质激励。物质激励通过报酬支付以激励参与者的参与。大部分激励机制基于博弈论，包括反向拍卖、多属性拍卖、双方叫价拍卖、VCG（Vickrey-Clarke-Groves）拍卖、组合拍卖等激励方法。非物质激励机制通常由参与者对任务存在的内在兴趣或享受所驱动，包含自我实现激励、娱乐游戏激励和社会交互激励等。
2.3 人机协作感知
人为中心感知计算本身涉及对人类个体及其所处环境的感知，存在人类的主动或被动参与，同时人类是确保人机系统适应性的最佳选择。因此，面对感知目标存在动态性这一问题，可以利用人与机器之间的交互与协作产生的数据与信息，构建人机协作感知模型，从而提升感知系统的演化能力。根据人在不同感知阶段的贡献程度，将人机协作感知模型分为：面向采样过程的人机协作感知，面向训练过程的人机协作感知，面向结果评估的人机协作感知。
（1）面向采样过程的人机协作感知。在数据采样过程或者样本数据集合构造过程中，通过加入人类的主动或被动参与，借助人的知识和能力获得更加完备或更具有代表性的样本数据集合。根据人类参与采样的主动性强度的不同，将面向采样过程的人机协作形式分为参与式人工标注和机会式群体贡献。参与式人工标注主要通过设定激励的方式促进个人主动参与贡献特定类别的感知数据，或者对已有样本数据进行标注。Chen等提出了InstantSense架构，鼓励用户利用日常的移动智能设备多角度拍摄某一正在发生的事件的照片或视频。Abad等设计了一种人机协同学习平台，要求人工标注质量较低的样本数据，以便机器学习模型能够获得更准确的样本数据。机会式群体贡献主要关注普通群体在日常生活和使用终端设备时无意识产生和提供的数据与信息，分享者无意识地成为完成感知任务的参与者。EasyTracker应用使用安装有地图的智能手机，从用户全球定位系统（Global Positioning System, GPS）轨迹中提取高密度点获取公交站点，并采集各站点公交到站时刻计算公交站点间运行时间，从而预测公交到站时刻。Guo等通过从微博中大量用户对某一事件或话题的讨论发帖内容，抽取出重要时间节点以及分析子事件时间的相关性，从而得到事件的发展脉络和因果关联性。
（2）面向训练过程的人机协作感知。固定的感知模型和算法难以随动态变化的环境进行调整，特别是以人为中心的感知背景下，这种动态变化更为明显且对于感知性能的影响较为显著，因此需要设计动态模型，以提升感知模型的自适应调整能力。面向训练过程的人机协作感知的主要思想是：在感知模型构造、训练、使用时，通过加入人类的主动干预，对模型进行更新与调整，借助人提供的知识和信息提升感知模型的动态调整能力，以适应变化的感知环境与感知目标。根据模型更新调整过程中人机协作的方式，将面向训练过程的人机协作形式分为离线人机协作和在线人机协作。离线人机协作主要指人机协作与感知模型的训练是两个独立的过程，当累积一定人类提供的知识或者经过一段时间之后，通过重新训练或者参数微调的方式更新感知模型。在已有相关研究中，主要关注对数据集的累积、更新与筛选，常见的模型更新方式主要为以主动学习（Active Learning）为代表的一些模型重训练或者参数微调方法。在线人机协作主要指在训练过程中加入人类的干预和指导，在线更新感知模型，减少数据累积和模型重训练造成的时间开销，实现端到端的工作流程。已有相关研究中，常见的人机协作形式包括对模型中间结果提供反馈、向模型直接提供新数据、在线修改模型参数等，常见模型更新方式主要为以在线学习（Online Learning）为代表的一系列模型更新调整算法。
（3）面向结果评估的人机协作感知。相比于计算设备，人类更善于思考和积累经验，在处理需要抽象思维或应变能力的任务时具有较大优势，在智能感知中体现在排查设备故障，根据经验调试或修改算法程序等。面向结果评估的人机协作感知主要强调人和计算设备分别负责执行感知任务的不同部分或不同阶段，在输出时将二者的执行结果相结合。Nushi等提出了Pandora混合人机系统，用于描述和解释系统故障，利用人类和系统各自得到和生成的观察结果来总结有关输入内容和系统体系结构的系统故障情况。Wang等构建了新的人机协作视频行人重新识别模型，通过设计任务分配策略和结果融合策略，由计算机执行行人检测部分，将检测效果较差的视频帧交由人类进行重新识别。Yang等在视频异常检测系统中通过算法筛选部分难以检测的视频帧，交于专家进一步分析并获得最终结果，同时将经过专家标注的视频帧加入训练数据集中，提升模型训练集的规模和质量。
无论何种感知方式和方法，在人为中心感知环境下，防止用户隐私泄露以及防范各类恶意攻击行为是十分必要的，因此在感知数据、通信交互、模型构建等方面的隐私保护均存在相关的研究工作，以保护关键数据、模型、参数等免遭未经授权的访问、泄露、中断、篡改或销毁，确保感知系统的安全和隐私需求。在数据采集过程中，不同应用场景对隐私保护采用的保护方法不尽相同。在位置隐私保护中，可以采用混淆（Obfuscation）技术对用户原始位置进行修改替代；在身份隐私保护中，可采用匿名等技术保护用户身份信息；在感知数据隐私保护中，主要关注感知数据收集和信息服务提供阶段的隐私泄露问题，可以采用数据切片、数据扰乱、数据加密等技术保护用户敏感信息不泄露。在传感网络通信或者人机交互通信过程中，除了在传输数据中添加噪声的方式之外，区块链技术可以解决中心节点的不可信问题，联邦学习（Federated Learning）框架允许多个数据所有者在不共享原始数据情况下共同训练模型，有效降低隐私数据泄露的风险。在模型构建过程中，模型参数与训练数据均存在隐私泄露风险，主要从模型输出和梯度信息两方面采取加密、噪声等手段保护隐私。针对模型输出的隐私保护方法主要包括模型结构调整、训练数据扰动、查询控制防御等。针对梯度信息的隐私保护方法主要包括梯度加密、基于差分隐私的梯度扰动、梯度压缩等。
3
人为中心感知计算面临的挑战和主要研究的问题
3.1 面临的挑战
人为中心感知计算的核心是将人类与人工智能技术相结合，但实现过程中在感知数据、人机协作、模型建立等方面还面临一系列挑战。
（1）感知数据多源异构。人为中心感知通常具有感知情境复杂，感知设备丰富的特点，需要整体环境的融合。因此，用于采集数据的终端设备通常具有较强的异构性，导致采集的感知数据存在多源异构的特点，需要对多源数据进行有机融合，探索异构数据间的隐含关联和映射关系，对感知目标的多侧面情境进行准确感知。
（2）人类认知的差异性。相较于智能设备，人类更善于思考和积累经验，在处理需要抽象思维或应变能力的任务时具有较大优势，人类的判断力、抽象思维和创造力可以有效弥补机器的不足。人类在人为中心感知的过程中参与的计算任务通常需要主观提供知识和信息，由于先验知识以及意识形态的不同，参与计算的人类对同一情境或者任务的理解和认知存在差异性。因此，人类提供的数据与信息的质量和可靠性会存在区别，需要对人类提供的数据进行筛选，或者在人机协作感知过程中对人类认知进行统一建模，平衡认知差异对感知模型的影响。
（3）感知模型性能衰减。由于感知设备在实际应用中所处的情境存在动态演化特点，感知目标的特征或状态会随时间和环境的变化而发生改变，特别是以人为感知主体的感知任务。即使智能设备检测到感知目标存在变化，仅仅依靠设备的智能难以分辨具体变化情况，从而导致感知性能的波动或下降。因此，为了降低时间及环境的动态变化对感知效果的影响，在动态变化的复杂城市环境与工业环境中维持感知系统在模型与算法层面的稳定性与可靠性，感知模型需要具备适应感知目标特征或状态的动态变化的能力。
3.2 主要研究的问题
基于上述挑战，归纳总结出人为中心感知计算的3个主要研究的问题。
（1）多源异构感知数据融合关联问题。采用传感网中传感器设备或者任务驱动的人类收集的数据质量较高，但是感知终端设备存在差异性，收集的数据可能是不同的数据形式，导致感知数据呈现多源异构的特征。例如，一些设备采集了声音信息，另一些设备采集了图像信息。如何将多源异构的感知数据进行有机融合并挖掘其中存在的隐含关联关系是人为中心感知计算的关键研究问题之一。在目前已有的研究中，对于异构数据的联合表示主要采用深度神经网络、概率图模型和序列化表示。对于异构数据的隐含关联关系表示可以通过数据耦合关系学习方法实现，例如采用概率统计模型对关联关系进行显式学习，包括贝叶斯网络和关系依赖性网络等；或者通过建立深度神经网络学习数据间的潜在关联关系或层次化耦合关系，包括但不限于注意力机制、时空图卷积网络等。
（2）差异化数据评估与优选问题。在人为中心感知计算中，由于不同感知终端的时空重叠和感知能力异构等特性，尤其是参与感知任务的人类群体共享的数据质量和可信度参差不齐，使得原始感知数据中常常包含低质冗余数据。数据质量是提升感知性能和服务质量的前提与保证，因此，如何有效评估差异化的感知数据，并从低质和冗余的数据中优选出有价值的数据是一个重要研究课题。在感知数据质量评估方面，研究者们提出在产生数据的终端对数据质量进行评估，例如基于内容的数据质量评估模型及基于约束的数据评估与传输方法。在低质冗余数据优选方面，目前研究主要结合时空特征、内容特征、数据分布等方面进行优选，通常考虑数据多样性与类别平衡性。
（3）情境自适应人机协作感知问题。随着感知设备网络动态变化、生活场景和生产场景不断演化，导致已训练的人工智能模型不能在新环境下取得较好的效果，因此需要设计情境自适应人机协作感知系统，以提升感知模型的自适应调整能力。实现情境自适应人机协作感知的前提是对感知情境与感知目标变化的检测，核心是对感知模型调整方式与方向的决策。在感知过程中，人类提供的信息和知识能够作为感知模型自适应调整的依据，从而使模型能够更加快速准确地确定调整或更新的方向，有效避免模型训练过程中的误差累积问题。“人在回路”利用人类智慧辅助模型动态更新，但是在人与人工智能结合的过程中仍存在一些待研究的问题。对于人工智能而言，将动态演化情境下人类的认知变化直接映射到可建模、可计算的问题上仍具有较大困难。目前的研究提出了人机协作感知模型自适应演化及模型自学习增强演化等方式。在自适应演化方面，可以采用强化学习将感知过程与人机协作过程进行统一建模，增强感知模型的自主决策能力。在自学习增强演化方面，可以结合终身学习（Lifelong Learning）的方式使模型能够模仿人类的持续学习能力，通过构建知识库与知识学习器等模块，将人类拥有的知识“传授”给感知模型。
4
未来展望
人为中心感知计算已经深入人们生活的各个方面，在智慧城市、智慧工业、社会安全等领域都具有广泛应用。目前人为中心的感知计算逐渐从传感器提供感知数据、群体提供感知数据，发展为人机协作感知。这种全新的感知方式在传统人为中心感知服务的基础上，更加注重人类与人工智能算法的协作和互补，可以有效避免人工智能对人类造成危害，同时可以灵活调整人工智能算法达到自主演化的目的，使得感知模型更加智能。人类智慧和人工智能的协作与互补是未来人为中心感知计算的重要发展趋势，具有重要的研究价值和意义。总结概述对人为中心感知计算的典型应用、关键技术研究的进展，在此基础上，分析得出可进一步挖掘和探讨的具有研究价值的问题。
（1）用户可信度评估。人为中心感知计算的主要思想是借助人机协作的方式实现系统模型的自适应调整，或者得到更为可靠准确的结果，因此感知系统的性能提升很大程度上取决于参与贡献数据的用户可信度。在现实世界中，不同参与者在同一感知任务中的可信度具有差异性，并且同一参与者在不同感知任务中的可信度也可能不同。由于人具有复杂的属性，全面地评估人在协作任务中的可信度具有较大难度。目前可以参考众包系统中的信任计算过程，设置声誉管理系统，对设备贡献数据的可信度和质量进行评分，进而依据该信任评分对所收集的数据进行整合，最终获得较为完整可信的数据集合。此外，可以通过真相发现（Truth Discovery）方法从多源感知数据间推理出真实信息。
（2）人机协同信任机制。由于人为中心感知计算加入了“人”这一要素，特别是人机协作感知方式下，需要探究人与设备之间如何建立信任以促进协作。当人对设备的信任度很低时，会导致设备优势难以充分发挥；当人对设备信任度太高时，难以发现设备做出的一些失误决策。因此，在人与设备间建立具有普适性的信任机制，能够对设备进行持续的监控，从而让设备的行为决策始终符合预期目标。根据现有的研究工作，可以从多个维度评估人对机器设备的信任，例如机器的表现、感知过程及人对机器感知效果的预期等。由于人机协同的方式及任务不同，信任机制的设置也需要根据需求进行调整，现有研究仍不完备，需要进一步思考与探索。
（3）人为中心感知计算软件框架。随着人类用户与感知系统在感知计算应用领域的联系愈加紧密，为了进一步提高感知服务的用户体验以及增强人类与人工智能的有效协作，需要进一步探索人类智慧与人工智能的联合建模方法，研究人机协作感知机制；同时需要研究人为中心感知计算的基础软件框架，从系统架构的角度为人为中心感知计算提供统一的开发、测试、部署支持，并提供评估和评价的方法标准。随着智能家居、智慧城市、工业物联网等应用场景的进一步普及与发展，感知任务将逐渐从云端向边缘侧的嵌入端迁移，提供分布式的人为中心感知计算服务并满足人们在分布式场景下的需求成为新的研究方向。通过人为中心感知计算软件框架或平台，实现人、机协作感知到人、机、物异构群智能体的有机连接、协作与增强，从而进一步构建具有自组织、自学习、自适应、持续演化等能力的智能感知计算空间，是下一代智能感知计算的前沿方向之一。
转自：“测绘学术资讯”微信公众号
如有侵权，请联系本站删除！
