编者按
元宇宙是依托互联网存在的平行于现实的数字世界。2021 年被称为“元宇宙元年”,增强/虚拟现实、人工智能、云计算、区块链、5G 等众多技术高速发展,也为新冠疫情下的在线教学模式提供了从数字化到智能化的全新转型思路。随着元宇宙逐渐从概念演变为现实,如何推进元宇宙相关技术的教育教学以及利用元宇宙的特点促进教育方式变革成为人们关心的问题。本期特开辟“元宇宙教学”专题,邀请多位该领域专家深入探讨元宇宙相关技术与计算机领域教育教学融合的可行性。
1 研究背景
1.1 虚拟孪生概念
虚拟孪生是实现元宇宙的重要技术系统,其概念衍生于数字孪生,数字孪生出现于 20 世纪90 年代,目前在制造业已经被广泛接受。数字孪生作为一种实现物理产品向信息空间映射的关键技术,通过充分利用布置在产品各部分的传感器,对产品进行数据分析与建模,将产品在不同真实场景中的全生命周期过程反映出来,近乎实时地呈现产品的实际情况。数字孪生的目标仅仅是物理实体,其定义并不涵盖对智能实体行为、人类组织形态、人工系统演化等领域的描述,也缺乏虚实动态实时互动。随着元宇宙概念被广泛关注以及人工智能、大数据、虚拟现实等相关技术的飞速发展,一个脱胎于数字孪生、更加细分的概念——虚拟孪生被提出。虚拟孪生是以真实世界中物理实体、智能实体和组织实体为对象,集成运用物理机理建模、智能行为建模、认知情感建模等建模仿真技术以及传感器、物联网、移动互联网等数字技术,对真实世界中各类实体的特征、行为、形成过程和性能等进行描述和建模,构建具有空间精确映射、虚实全息互联、自我演化学习、持续调整优化等特点的高逼真性仿真系统。虚拟孪生将“孪生”的对象从物理产品扩展到了智能制造、智慧城市等更宏大、更丰富的场景,成为构建元宇宙真实感和效率的重要手段 [1]。虽然目前元宇宙和虚拟孪生都处于发展初期阶段,但是相关产业的广阔前景已经毋庸置疑。在此背景下,高校在响应社会重大需求、培养面向未来的高水平创新型人才方面,肩负重要历史使命和社会责任。
1.2 面向虚拟孪生的教学挑战性
虚拟孪生是多种技术交叉、融合、延伸的创新领域,高校在教育中通过跨学科、跨领域方式培养复合型人才已经成为共识,形成了教育改革的发展趋势 [2]。虚拟孪生关键技术涉及建模与仿真、 VR/AR/MR、物联网、人工智能等,技术的复杂性只是一方面,另一方面是虚拟孪生作为一个复杂的虚实融合空间,人机交互也是关键的环节,涵盖了人、机、物、环境多种要素,交互技术和设计决定了人在虚拟孪生世界中的体验感受和能力边界。面对这一具有前瞻性、创新型和复杂性的学科领域,如何在教学内容、资源建设、教学实施等各个教学环节中将多学科交叉融合的教学理念落在实处,实现培养顺应时代和社会发展要求的高水平人才目标,是一个极具挑战的问题。为此,以专业人才培养目标为方向指引,建设面向虚拟孪生的跨学科课程体系,并将科教融合作为行动框架,在教学中进行探索和实践,希望以此为虚拟孪生相关方向人才培养、教育教学提供一种新的思路。
2 面向虚拟孪生的跨学科教学设计
虚拟孪生的目标是解决数字系统与物理系统间无缝连接,智能生命体的行为与情感表达,社会群体智能的建模与仿真,人机之间、虚实之间自然交互等问题,在现实世界和虚拟世界之间建立交互共融的桥梁,其核心是构建人、虚拟世界和现实世界三者之间的自然交互与融合,涉及信息技术、设计理论、社会科学与认知科学的多学科交叉。
我校数字媒体与虚拟现实方向属于设计学和计算机技术的交叉学科,因此制订人才培养目标为:面向数字媒体与虚拟现实领域,培养具有新的科技、人文、艺术观念和素质的高端创新设计与专业设计人才,教学内容体系建设的重点是多学科知识要素的交叉融合。在面向虚拟孪生的教学体系设计中,针对人、虚拟世界和现实世界 3个研究对象,提炼构成教学内容的知识要素,如图 1 所示,主要包含两个维度:构建虚拟世界及虚实融合计算的技术范畴和可直接感知、交互、反馈及认知的设计范畴。
(1)针对虚拟孪生中的人,主要从实体人和虚拟人两个角度展开教学内容设计。①在技术范畴,对于实体人,其核心是对人体行为的感知计算;对于虚拟人,其核心是对人体行为的建模与仿真。包括如何获取人的外观、姿态等宏观表现,人的表情、手势等微观表现以及虚拟人智能体仿真等。②在设计范畴,对于实体人,其核心是对人行为方式与情感表现的理解;对于虚拟人,其核心是对虚拟人呈现的衍生设计。包括交互行为设计与评估、情感化设计与评估、虚拟形象设计、虚拟人动画设计、虚拟人社交设计等。
(2)针对虚拟孪生中的虚拟世界,主要从虚拟内容生成和呈现两个角度展开教学内容设计。①在技术范畴,对于虚拟内容生成,其核心包括物理实体的建模及虚拟物体的建模计算,包括基于视觉的三维物体及场景建模、基于程序的虚拟物体及场景建模、基于人工智能的虚拟内容生成、流体的仿真与建模等;对于虚拟内容的呈现,其核心是虚拟场景的渲染计算,包括实时全局光照渲染技术、风格化渲染技术、有限计算资源条件下的渲染优化等。②在设计范畴,虚拟内容生成和呈现合为一体,其核心是虚拟世界观的构造,包括空间设计、造型设计、材质与色彩肌理设计、光照设计、渲染风格设计等。
(3)针对虚拟孪生中的现实世界,主要从现实世界的智能感知与虚实融合两个角度展开教学内容设计。①在技术范畴,对于现实世界的智能感知,其核心是现实世界场景特征的实时计算与语义理解,包括基于视觉的现实世界场景地图实时构建、场景元素的识别、场景地图的语义分割等;对于现实世界与虚拟世界的虚实融合,其核心是虚实融合一致性计算,涵盖几何一致性、外观一致性和行为一致性,包括基于视觉的相机位姿的实时计算、场景遮挡计算、场景光照计算、虚拟内容的自适应分布计算等。②在设计范畴,现实世界的智能感知与虚实融合密切结合,其核心是人与虚实世界的融合与交互,包括情境感知的智能交互设计、场景感知的虚拟内容智能呈现策略设计、虚实对象融合的交互模式与界面设计、虚实融合场景的导航设计、虚实融合系统界面设计等。
人、虚拟世界、现实世界 3 个对象构成了虚拟孪生虚实交互的框架,从中提炼构建面向虚拟孪生的跨学科本研一体化教学内容体系,按照知识要素的逻辑关系、不同学习阶段学生的认知水平,将其科学合理地配置至课程中,包括三维建模基础、三维动画基础、虚拟现实技术基础、VR交互设计、VR内容生成、 VR 影像创作、人机交互与用户体验设计研究、 VR/AR 创新设计等多门课程,形成贯穿学生大一到大四乃至研究生学习阶段的完整课程体系,见表 1。
3 科教融合的教学实践模式
跨学科的教学内容设计,为面向虚拟孪生的教学实践构建了兼具基本理论体系的完整性、前瞻性和开放性的多元化知识体系。为了真正实现创新型人才的培养目标,跨学科内容的教学不是简单将跨学科知识要素进行叠加,在教学实施过程中要以问题为视角,使各学科知识形成有机整体,彼此不可或缺、相互联系。教学不能停留在单向向学生输出知识内容,而要将科教融合作为行动框架具体指导教学实践,让跨学科知识为学生真正掌握并能转化运用于实践、融会贯通,实现浅层学习向深层学习的转化。
依托我校虚拟现实技术与系统国家重点实验室和数字媒体北京市重点实验室,将所承担的国家级科研项目引入教学,通过多种教学实践模式使教学与科研形成良性互动,提升育人效果。将科教融合的教学实践模式分为课内的研究型教学和课外环节的本科生科研两大类,具体的实施路径如图 2 所示。
3.1 研究型教学实践
研究型教学强调的是打破传统被动接受式教学,以学生为中心,充分调动和激活其创新意识和探究能力,通过科研与教学的有机结合,形成以探索知识和发现、分析、解决问题为导向的教学模式。在面向虚拟孪生的教学实践中具体采取微课题驱动教学的模式以及组建跨学科课程作为实施路径。
3.1.1 微课题驱动教学
在面向大三、大四高年级的教学中,以教师承担的重要科研项目为背景,根据课程内容设置若干微课题,学生自主选题,在微课题的研究过程中完成课程学习。在具体实施中,以微课题任务为驱动、以问题为导向开展课堂教学,以设计方案和作品原型为最终产出。课堂采用模块化教学方式,即将课程内容划分成几个模块,在每一个教学模块中教师将相应的理论知识打碎、重新整合并融入实践,学生学习后立刻应用于微课题的研究和实践中。在教师的指导下,学生以组队、分工合作的形式提出问题,利用各种研究方法分析问题并找到解决方案,在序列化的教学模块中完成整个学习过程和大作业。教学过程充分体现了以学生为中心,学生通过每一个具体的目标实现有意义的产出,主动学习、思考,从而更深层次地理解和掌握知识内容,最大限度激发主动性和创新能力。同时,微课题都来源于科研项目,科研成果能够反映虚拟孪生领域前沿成果和进展,真实的项目情境可以激发学生的科研创新意识。
以大三的 VR 内容生成课程为例,课程面向虚拟孪生中虚拟世界的内容生成与呈现及其与现实世界的融合,主要教学内容包含技术层面的虚实融合一致性计算,设计层面的虚拟内容生成、虚实对象融合的交互模式和界面设计。针对课程内容和教学目标,引入“基于华为河图平台的虚拟孪生创新设计”项目,连续两年分别在北京 798 艺术区、北航校园,以不同场景下的真实需求为导向开展教学实践。具体来说,把物理世界的场景按照功能分割成若干子区域,比如北航校园划分成教学区、科研区、生活区等,以此形成若干微课题,以不同区域中人的真实需求为导向,开展模块化教学,并指导学生开展基于现实世界场景的虚实融合设计。为了降低大作业实现的技术挑战性,将行业内领先的虚实融合内容创作与发布平台——华为河图引入教学,将项目资源转化为教学资源,学生在平台上开展研究和创作,可以更专注于课程本体知识和学习目标。学生在完成学习任务的过程中,始终以问题视角进行知识的建构,并学会站在设计和技术的顶层,以产品的高度把握整个研究过程,按照科学规律开展设计实践,将设计和技术更有效地融合。通过设计作品也能够外化学习的成果,激发学习动力。总之,微课题驱动的教学有助于将跨学科的教学理念真正落实在教学实践中,对教师而言,科研成果反哺教学,实现以研促教,形成良性互动。
3.1.2 跨学科课程实践
面向虚拟孪生这样一个技术与设计交织的复杂数字体系,跨学科内容的设计是在计算机技术与设计学交叉领域范畴内,领域外的知识壁垒很难打破,比如人工智能、大数据、计算机图形学、微电子等专业的知识。在以科研项目为背景的实践过程中,这一方面给学生微课题设计实现带来了局限,往往最终只能以概念方案的形式来展示成果,无法真正技术实现,不利于对设计的验证;另一方面,缺乏多学科人员分工合作的真实科研情境还原,学科间的隔阂与封闭限制了对学生创新能力的培养 [3]。
为了解决此问题,探索打通培养机制,在本专业研究生课程“VR/AR 创新设计研究”中,将选课权限同步向本校计算机学院、人文学院的学生开放,并将来自 3 个学科方向的学生按照1:1:1 的比例组成跨学科研究小组共同完成课程学习和实践。以 2022 年的课程为例,以数字会展的 VR/AR 体验设计为命题,以数字会展中用户的真实需求为切入点开展研究型教学,小组中来自不同专业的学生进行分工协作,从自身专业视角积极主动设计完善解决方案。人文学院的学生来自社会学、心理学、教育学等专业方向,在小组中侧重通过社会科学的研究方法,以人为中心发现问题和需求,引导项目研究形成正确的科技观,展现元宇宙科技下的人文关怀;数字媒体专业方向的学生侧重用设计学的方法和视角将发现的问题转化为创意方案,将整个设计流程规范化,成为设计和技术之间的桥梁;计算机学院的学生来自虚拟现实技术、人工智能方向,更侧重用技术的视角验证设计是否成立,并将方案进行技术实现。总的来看,不同专业的学生通过协作和共创,互相启发,完成群体性的知识建构过程以及从设计方案到技术实现的转化,提高了综合分析解决问题能力,学生普遍认为这是一次非常珍贵的学科交叉学习和实践的机会。未来,将通过对培养机制的研究和改革,将跨学科课程模式进一步实施运用于本科课程中。
3.2 本科生科研实践
作为高影响力的教育实践活动,本科生科研是培养学生批判性思维、创新精神、综合素质的重要手段 [4-5]。通过课程教学,学生已经触及了虚拟孪生领域的许多前沿知识,许多学生已经完成形成科研能力的知识和能力储备;另外本科阶段的学生思维活跃、求知欲强,对于参与科研项目充满了兴趣和渴望。基于此,除了课堂教学外,充分利用实践课程、毕业设计、课外学术活动等多个环节,让本科生参与到科研项目中,接触学科前沿,进一步培养科研与创新能力 [6]。
工作室定制课是本专业的特色实践课程,开设在大三下和大四上学期,此阶段学生已经完成了大部分专业课,具备了比较系统的专业知识和一定的实践能力。其授课模式是由指导教师命题,学生结合兴趣选择进入不同的工作室或实验室,导师根据不同学生情况,开展定制化的指导和跨学科、跨媒介综合知识能力的培养,以完成综合性创新设计为最终目标。工作室定制课通常是面向毕业设计的前期探索和实验过程,因此将工作室定制课和毕业设计合并为一个整体,是一个不断深化培养学生创新能力的新模式。
以我校虚拟现实技术与系统国家重点实验室和数字媒体北京市重点实验室为平台,以实验室承担的国家重点研发计划、自然科学基金等重要项目为内容,结合学生的兴趣,让其进入相应课题组,在项目研究中完成工作室定制课直至毕业设计。近几年本科生持续不断参与到实验室项目中,在导师指导下与博士生、硕士生一起开展研究,这在无形中将科研项目资源转化为教育教学内容,学生在真实的科学问题之中,利用所学的跨学科知识和思维方式求解,锻炼自己科研创新能力。在实验室浓郁的学术氛围以及国家级重大科研项目的激励下,学生的研究能力和创新能力不断提升,持续一个方向的研究积累,使得学生的毕业设计质量和论文学术价值有明显提升。
4 教学实践
成果经过 3 年的教学实践和改革,面向虚拟孪生的跨学科课程体系建设初见成效。通过教学内容顶层设计、教学资源的整合优化,将虚拟孪生技术范畴复杂庞大的知识体系进行知识要素抽取、凝练、转化,形成了适合设计学专业学生认知的跨学科课程内容体系。通过多种形式的科教融合教学实践,学生可以打破学科知识的壁垒,更好地将跨学科知识转化为创新能力。从教学成果来看,学生的综合设计水平有明显的提升,课程大作业在中国大学生计算机设计大赛、全国高校数字艺术设计大赛等重要学科竞赛获奖多项,多部 VR 作品入选 SIGGRAPH Asia VR Theater。除创作外,学生的研究水平也显著提高,近年来在虚拟现实 / 混合现实领域顶级会议 IEEE VR、ISMAR 都有论文发表,发表论文的数量和质量都有所突破。
另外,本科生通过工作室定制课、毕业设计等实践培养环节参与到实验室重要科研项目中,部分学生在项目中发挥了重要作用,比如在国家重点研发计划“基于混合现实的冬奥会态势可视化与会商技术”中,本科生参与了混合现实电子沙盘多源态势信息的可视化设计、交互场景、人机交互设计等;在“‘云顶计划’文化遗产保护、传播关键技术与平台研究”项目中,本科生针对云南省丰富的非物质文化遗产,设计创作了面向 VR/MR 头盔、移动端跨终端的丰富数字内容,并将研究和创作延展到自己的毕业设计中,提升了毕业创作和论文的质量,连续两年本方向均有本科毕业论文获评北京市优秀毕业论文。
在课堂以外,部分学生独立承担了学校的重要设计项目,将虚拟孪生的理念转化为创意源泉,将虚拟孪生设计与技术知识转化为创新设计能力,比如在 2021 年的学校迎新活动中,本科生团队进一步将 VR 内容生成课程知识运用于实践,通过与学校信息办、华为合作,承担完成了校园 AR 迎新设计项目的创意、设计和制作过程,成为学校迎新活动的一大亮点。
5 结 语
时代与技术的变革对高校人才的培养提出了更高的要求,推动教育工作者为培养服务国家战略、企业创新需要,具备新视野、新思维、跨学科的复合型人才积极作出响应,在教学中融入对时代的思考,不断进行创新改革和探索。基于此理念,在本专业跨学科复合型人才培养目标指引下,建设了面向虚拟孪生的课程体系,通过跨学科知识内容体系的建构,科教融合的实践模式在教学中取得了初步的成果。未来,将在教学中不断思考和总结经验,持续进行教学改革和创新,进一步提升和完善课程体系的建设效果,为培养跨学科复合型人才不断努力。
参考文献:
[1] 中国科学技术协会. 面向未来的科技[M]. 北京: 中国科学技术出版社, 2020: 150-163.
[2] 谢笑珍, 彭枚芳. 高校本科跨学科学位型人才培养路径探析[J]. 中国高校科技, 2021(7): 63-67.
[3] 章成志, 吴小兰. 跨学科研究综述[J]. 情报学报, 2017, 36(5): 523-535.
[4] 马莉萍, 冯沁雪. 本科生批判性思维能力及高影响力教育实践的影响: 基于某所“双一流”建设高校的实证研究[J]. 中国高教研究, 2022(5): 72-79.
[5] 钟春梅, 周君佐, 咸春龙. 项目驱动下本科生科研活动参与影响因素研究: 基于叙事研究的视角[J]. 中国高校科技, 2022(3): 50-56.
[6] 王宏志, 史宁, 邬向前, 等. 计算机学科科教融合拔尖人才培养[J]. 计算机教育, 2022(2): 9-12.
基金项目:国家重点研发计划项目“基于混合现实的冬奥会态势可视化与会商技术”(2019YFF0301305)。
作者简介:王珊,女,北京航空航天大学实验师,研究方向为虚拟现实、数字媒体,wangshan@buaa.edu.cn;沈旭昆(通信作者),男,北京航空航天大学教授,研究方向为虚拟现实、数字媒体,xkshen@buaa.edu.cn。
引文格式:王珊,沈旭昆. 面向虚拟孪生的跨学科教学设计与科教融合实践[J].计算机教育,2022(11):1-6.
转自:“计算机教育”微信公众号
如有侵权,请联系本站删除!