摘 要：教育评价方法作为教育评价理论与实践的重要构件，是实现评价理念和评价目标的“必经之路”。以创新评价方法为突破口，在融合评价（IEE）理论体系基础上，聚焦融合评价的实践应用，挖掘融合评价中关键要素的关联机制及交互逻辑，进一步提出“确定IEE类型、构建证据链、设计融合规则、建立评价基础设施、形成评价结果”的融合评价实现路径，为破“五唯”立新标，助推教育评价改革落地提供有益参考。
关键词：融合评价；证据链；融合规则；评价基础设施
教育评价事关教育发展方向，有什么样的评价指挥棒，就有什么样的办学导向。2021年3月6日，习近平总书记在看望参加政协会议的医药卫生界、教育界委员时强调“要围绕建设高质量教育体系，以教育评价改革为牵引，统筹推进育人方式、办学模式、管理体制、保障机制改革”，明确实现高质量发展是新时代教育工作的主线，教育评价作为促进教育高质量发展的重要“助推器”，发挥举足轻重的作用。党的二十大报告中提出要“加快建设高质量教育体系”，“完善学校管理和教育评价体系”，再次强调教育评价的战略地位与历史使命。长期以来，教育评价“五唯”现象饱受诟病，尤其是商业性排行榜过度标榜定量指标，加剧了“唯定量”导向，催生不科学的评价体系，在一定程度上对教育评价价值观和人才成长观产生了负面影响。2020年10月，中共中央、国务院印发《深化新时代教育评价改革总体方案》（以下简称《总体方案》），标志着教育评价改革全面发力，相关部委相继出台一系列政策文件，积极落实《总体方案》有关精神。教育评价方法作为解决教育评价问题的关键技术，对推动教育评价改革起着非常重要的作用，创新教育评价方法是助推破“五唯”立新标、加快实现改革落地的重要抓手。研究探索教育评价方法应用的新路径，着力破解教育评价面临的问题，对于实现教育高质量发展具有十分重要的意义。
一、问题的提出
随着教育事业的快速发展，教育形式及内涵更加多元丰富，教育评价作为衡量教育活动价值的工具，其技术方法层出不穷，从学理上和应用上突破现有评价方法的局限性是评估界学者们的不懈追求。基于传统的定量评价或定性评价，可将教育评价方法大致分为量化评价和质性评价两大类。其中量化评价主要运用数学计量方法对评价对象进行量化研究分析，强调量化可比；质性评价主要运用定性评价方法基于对评价对象描述、调查、访谈进行价值判断，强调全面研判。事实上，教育现象具有一定的复杂性、抽象性及滞后性，运用单一评价方法难以准确科学地对教育现象进行充分阐释，如仅采用量化评价方法，对评价对象量化数据要求较高，难以多维度完整地呈现评价对象的特征与内涵价值；仅采用质性评价方法，则易受到非学术因素干扰，可能会丢失量化数据隐含的潜在价值等。因此，学术界尝试研究将量化评价与质性评价结合使用的综合评价路径，并应用于实际评价中。
国际上，20世纪50年代，美国科学院院士社会科学家Donald T. Campbell提出交叉多维的理念，即通过多个角度、运用多种参考系可以更加精确测量物体定位，以提高评价结果的效度与信度，并将该理念应用于社会科学领域研究。他认为任何一种研究方法都有局限性和误差，但是一种方法的局限性可以被另一种方法的优势所抵消，因此首次出现了多方法研究设计，这也是综合运用多种方法理念的发展起点。随着量化研究与质性研究之间的争论与发展，Greene等提出混合研究方法框架，即在单一研究项目中至少结合使用一种定量和定性的研究方法，并分析了57个混合评估研究报告，这是将定量研究与定性研究相结合的新范式，此方法有效解决单独采用单一评价方法无法全面、合理解释的问题。国内也有学者开展定量评价与定性评价相结合的有关研究，张琳等聚焦科研评价领域，对国际上计量评价与同行评议的研究现状和应用实践进行梳理总结，并提出了我国科研评价的实施建议。徐芳等提出定量定性相结合的BRIDGE理论，推出“六步法”，并将此理论应用于科研人员的成果评价。笔者前期提出“融合评价”理论（Integrated Evaluation on Education, IEE），对融合评价研究的必要性进行学理性阐释，并提出融合评价的理论体系和方法框架，与其他方法相比，融合评价更加全面系统性地提出定量与定性融合价值与路径，破解此前定量定性相斥的固化思维，实现了定量定性评价从结合到融合的转变。在应用实践层面，有关部门围绕融合评价理论与应用开展深入研究，部分省市将融合评价理论应用于科技专项评审工作，进一步检验和完善融合评价方法。可见，随着业界对融合评价理论的深入研究，对融合评价在实践中的应用也愈加关注。基于当前研究现状，针对融合评价实践应用仍存在进一步探索的空间，尤其是如何在评价实践活动中建立融合规则，如何构建评价工具支撑融合评价理念等难题仍有待进一步研究与完善。因此，本研究将基于已有的研究理论基础与成果，深化学理逻辑，提升融合评价之融合逻辑的科学性，探究融合评价在教育评价领域中的具体应用模式，重点研究证据链和融合规则的理论支撑与应用路径，实现融合评价模式更加学理化、实用化、工具化，以期为融合评价推广应用奠定学理基础和实施途径，为推进教育评价改革落地探索新的实施路径。
二、融合评价的多重向度
在前期理论研究的基础上，本研究具体从评价理念、评价信息、评价结构和评价技术四个向度深入分析融合评价的理论创新与应用价值。
1. 评价理念向度：由定量定性非此即彼向两者协调互补转变。教育是复杂庞大的社会系统，开展教育评价则更需要创新方法、持久发力。此前教育评价方法主要聚焦于定量评价或定性评价，评价方法和数据结构都较为单一，这也意味着部分信息会因评价方法的选取而有所缺失，正如美国研究者霍尔提出“我们已经被‘客观性’测试蒙蔽了太久，只看到它能够提供一致的、可信的分数，却没有看到它只测量了整体的一部分。”此外，定量定性评价非此即彼的评价方法很难满足复杂多样的教育评价需求。融合评价理念是将两类评价方法协调互补，最大限度地融合定量定性方法优势，既发挥了定量评价的量化可比优势，同时又突显了定性评价中专家综合研判能力，克服单一评价方法的局限性，减少因单一评价方法引起的评价结果偏差，从而增强评价的效度与信度。
2. 评价信息向度：由单一要素向复合要素转变。任何评价都是由评价信息所驱动的。传统的定量定性评价方法往往针对的是单一型的评价数据，如定量评价关注体现“量”的数据，通过数量指标采用计量算法获得评价结果；定性评价关注呈现“质”的信息，通过定性分析综合研判进行评价。对于实际评价中既包含定量数据又包含定性信息时，选取单一评价要素势必会损失部分有效信息或未能准确有效体现完整的评价要素，数据价值在一定程度上造成损失。融合评价有效破解了这一难题，在评价中综合运用定量定性复合型要素，有效挖掘定量定性信息价值，最大限度发挥评价信息的复合效能，交互融入评价过程，更全面地应用多种信息价值。
3. 评价结构向度：由并行结构向串行结构转变。与定量定性相结合方法相比，融合评价最本质不同在于不仅创新评价范式，而且评价过程结构上由“并行”模式向“串行”模式转变，从过程逻辑上提供了克服缺陷的路径，如图1所示。其中“并行”结构是指定量评价与定性评价仍相互独立，定量评价与定性评价各自在评价范式中发挥作用，二者互不影响。如定量定性相结合的评价模式，并不能彻底消除二者固有的局限性，只是放大了二者彼此的相对优势，缩小相对劣势。而“串行”结构是将定量评价与定性评价先后嵌入评价过程，使定量与定性方式串行交互，实现评价方法互为补充，取长补短，并互为制约，将关键信息有机融合产生“化学反应”，充分突显两种方法各自优势，实现优质方式互补，使定量数据和定性数据最大限度地发挥信息资源价值。
4. 评价技术向度：由静态呈现向动态智能交互转变。基于现代数字技术，教育数字化转型将为教育评价注入强大“质”能，以信息技术和数据资源赋能教育高质量发展的需求更加突显。传统评价方法通常以静态固定形式呈现被评信息，如某时点或某时段关键指标值；而融合评价的并行交互机制可在交互流程中，依托现代信息技术，动态、实时地在既定或开放的大数据范围，基于“大模型”类工具算法，挖掘提供需求的证据链信息，实现快速提取关键信息成为融合评价亟需解决的证据瓶颈。通过建立评价工具实现专家与评价信息间的交互，实时满足专家对信息的定制化需求，在为专家评价提供自由度的同时也提升评价的最终效能。当然，对于信息量有限，评价规模较小的融合评价实施较为简易，基于“小模型”评价算法，可简化评价工具，甚至不建立评价工具，通过设计评价量表实现融合评价。
三、融合评价应用路径
融合评价不仅仅是评价理念的创新，在评价实践中也具有应用性和可操作性。在此前研究中，提出以“融合判定准则”为依据的融合评价方法分类理论体系及融合评价实施“三步法”，并首次提出“计量可用度α”，以α值将IEE进行分类。基于前期融合评价方法研究理论框架，本研究对实施“三步法”进一步深入研究，形成更为完整系统的“确定IEE类型、构建证据链、设计融合规则、建立评价基础设施、形成评价结果”五步法。
第一步，确定IEE类型。在实际应用中，首先要选择相应的融合评价方法。在前期研究基础上，本研究以破解定量评价与定性评价边界为突破口，深入剖析“政策导向性、数据可靠性、评价目标性及对象特征性”四要素之间的内在逻辑和关联特征，深化融合判定准则的学理依据。融合判定准则中四要素并非独立存在的，其实质是对评价环境、数据质量及目标匹配等方面进行综合研判。其中，政策导向性是评价实施前首要考虑的前提条件。数据可靠性是融合评价的根本保障，数据质量直接影响评价结果的科学性和有效性。评价目标性是融合评价的定位基准，不同类型的评价目标适用的评价方法也存在差异。对象特征性重点考虑评价方法与评价对象的适洽性和对应性，不同的评价对象适用于不同评价方法。综上，根据定量与定性融合程度的不同，基于融合判定准则四要素分析，根据计量可用度α进行研判，融合评价可分为强融合同行评议、强融合计量评价、弱融合同行评议、弱融合计量评价四种类型，各种类型的评价方式有所差异。本研究聚焦四种类型对IEE实现路径开展深入研究，为IEE的应用提供借鉴。
第二步，构建证据链。根据确定的IEE类型，挖掘与评价方法相对应的有价值信息构建证据链。“证据链”一词来源于司法刑侦领域，意为一系列客观事实与相应证据所形成完整的、系统的并具有逻辑性的证据集合或证据链。证据链由证据链头和证据链体组成，一个证据链节中的链头与另一个证据链节中的链头相互吻合、交叉、重叠就形成了证据联结点，证据联结点同样可以作为一种判定依据。在教育评价活动中，证据链由基于客观事实的各项证据所构成，其各证据能够体现或提高证据证明力的关键量化数据或定性信息，是确保评价结果客观有效的有力佐证。融合评价在串行评判过程中就充分引入了证据链，更加精细呈现评价对象的客观价值。证据链的形成是关键评价要素从数据到证据，再形成证据链的变化过程，构建证据链的重点不在于证据数量的多寡，而在于证据证明力的强弱。因此，挖掘优质且证明力强的信息元素是构建证据链的首要任务。通常构建证据链的优质元素一般具备以下特征：一是与评价目标相契合。衡量信息质量需要基于评价目标而言，不同评价目标选取优质元素的视角有所不同，优质元素应与评价目标相契合；二是证明力强、贡献度高。证明力是证据最大价值的体现，构建证据链应选取数据质量高、公信度好、具有权威性且能突出表征指标水平的元素；三是具备逻辑关系。证据链中多数呈现“因果”逻辑关系，且多项证据之间相互印证，从不同视角选取多项证据传递关键信息并构成逻辑关系。相比单一证据，证据链证明力更为充分，更具有说服力。
第三步，设计融合规则。针对已构建的证据链，设计融合规则，确保证据链有效地发挥作用。融合规则是指在定量评价与定性评价串行结构中，定量与定性元素融合交互、相互影响所形成的机制规则。融合规则是融合评价逻辑设计的关键，是融合评价区别于定量定性结合的核心环节，是评价理念方法改革的重要体现。在设计融合规则时，首先应研判定量定性元素相互影响的约束机制是否为刚性约束，这与证据链证明力强弱直接相关，证据链证明力越强，定量数据约束力越大，其约束机制越趋于刚性。根据证据链证明力强度差异，可分为“强证据”“弱证据”，其对应建立的约束机制也可分为“强约束”“弱约束”，分别对应融合规则的“强融合”“弱融合”。因此，不同融合评价方法对应的融合规则是有差异的，如融合的同行评议，具有强证明力的定量数据分析结果对专家评价约束偏于刚性，在约束范围内赋予专家有限的评价可选宽度，专家应基于定量数据进行最终评价，使得在一定程度上规范专家评价行为，规避非学术因素干扰；对于证明力较弱的定量数据而言，其对专家评价约束相对非刚性，专家可将定量数据作为参考，评价可选宽度更大。（见图2）融合的计量评价，对于学科边界等具有不确定性的定量数据，可通过专家审定直接修正数据。若专家审定结果作为计量评价的算法参数等，从而纠正计量评价结果，则为刚性约束；若专家审定结果间接影响计量评价，则为非刚性约束。（见图3）在实际评估中，可考虑在同一种评价方法中针对不同的数据将刚性约束与非刚性约束相结合使用。
第四步，建立评价基础设施。现代化教育评价必然有现代技术基础设施支撑，在融合评价中，当具备足够数据时，评价基础设施是实现融合评价理念和评价算法的有效载体。在评估具体实施过程中，建立评价基础设施主要体现为建立评价工具，其发挥两大功能：一是作为现代化评价的先进手段实现融合规则。评价工具可明确融合规则中定量与定性评价的定位与作用，明晰二者逻辑关系。二是有效整合有价值信息，辅助专家评价。在大数据背景下，人工查看材料评判结果存在困难，仅基于融合评价思想不一定能实现良好的评价，有时需要依靠评价工具的辅助与支撑。随着评价需求多元化复杂化，原始呈现评价信息无法满足专家研判需要的局限性愈发突显，因此，建立科学有效的评价工具尤为重要，能够快速有效满足专家个性化评审需求，实现单一静态信息向多元动态定制化信息转变。常见的评价工具有动态配置、智能筛选、人机交互等，可支持实现信息的对比、筛选、排序等基本功能，从海量数据中快速提取关键信息，提高评价效率和科学性。作为人机交互的重要媒介，评价工具在设计时不仅要注重工具功能的合理性，同时还应兼顾评价的友好性，便于专家理解和使用评价工具。评价工具虽然可充分满足不同专家的评价偏好差异，但并非实施融合评价的必备环节，评价工具的开发、设计与实施一般需要较长周期和较高的评价成本。对于评价对象规模较大、构建的证据链较为复杂的情景，通常建立评价工具辅助评价，而对于评价体量较小、评价周期较短的情景，可以通过简单易行的数据统计量表替代评价工具，同样也可以实现简易融合评价。
第五步，形成评价结果。经过前期确定IEE类型、构建证据链、设计融合规则、建立评价基础设施等准备步骤，开展同行评议或计量评价，最终形成评价结果。在实际评价中，通常面向多个评价对象围绕多项指标组成的指标群展开评价。对于评价结果一般先基于融合评价逐一形成各评价对象的个体融合评价结果，再基于个体融合评价结果通过一定算法计算单项指标的评价结果，最终形成指标群的评价结果。假设有k个评价对象，评价指标体系包含n项指标，指标群评价结果Q计算公式为：Q=∑wiαi，其中αn=∑αnk/k，i=1,2,3……n，wi为各指标的权重。
上述五个步骤在融合评价实施过程中环环相扣，第一步确定IEE类型是确定选择具体的评价方法；第二步构建证据链和第三步设计融合规则是融合评价的核心环节，也是体现融合评价的理念及优势的重要环节；第四步建立评价基础设施和最后确定评价结果是融合评价实施组织的关键，是提高评价效能与可信度的最后保障；第五步是评价结果最终形成环节。以上步骤是较为完整系统的融合评价实施路径，在实际情况中，不同评估体量的项目可以有选择的设计融合评价流程，对于评价流程较为简单、评价信息量较小的评价场景，可以适当简化上述实施流程。
四、融合评价应用案例
在当前教育高质量发展背景下，如何开展高质量教育评价，科学选择评价方法是理论研究和评价实践共同面临的关键问题。本研究选取学术论文和新农药研发为评价对象，基于融合判定准则分析分别采用融合的同行评议和融合的计量评价作为评价方法，详细阐述融合评价的应用路径。
（一）融合的同行评议
学术论文是科研成果的主要形式之一，学术论文质量是表征研究个体或机构科研能力的重要指标，也是当前评价人才水平的重要参考依据。为进一步科学规范有关学术论文质量定量指标的使用，2020年2月科技部、教育部联合发布了《关于规范高等学校SCI论文相关指标使用树立正确评价导向的若干意见》，进一步明确指出科研评价中鼓励定性与定量相结合的综合评价方式。因此，如何运用定性与定量相结合的评价理念，科学合理地评价学术论文质量是学术界研究的热点与难点。基于前期研究成果，本研究在评价实践中应用证据链和融合规则，深化融合评价方法实施路径，以教育机构（学科）的学术论文为评价对象，聚焦成果质量和学术贡献，评价机构（学院、学科或者大学）学术发表水平和理论研究水平。以最新学科评估项目为例同步开展研究与实践，通过若干篇学术论文代表作呈现创新点，聚焦学术创新价值和论文若干指数，进行融合的同行评议实例分析。具体实施路径如下。
第一步，确定IEE类型。在政策导向性方面，相关文件明确要求破除论文过度追求“SCI”、影响因子、高被引论文的评价模式；在数据可靠性方面，虽然不能“唯”定量，但是并不是完全摒弃定量。从数据质量来看，表征论文水平的定量指标较多、公信度较高且具有可比性。在评价目标性方面，学术论文质量评价从评价类型来看属于水平评价，可将定量数据作为比较水平高低的重要依据。在对象特征性方面，多单位同一学科若干篇学术论文，呈现若干学术创新点，体现学术论文质量的关键指标既包含定量数据又包含定性信息。综上分析可见，评价对象包含丰富的、基本可靠的定量信息，数据质量较高，但过度强化定量信息不符合政策导向对论文评价基本规范的要求，同时违背学科发展规律，因此，不宜进行单一的定量评价，相比较而言，更适用于融合的同行评议。不同的应用场景适用于不同的评价方法，在政策明确要求破“五唯”的背景下，采用强融合同行评议的政策风险较大，鉴于此，应采用弱融合的同行评议（计量可用度α<0.5），且其特性接近强融合同行评议，既关注了数据价值，又符合正确导向。
第二步，构建证据链。证据链在评价流程中起到辅助专家判断、强化评价结果可靠性的作用，应以表征学术论文质量的关键信息为出发点构建证据链，其中关键信息可作为证据链的链头。以“突出论文质量、原创贡献和学术影响”为评价导向，证据链可以从体现论文创新性、实际贡献、影响力等方面提取关键要素组建链头，如通过论文的“学术价值贡献”反映论文的创新内涵和真实价值，对应的链体即证据为“若干创新点”，“论文摘要、关键词”，“论文原文”等，原始呈现论文的水平与创新价值；通过“代表性论文数量”反映学术成果积累量及论文对成果的支撑度，对应的链体为“若干篇论文支撑创新成果的频次”；通过“学术影响力”反映成果在学术界的被认可度及成果研究的延续性和潜在价值，对应的链体为“高水平期刊影响力”“论文影响力标准参数”等，证据链构建具体见图4。其中“学术价值贡献”作为评价学术论文质量的首要前提，“代表性论文数量”体现该领域研究成果的规模，并且通过研究成果有效传播，最终形成“学术影响力”，建立以“贡献-规模-影响力”为链头多维度强相关性的证据链，突破仅从论文数量、学术影响力开展评价的局限性，从多视角呈现学位论文质量内在结构，相互印证学术论文整体水平。
第三步，设计融合规则。在评价学术论文质量中，证据链从论文学术价值贡献、代表性论文数量、学术影响力多视角呈现了与学术论文质量相关的各要素，此例三个证据节点为专家评价提供更多潜在信息，其证明力可间接影响专家评价，但并未构成强制性约束。因此，可建立非刚性的定量约束规则，形成“证据”，采用弱融合为基本前提的同行评议。其融合规则的设计逻辑应遵循“参考定量数据分析结论，适当约束专家可选宽度”的原则，专家可参考证据链涉及的各类证据，包括论文创新价值、原文、反映学术影响力相关参数、支撑创新成果的论文篇数等，强化数据影响力，为专家评价提供依据，在有限范围内引导专家基于证据链进行科学有效评价，充分发挥数据的价值，在一定程度上克服人为随意性，确保评价结果更加科学公正。其流程设计见图5。
第四步，建立评价基础设施。当评价对象规模较大，证据链中多源证据较为复杂时，从原始数据形成证据节点再基于证据链组织评价，通常可建立相应的评价工具实现“融合规则”并支撑评价。在学术论文质量评价中，建立评价工具其本质是基于学术论文质量的评价理念、评价导向、分析算法、分析结果为专家评价提供参考依据和审定原则。如通过动态排序工具为专家提供各类学术论文标准化引文影响力指数等，并呈现各指数均值和极值，便于专家将评价对象与参评对象的整体水平进行对比，相对复杂的参数可在评价前期进行预处理。建立智能筛选工具快速帮助专家简化对比标准，过滤无关信息，快速做出客观评价，如筛选相近研究领域的创新成果进行比较。人机交互工具可以满足不同专家认知差异性，如专家对高水平期刊认定标准可能存在差异，且业界对高水平期刊未达成较为统一的共识。在此情况下，考虑针对高水平期刊建立人机交互工具，设置为专家自选类似“A刊”的统计数，此范围由专家自主选取认为的高水平期刊，充分尊重专家学术判断。
第五步，形成评价结果。融合的同行评议是基于定量分析结果，以同行评议结果作为最终评价结果。不同评价场景下，学术论文质量评价结果的呈现方式有所差异，可针对单篇学术论文进行评价，专家基于定量分析数据，通过专家学术专业能力对学术论文整体质量综合研判并形成专家意见，即为单篇学术论文质量评价结果；也可能通过创新成果对研究领域相同的多篇学术论文进行综合评价，最新学科评估属于后者情况，具有广泛的应用场景。本案例中专家先对若干项创新成果进行逐一评价，形成创新成果的个体评价结果，再进行加权求和，形成学术论文质量的评价结果，并由专家进行客观终审形成最终的评价结果。值得注意的是，在结果形成过程中，需对所有专家意见进行元评价，剔除奇异值，对有效专家意见进一步处理。
（二）融合的计量评价
在国家大力实施创新驱动发展战略，加快实现高水平科技自立自强，建设科技强国背景下，我国逐渐迈入科技创新成果的迸发期，农业科技创新能力显著增强，科技成果大量涌现，相应成果评价需求也面临挑战。新农药研发是农学研究领域的重要科研成果之一，是体现科技成果转化能力的重要指标。本研究以新农药研发为评价对象，参考最新学科评估实践，论证其采用融合的计量评价的依据，以及融合定性审核证据链构建和融合规则的设计与应用，为定量评价新农药研发成果提供理论和实践支撑，为融合的计量评价应用提供借鉴。步骤如下。
第一步，确定IEE类型。基于融合判定准则，对新农药研发成果的评价方法进行判定分析。在政策导向性方面，新农药研发是我国农业领域大力推进支持的研究方向，对农业科技创新发展有积极良好的导向作用。在数据可靠性方面，新农药研发需要经过农业主管部门严格受理、审查、核发等流程，其数据质量和可靠性较高，也可以体现新农药研发水平。在评价目标性方面，新农药研发作为农业科技创新能力的重要体现，是表征研发水平与成效的重要方面。在对象特征性方面，针对各评价对象新药研发成果，存在多家单位合作且无法识别各参与单位的贡献度等情况。该指标数据本身质量高、可靠性高，能客观反映学科水平和实际贡献，同时无政策性限制，对学科发展不会产生误导，因此可使用计量评价（计量可用度α≥0.5）。但是，鉴于新药研发存在多单位合作的客观情况，难以辨别成果归属，可考虑通过专家审定来确定。综合上述分析，该项指标适用强融合的计量评价。
第二步，构建证据链。新农药研发成果评价难点在于衡量识别各参与单位的贡献度，因此，考虑通过构建具备证明力的证据链辅助专家修正成果归属系数。判定归属系数的证据链关键要素主要涉及新药研发的“创新能力”“研发价值”及“合作贡献情况”三个方面，其中“创新能力”主要包含新药研发相关基本信息，如新药研发名称、研发时间、研发简介等，是评价新农药研发水平的关键要素，也是评价导向的重要体现；“研发价值”主要反映新农药研发实际应用与转化情况，衡量新农药的实际贡献；“合作贡献”通过新农药研发生产批件的单位署名顺序、合作协议、前置证据等信息研判体现单位的贡献度。在认同新农药研发创新能力的前提下，重点关注新农药的实际应用转化情况，再深入研判新农药研发合作贡献度，即成果归属系数。证据链详见图6。
第三步，设计融合规则。在本实例中，评价对象提供的参与顺序虽然可以体现本单位的参与程度，但难以核查确认数据的准确性和真实性。各单位贡献度是评价新农药研发质量和水平的重要体现，因此，考虑通过同行评议请专家针对评价对象新农药研发情况的参与度进行审定。专家基于证据链呈现的新药简介、批件署名顺序、合作协议等定性信息，形成体现各单位参与度的归属系数。该归属系数作为新农药研发评价的重要参数，形成直接影响计量评价结果的“证据”，基于以上分析，可建立刚性的定量约束规则，即经专家最终审定的参与度作为计量评价的系数之一，对最终评价结果产生决定性直接影响。融合规则流程设计见图7。
第四步，建立评价基础设施。新农药研发证据链关于归属系数的证据较多，包含多种定性信息，如新农药简介、合作协议、参与单位、登记时间、应用与转化情况等，通过建立浏览式评价工具清晰呈现关键要素，建立统计分析工具便于专家审核并对新药的证据链综合研判，同时也可对不同单位贡献度进行相对比较，更加清晰呈现评价对象在整体评价结果中的位次，有助于专家参考证据信息对单位贡献度进行审核并客观评价，作为计量评价结果的修正依据，纠正形成成果归属系数，为最终的计量统计评价提供基础。
第五步，形成评价结果。融合的计量评价是基于专家审核基础上进行的，以计量评价结果作为最终评价结果，客观呈现新农药研发的评价结果。在此实例中，假设某一学科有若干参评单位，各单位有若干项新农药研发成果，则新农药研发水平评价结果形成过程如下：在新农药研发评价中，针对每一项新药研发成果，将经专家审核后的各单位参与度作为计量评价的系数，对单项新农药研发水平进行定量计算，形成每项新农药研发的评价结果；再将各项评价结果累加求和，最终形成该单位新农药研发的评价终值。
五、总结
当前，我国处于以教育评价改革为牵引，建设高质量教育体系的新阶段，亟待以新的教育评价理念与方法推动教育评价改革。融合评价作为创新的评价范式，是破“五唯”立新标的重要尝试与探索，突破了传统的定量评价和定性评价结合的基本思维，属于教育评价方法的新形态。本研究基于作者前期提出的融合评价基本理论框架，从评价理念、评价信息、评价结构和评价技术四个向度深化了融合评价理论体系，分析了融合评价的新价值，系统性地论证了“融合规则”构建的学理性逻辑，论证了“证据链”的结构和内涵。作为教育评价的新视角，为“融合规则”建立提供新依据；从应用操作层面，深入阐述了融合评价组织实施总体思路，明晰了融合评价“融合算法”核心价值，揭示了以融合思路破解“五唯”背景下评价改革困境的新途径。以学术论文质量、新农药研发水平为评价对象，呈现应用实例的评价场景，验证了融合评价在教育评价实践中的可行性，为进一步在教育评价领域中的实现和推广应用融合评价方法提供了经验、树立了信心。
纵观目前教育评价领域的具体实践，政府有关部门高度重视并积极关注，已有相当一些评价项目不同程度地体现了融合评价理念和方法，如科研人员绩效评价等，亦有学者进行融合评价的延伸研究，呈现了其在大学、学科、科研、人才评价改革中具有广泛的应用前景。当然，当前融合评价主要聚焦成果评价，未来融合评价理论在科学遴选专家、提升专家评议质量、计量信息呈现等方面将有待更深入地研究与探索，以期进一步拓展融合评价的应用领域，为高质量开展教育评价开辟新路径。
【林梦泉，北京理工大学兼职研究员，中国学位与研究生教育学会评估委员会副主任委员；王宇，北京理工大学人文与社会科学学院博士研究生；韩菲，教育部学位与研究生教育发展中心专业学位处处长；任超，通讯作者，教育部学位与研究生教育发展中心评估处处长、副研究员；张瑾，北京理工大学人文与社会科学学院博士研究生；梁梓萱，教育部学位与研究生教育发展中心评估处项目主管】
原文刊载于《中国高教研究》2023年第8期
转自：“中国高教研究”微信公众号
如有侵权，请联系本站删除！
