中华医学科研管理杂志, 2022,35(4) 陈卓, 岳文涛, 阴赪宏.
摘要
目的
应用德尔菲法和加权平均法分别建立基础与临床两类科研项目结题评价指标体系，为筛选出高质量结题项目提供支撑，从而避免"一刀切"带来的弊端，也为推动项目管理从重数量、重申报向重质量、重结果转变，以期释放人才的创新活力，产出更多高质量的成果。
方法
采用文献分析法和专家访谈法，形成基础和临床两类科研项目结题评价指标调查问卷，而后用德尔菲法开展两轮专家咨询，用权威系数评价专家的权威性。根据第一轮专家咨询结果分析及讨论后形成第二轮问卷，以同样的方式再次筛选和确定评价指标。两轮讨论后确定基础与临床两类科研项目结题评价指标体系，并用加权平均法和乘积法分别计算权重和组合权重。
结果
经过两轮咨询后，最终确立基础科研项目结题评价指标体系一级指标2个、二级指标12个和三级指标33个，临床科研项目结题评价指标体系一级指标2个、二级指标10个和三级指标33个。第二轮基础和临床专家权威程度系数均为0.80，显示本研究专家权威程度较高。选取2018—2020年结题的29项基础和临床科研项目对指标体系进行验证。
结论
此次研究形成的指标体系将用于分类评价基础及临床科研项目的结题评价，下一步将调整指标体系权重，使之更符合实际且突出高质量成果，引导项目负责人更关注质量和结果，并分阶段进行跟踪评价。
一、背景
近年来结题评价中出现了过分看重研究成果数量的现象，导致科学研究中以量代质、急功近利和学风浮躁等弊端，降低了原始创新成果的水平，对科学技术的发展存在潜在危害[]。根据2021年《国务院办公厅关于完善科技成果评价机制的指导意见》、2020年科技部印发《关于破除科技评价中"唯论文"不良导向的若干措施(试行)》的通知、2018年《国务院关于优化科研管理提升科研绩效若干措施的通知》等文件，要按照分类评价、注重实效的原则对科研项目进行分类评价[]，基础研究成果以同行评议为主，鼓励国际"小同行"评议，推行代表作制度，实行定量评价与定性评价相结合。应用研究成果以行业用户和社会评价为主，注重高质量知识产权产出，把新技术、新材料、新工艺、新产品和新设备样机性能等作为主要评价指标[]，同时要重点关注项目成果转移转化、应用推广以及产生的经济社会效益等[]。医院拟通过结题分类评价指标体系筛选出高质量项目，从而避免"一刀切"带来的弊端，也为推动项目管理从重数量、重申报向重质量、重结果转变，在申报推荐高级别科研项目、给予后续经费支持和申报奖项时给予相应的倾斜和政策支持，从而充分释放医院科研人员创新活力，大力提升原始创新能力和关键领域核心技术攻关能力，以期产出更多高质量成果，培养更多具有创新能力的高端人才。
二、研究方法
2.1 文献分析法和专家访谈法
在万方和CNKI网站上以"结题"、"评估"、"评价"、"指标体系"和"分类评价"等为关键词进行检索，阅读文献后建立指标池，结合科研管理相关工作经验，形成基础和临床两类科研项目结题评价指标体系的初步框架。应用专家深入访谈法进一步完善指标体系，进行预调查，而后建立初步的评估指标体系。通过第一轮问卷对筛选指标体系进行增删和部分修改，最终形成了由2项一级指标、13项二级指标和38项三级指标组成的基础研究和应用基础(以下简称"基础")科研项目结题评价指标调查问卷，以由及2项一级指标、11项二级指标和37项三级指标组成的临床应用(以下简称"临床")科研项目结题评价指标调查问卷。
2.2 德尔菲法
德尔菲法是一种向专家进行函询的调查法。它由组织者就拟定的问题设计调查表，通过函件分别向选定的专家组成员征询调查，按照规定程序，专家组成员通过组织者所反馈的材料匿名交流意见，通过几轮咨询和反馈，专家们的意见逐渐集中，最后获得具有统计意义的专家集体判断结果[]。一般认为选择10~50人为宜[]。本研究采用德尔菲法分为两轮进行，分别选取21名、22名全国专家进行两轮的问卷调查，以高级职称或有科技处副处长以上职务、从事科研管理5年以上工作经验为遴选的标准。通过制作问卷星调查问卷定向发放给专家，在两轮问卷调查中，专家们都对基础和临床两类调查问卷进行了填写。
2.3 加权平均法
本研究采用加权平均法计算指标权重，将各专家对每一指标的重要性评分乘以各专家的权威系数，得到加权分数，再计算出各指标相应的加权平均数。具体计算公式参考孙振球等人的相关文献[]。对加权平均数进行归一化处理后，得到各层指标的权重，最后用乘积法计算组合权重[]。
2.4 统计方法
采用SPSS 22.0软件对收集到的专家咨询数据进行统计分析，分别计算各项指标的均数、标准差和变异系数(CV)等；同时计算专家的协调系数，以P<0.05为具有统计学意义。
三、结果
3.1 专家基本情况
3.1.1 专家的积极系数
本次调查的第一轮和第二轮咨询分别发放问卷21份和22份，均回收有效问卷19份，回收率为90.48%和86.36%，显示专家积极系数较高。
3.1.2 专家基本情况
最后一轮咨询的19位专家，性别比例较为合适，高级职称100%，所有专家从事医学科研管理工作年限均在5年以上，平均科研管理年限16年。由于第一轮部分专家的权威系数不高，因此剔除部分权威系数不高的专家，增加了部分正高级职称专家(表1)。
3.1.3 专家的权威程度系数
参照曾光等人的相关文献[]，专家的权威程度一般由两个因素决定，一是专家对方案作出判断的依据，用Ca表示；二是专家对问题的熟悉程度，用Cs表示。专家的权威程度以自我评价为主，因此对问卷中专家对一级评价指标的熟悉程度和判断依据赋值，熟悉程度为计算打分的平均值，判断依据为计算专家对理论分析、实践经验、国内外同行的了解和直觉4项的平均值。权威程度系数Cr＝(判断依据Ca+熟悉程度Cs)/2。第一轮专家基础指标平均熟悉程度为0.80，平均判断依据为0.75，根据公式计算平均权威程度系数为0.78；临床指标平均熟悉程度为0.83，平均判断依据为0.78，平均权威程度系数为0.81。第二轮专家基础指标平均熟悉程度为0.84，平均判断依据为0.76，平均权威程度系数为0.80；临床指标平均熟悉程度为0.83，平均判断依据为0.76，平均权威程度系数为0.80，详见表2。一般认为专家权威系数大于或等于0.70即可接受[]，本研究专家权威程度较高。
3.2 第一轮咨询结果
3.2.1 均数及变异系数
变异系数用来表示专家对各指标的评分意见是否趋于一致，变异系数(CV)＝标准差/均数，CV越小，说明专家的协调程度越高[]。本轮的各指标CV变动范围分布于0.05~0.51，说明分布集中程度一般，存在一定程度的离散。如果重要性得分均值小于6分，或变异系数超过0.25，则进行讨论，考虑删除该指标[]。根据专家认为遗漏的指标，对现有的指标进行相关增补和调整。最后删除了基础和临床问卷中经费使用情况、获奖可能性、促进学科发展、入选院级人才项目、患者满意度及卓越论文等二级、三级指标，删除了临床问卷中的出版专著二级指标，修改和增加了部分二级和三级指标。
3.2.2 专家评分的协调系数
为了解参加咨询的专家对指标评价的一致性和协调性，计算了专家对于各级指标的Kendall W协调系数，同时对其进行显著性检验。协调系数越接近于1，说明专家对指标评分的协调程度越好，各评估指标的权重估计较为稳定可靠[]。本轮的协调系数见表3。一级指标的P值均无统计学意义，二级和三级指标的P值均小于0.05。从Kendall W协调系数的角度看，专家打分的协调程度不高。说明咨询专家对指标评分的协调性和一致性不高，可补充专家进行第二轮咨询。
3.3 第二轮咨询结果
3.3.1 均数及变异系数
本轮的各指标CV变动范围分布于0.05~0.40，说明此轮各指标权重分布较第一轮集中程度更好，离散程度更低。根据第一轮对均数和变异系数的标准，删除基础和临床问卷中JCR Q4区论文、外观设计专利的三级指标，删除基础问卷中省级大会发言或特邀报告的三级指标。
3.3.2 专家评分的协调系数
从协调系数的角度看，第二轮专家打分的协调程度总体高于第一轮专家；从显著性检验的角度来看，P值均小于0.05，说明咨询专家对指标评分的协调性和一致性均满足要求，结果可取(表4)。
3.3.3 指标确定：一级、二级和三级指标的确定
综合以上计算方法和专家讨论结果，确定基础、临床应用项目结题评价指标体系。基础科研项目结题评价指标体系分为一级指标2个、二级指标12个和三级指标33个。一级、二级指标详见表5，三级指标为考核指标按照完成比例分为3个指标，同行评价按照同行的评价级别分为3个指标，论文按照七大顶级期刊、JCR分区、高质量期刊、卓越期刊、中华系列期刊和其他统计源期刊共分为8个指标，专著按照主编和副主编分为2个指标，参加学术交流按照国际和全国分为2个指标，专利按照发明、实用新型和软件著作权共分为3个指标，成果纳入规范及指南按照国际和国内分为2个指标，成果转化按照数量和金额分为2个指标，人员培养按照入选国家级、省部级、局级人才项目、培养博士后、博士生和硕士生分共为6个指标，获批科研项目按照获批高级别和同级别分为2个指标。
临床科研项目结题评价指标体系分为一级指标2个、二级指标10个和三级指标33个。一级、二级指标详见表6，三级指标与基础问卷不同的指标为社会效益和经济效益按照实现治愈率、诊断率提升或患病率下降等社会效益和实现降低门诊或住院次均费用、缩短平均住院日等经济效益分为2个指标，临床诊疗新技术、新方法按照新技术和新方法分为2个指标，应用推广按照推广到三级、二级、一级和社区医院共分为3个指标。
3.3.4 核减和一票否决指标的确定
根据调研结果和专家建议，最终确定项目中出现各类学术不端(均数为9.74，标准差为0.60)、原始数据未妥善保存或无法溯源等问题(均数为9.00，标准差为1.19)作为一票否决项。核减指标为无不可抗力延期或延期两次(含)及以上，考核指标完成情况不得分(均数为9.11，标准差为1.23)。
3.4 指标权重
根据加权平均法分别计算基础和临床两类科研项目结题评价指标权重，乘积法分别计算出组合权重(三级指标及权重略)(表5、表6)。
3.5 指标体系应用
由于成果产出有一定滞后性，且作为回顾性验证，仅有部分项目有专家同行评价或考核指标完成情况，因此选取样本量最多、2018年—2020年所有结题的17项北京市自然科学基金、12项北京市科学技术委员会项目，对基础和临床科研项目结题评价指标体系进行验证。将每个项目"是"记为得分，"否"记为不得分，如发表论文既属于高质量期刊又属于中华系列期刊则就高不就低，不重复计算，评价结果详见表7和表8。
四、讨论
4.1 指标突出科研项目分类评价
注重科研项目的结题管理，有利于提升科研管理部门和项目负责人的管理水平，同时，提出各种科学的方案来有效解决项目实施等过程中存在的问题、评估项目的经济效益和社会作用[]。为了借助结题分类评价指标体系筛选出高质量项目，本研究根据项目特点使用不同的考核指标，使得结题评价结果更重质量而非数量，后续在推荐高级别项目、申报奖项、荣誉时给予相应的倾斜和政策支持。因此，在项目完成情况、科研产出和学术道德等通用的项目评价指标基础上，基础研究和应用基础项目评价侧重高水平论文、同行评价、有重要疾病模型建立或机制研究瓶颈突破、参加学术交流等，临床应用类项目评价侧重社会效益和经济效益、成果转化、临床诊疗新技术或新方法、应用推广等。
4.2 分类评价指标体系应结合实际，分阶段进行跟踪评价
临床应用科研项目评价指标中推广到三级、二级、一级或社区医院权重排名为15~17，基础科研项目评价指标中七大顶级期刊权重排名为27，三级指标中JCR Q3比Q2权重高，超额完成比100%完成权重低，与实际不相符。下一步将调整指标权重，适当调高临床应用科研项目评价指标中的成果转化、提高临床诊疗新技术新方法和应用推广的比例，使之更趋合理。且由于科研产出具有滞后性，应注重基金结题以后的研究和成果[]，如论文发表、成果转化和获批科研项目等需项目结题后一段时间，甚至数年后才能凸显效果，因此除在结题时进行评价，之后将以年为单位，对项目进行跟踪评价，以利于项目在结题后进一步应用推广和申报奖项等。
4.3 指标突出高质量成果，引导项目负责人更关注质量和结果
由于基础科研项目结题评价指标中的发表论文下有8个指标、团队人员培养下有6个指标，中低端指标堆积，因此七大顶级期刊、入选国家级人才项目占比极少，可见展开式指标体系已经无法凸显高质量成果。在实际计算过程中，如果发表3篇JCR Q1区论文，所得分值低于JCR Q1、Q2和Q3各发1篇的项目，如入选国家级人才项目，所得分值低于培养博士生及硕士生各1名，与实际不相符。拟采用层级式指标体系[]，一方面可根据项目实际完成情况对高端指标的定义进行调整，另一方面可有效屏蔽中低端科技产出占比高的总量堆积效应，使高端科技产出的项目脱颖而出，从而弥补展开式科研评价指标体系的不足。针对结题评价中产生的问题，不应回避管理中存在的问题，而是将评价作为发现问题和寻找解决途径的良机[]。对于结题评价结果一般的项目，也引导项目负责人更加关注项目的质量和结果，而非数量和申报。下一步完善评价指标体系拟采用展开式和层级式相结合的方法，更加客观合理的评价不同类别科研项目的结题情况。
4.4 拟开展人才培养、成果转化、公卫和管理项目的分类评价
此次研究仅对基础与临床科研项目的结题进行分类评价，由于不同类别科研项目的特殊性，因此人才培养、成果推广、公共卫生和医疗管理项目也应展开分类评价。如人才培养类项目应强调对"人"的资助和创新能力的要求[]；产品开发类成果转化项目应重点评价新技术、新方法、新产品和关键部件等的创新性、成熟度、稳定性和可靠性，突出成果转化应用情况及其在解决经济社会发展关键问题、支撑引领行业产业发展中发挥的作用[]；公共卫生项目应突出为特定公共卫生政策制定、提高医疗服务的质量或能力提供参考数据或建议；医疗管理项目应突出为医疗管理的制度建设提供有价值的数据，开发新的医疗相关的管理系统、工具或标准等。下一步将根据其他类别科研项目的特点对分类评价指标进行深入研究和挖掘。
综上所述，本研究分别构建了基础、临床科研项目结题评价指标体系，分类评价结题项目使得评价结果更趋合理，如基础科研项目更重质量而非数量，临床科研项目更重社会效益和成果推广。然而，由于指标验证为回顾性研究，因此仅选取有详细专家反馈意见的北京市自然科学基金和北京市科学技术委员会项目进行验证，暂无法使用其他项目来比较和验证指标的优越性，此次研究形成的指标体系需进一步在实践中检验、修正和完善。分类评价指标体系的应用将充分激发科研人员的创新能力，产出更多高质量成果，促进成果应用转化与推广，同时加快医院向创新型、研究型医院转型发展，以助力首都建设具有全球影响力的科技创新中心。
转自：“医学科研与管理空间”微信公众号
如有侵权，请联系本站删除！
