英国科研评价模式:由专业评价人员进行评价
所谓“英国模式”,指的是由专业评价人员实施评价工作,即在评价政府科研资助政策以及研究与发展的实施情况、产生的成果和影响时,评价发起者只参与评价方案设计工作,具体评价业务,包括综合评价结论和建议等等,一般完全委托给专业评价人员。专业评价人员通常具有很深的资历、丰富的评价经验、一丝不苟的学术态度,他们提供的结论通常能获得行政部门和学术界的认可,在政府制定政策过程中发挥了重要作用。
英国的专业评价人员指的是:(1)政府部门内部的评价小组;(2)科学政策研究机构,例如PREST和SPRU中的有关人员[2](注:PREST:英国Manchester大学的工程、科学与技术政策研究所;SPRU:英国Sussex大学的科学政策研究中心。它们都是世界知名的科技政策研究机构。),它们除开展评价理论与方法论研究之外,还从事实际评价工作;(3)一些专门为公共部门服务的私人咨询公司。需要指出的是,参与评价的私人咨询公司的数量非常有限,其原因在于科研评价工作不仅是一项知识性很强的活动,需要各方面的知识投入,而且需要保持绝对中立,深受评价发起者和被评价方的信赖。这两个因素阻碍了私人咨询机构大量进入评价领域。
一、英国开展评价工作的政策背景
英国政府重视科研评价工作的主要原因在于:(1)政府削减了研究投入;(2)财政部(Treasury)和内阁办公室(Cabinet Office)要求所有公共管理领域证明公共资金的价值和交账(accountability);(3)政府科研资助部门必须对前景光明的新兴科技领域作出迅速反应;(4)政府比以往更强调科学的实用性、技术转移和交叉学科研究,并为此尝试利用新模式组织科学研究,诸如资助机构联合启动研究计划、支持产学合作研究和参与国际合作研究计划,因此需要把评价纳入政策制定过程,通过评价来阐明复杂、疑难问题,例如不同资助模式的恰当程度、资助产生的经济效益。面对上述4个方面的压力,许多政府科研管理部门和机构建立了内部评估小组,小组一般由2~10名全时的工作人员组成,本文将他们称之为内部专业评价人员。小组在一位负有政策制定职责的高级公务员领导下开展工作,这样做有利于把科研评价与政策制定结合起来。
尽管政府R & D管理部门面临相同的压力,但是它们并没有采用统一的评价框架,而是根据各自的需求和特征组织自己的评价工作[3](注:CABINET OFFICE,《Annual review of Government Funded Research and Development》,HMSO,London,
1990)。在这种情况下,1986年内阁办公室成立了组织协调各部门评价工作的评估办公室[4](注:目前,由于各个部门充分认识到了评价工作的重要性,不再需要一个专门机构推动此项工作,因而取消了该办公室。)。评估办公室既不从事实际评价工作,也不规定应该如何开展评价工作,仅仅制定了一份用户友好的评价指南,用于促进内部评价专家之间的思想交流,传播政府评价工作理念[5](注:CABINET OFFICE,《Research and Development Assessment:a Guide for Custorners and Managers of R
& D》,HMSO,London,1989)。
评估办公室认为科研评价工作应该为科研管理与决策提供信息,是政策制定过程中不可缺少的组成部分。这就要求内部评价小组不仅要组织评价工作,还要研究、构建科研绩效、影响和投入等定量指标。例如,研究理事会的内部评价小组特别重视参与研究绩效指标的拟订和内部管理信息的采集与利用,将它们应用于研究计划的制定、预算分配、研究管理以及事后评价工作。再如,贸工部(DTI)的评价办公室不仅仅采集和综合定量指标,而且更强调主动参与R & D计划的制定及其详细评价。
二、内部评价小组在科研评价与管理中的作用
1.在应用研究的评价与管理中的作用
1980年,DTI在其研究与技术政策司成立了研究与技术评估小组,主要从事应用研究项目的评价。1984年,评估活动延伸到科研政策制定和实施的全过程,即从制定研究计划到监控、评价研究计划实施情况与产生的影响。目前,由于DTI不再支持与市场联系紧密的活动,而是直接支持竞争前研究、支持大学与工业界的合作和技术转移以及国际合作计划,使DTI必须改进其研究资助计划与管理系统,评估新的资助模式产生的影响,为相关问题提供政策建议。为此,DTI制定了ROAME文件,以它为框架开展管理与评价工作[6](注:L.Georghiou & E.Davis(eds),Evaluation of R & D-A Policymaker's Perspective,Proceedings of the International Workshop on Assessment
and Evaluation,HMSO,London,1988)。ROAME由计划中各个要素的首字母构成:基本理由(Rationale)、目标(Objectives)、鉴定(Appraisal)、监控(Monitoring)和评价(Evaluation)。它是提交研究计划申请和评价受资助计划的标准格式,既有利于申请人从上述5个方面考虑如何提出申请计划,亦有利于评价人员对照这5个方面的内容评价计划实施情况。
(1)理由部分必须阐明需要政府资助的原因,其中主要是经济方面的原因,即如果没有政府介入工业界将不会开展此项研究。
(2)目标包括投入目标和技术目标,它们最好可以测度,同时还要列出难以量化和测度的目标,诸如计划可望产生的社会效益与经济效益。这样做有利于在计划执行期间或计划完成以后参照目标衡量计划执行的成功程度。
(3)鉴定部分要详细说明单个项目组成计划的方式,列出计划涵盖的技术领域、遴选项目的标准和机制。
(4)监控指检查受资助计划的进展所采用的系统和程序。必须追踪单个项目和整个计划的管理情况,如果出现了问题,或者计划的目标不恰当,都可以迅速作出调整。
(5)评价部分不必列出详细评价计划,只需要针对相关政策信息的需求,拟订出开展评价工作的框架,并说明通过评价可以明确解决的问题。
从DIT评价工作的实践来看,ROAME至少发挥了以下几方面的作用:(1)为DTI的评估专家提供了一种评价思想;(2)通过监控和事后评价活动,把有关信息反馈给管理人员,可以提高他们识别、理解问题的水平,从而促进了“不断学习和提高”这样一种文化氛围的形成;(3)按ROAME格式书写的记录,是评估小组获取管理信息资源的一种重要渠道,这些信息既可以用于DTI制定科研资助政策,也可以用于设计评价方案;(4)对事后评价工作而言,可以对照当初实施计划的理由和计划拟定的目标来考察计划实施情况。
2.在基础研究评价与管理中的作用
农业与食品研究理事会(AFRC)、自 《英国科研评价模式:由专业评价人员进行评价》