关于科技评价的思考与探索
连燕华 马晓光(中国科学院评估研究中心)
科技评价与科技指标两者之间关系十分密切。科技评价通常借助科技指标作为其评价工具,它是科技指标的一个重要的应用领域。
一、科技评价的理论思考
1.基本概念
评价是一种特殊的人类认识活动,它不是创造价值,而是对已经存在的价值作出判断。评价是对价值的判断,显然,不同的客体所具有的价值是不同的,而不同的主体对价值的感觉和取舍也是不同的。
科技评价是对科学技术活动及其产出和影响的价值进行判断的认识活动。必须强调的是 ,科技评价是科学共同体运行的内在机制,通过评价获得“承认”是科学共同体内部的“硬通货”。同时,科技评价也是科技管理的工具,是对科学技术活动进行监测、调控、管理的手段。
科技评价伴随着科学技术活动而存在,只要科学技术活动在进行,就会有科技评价活动。科学技术活动的形式是多种多样的 ,既有不同层次的科技活动,也有不同学科领域的科技活动和不同类型的科技活动。与科学技术活动有关的社会主体也是多元的,既包括从事科技活动的科学家,也包括从事科技活动的工程技术人员、设计人员、科技管理人员和科技辅助人员,也包括采用科学知识和技术的社会组织和人群,还包括以科学技术及其对社会影响为对象的各学科研究人员和社会中介组织。科学技术的产出形式同样是多样的,既有论文著作,也有专利技术和非专利技术,既有知识形态的产出,也有实物形态的产出。科学技术产出的影响也是多元的,既包括对科学技术自身发展的影响,也包括对社会进步、经济发展、国家安全等各方面的影响。因此,科学技术评价的内容和形式也是多样的,例如论文引用、命名、科技奖励、院士评选、职称评定、项目评审、成果鉴定等。
2.基本功能
与其他类型的评价活动一样,科技评价具有四种基本功能:
判断功能: 评价的基本功能是判断,也就是判断客体所具有的价值及其对主体的满足程度。在评价中,判断主要表现为两种类型,一是要作出是否有价值的判断,二是要作出价值的大小和满足程度的判断。
选择功能: 选择的功能主要表现为要根据主体要求,对若干个客体所具有的价值在满足主体要求的程度进行比较、排出顺序或选择出满足程度最高者。在一些竞争性评选(如院士评选、科技奖励、科技项目招标等)中,评价的选择功能表现得尤为突出。
预测功能: 评价的第三个功能就是预测功能,即通过评价活动预测经过某种努力可能获得的价值。例如在科技计划与项目的管理的过程中,都需要利用评价的预测功能,在立项前要预测根据计划中的投资、技术路线、研究团队、研究条件、应用前景等估计,预测原定目标是否能够实现,在过程评估中也要根据项目已经完成的情况和外部因素变化情况,对项目目标能否实现作出预测。
导向功能: 评价是一种管理工具,评价活动的目的不仅仅是描述和判断实践活动的价值,而且也是对被评价者的一种引导,使之向着符合价值主体目标的方向发展。在实践中,管理者常常通过评价活动本身,通过在评价中使用的指标、指标的增删及其权重的选择,向被评价者发出引导性信号。因此,导向功能也是评价活动的最基本、最重要的功能之一。
3.评价体系
目前,科技评价活动的规模与力度都在加强,已经引起一些科学家的反弹,除了人们的认识问题以外,科技评价活动不规范、方法不科学、结果不准确等问题也广泛存在。很多问题的出现是因为评价的设计存在问题,常见的现象是上来就拉指标,对评价缺乏基本的定位。另外,评价的许多问题来源于信息基础薄弱,包括同行评议信息失真、数据信息失真等。科技评价活动设计时必须认真分析四个问题,也就是科技评价设计的四个基本要素。这四个基本要素也是构成科技评价体系的基本要素。
主体系统。 主要包括价值主体和评价主体。其中价值主体是主体系统的核心,不同的评价活动有不同的价值主体。为国家开展的评价活动必然要以国家目标和国家利益为基本价值取向,国家就是这次评价的价值主体。同理,科技评价的价值主体还有地区、组织、个人、学科、部门、不同利益集团。评价主体是具体一次评价活动的实施者,不同的评价活动可以选择不同的评价主体。例如对于学术论文的价值判断主要依靠科学共同体,特别是应当通过本学科的同行专家对该论文的引用状况作出判断,那么科学共同体就是这类评价活动的评价主体。同理,不同的科技评价活动中,政府、企业、研究机构、社会公众、中立的评估机构等都可以成为科技评价的主体。
客体系统。 主要包括评价客体和价值客体。评价客体也就是在评价活动中的被评价的对象,在科技评价活动中,常见的评价客体包括科技项目、研究机构、科技人才等。而价值客体则是反映在客体上的具有主体所需的价值属性,一般以相应的科技指标体系来描述。
目标系统。 评价体系中,目标系统具有决定性的作用,目标系统决定了各种评价活动要达到的目的和所依据的价值标准。不同的评价目标需要不同的评价方法,决定了价值主体的需要和价值所在,决定了由评价客体所反映的不同的价值客体的内涵和描述方式,决定了需要选择什么样的评价主体。科技评价实践中出现的最多的问题,并不是人们所感觉的评价方法问题(例如选择什么指标和权重的问题),而是评价的目标不明确,也就是说不知道为什么要开展某项评价活动,以及不明确所开展的评价活动的基本属性。例如,战略评价就和一般的业绩评价有很大差异,又如,对一批单位的排序性评价和对单个单位的诊断性评价虽然都是以科研单位为基础的评价,但在主体选择、客体属性、价值标准和评价方法等方面都有很大区别。
参照系统。 当主体、客体和目标都已经确定了以后,还需要对价值主体的价值需求分析、价值客体的价值表达描述、评价目标的分解等得出信息进行进一步的细化,进行价值描述并且实施指标化操作,即选择能够最贴切地和最大程度地反映价值描述的指标,形成指标体系,确定各指标的数据来源,确定各种数据的类型,选择最恰当的信息处理方法。
4.常见形式
作为科技管理的工具时,科技评价最常见的形式有:
● 科技计划评价(评价对象为项目群,含发散型和收敛型项目群,含综合计划和专项计划)
● 科技项目评价(评价对象为单个项目,含不同层次、不同类型的项目)
● 科技机构评价(评价对象为各类机构,含机构诊断、绩效、状态评价)
● 科技人才评价(人才选择、人员考核、人才结构分析)
● 科技政策评价(单项政策、政策组合)
● 科技资源评价(人力、财力、物力、信息、组织)
● 科技能力评价(创造能力、转化能力、可持续发展能力)
二、科技评价的实践探索
目前国际上的科技评价已经广泛地开展起来,国内的科技评价活动也受到日益广泛的重视。中国科学院于 2000年正式成立的国内科技评价理论研究的专门机构——中国科学院评估研究中心。中心一方面开展了有关的研究工作,同时也开展了一些科技评价的实践。下面主要介绍中国科学院评估研究中心在科技机构评价方面的实践情况。
1.中国科学院对所属研究机构的评价
(1)中国科学院研究所评价
为了对所属研究所的发展状态进行长期的监测分析,中国科学院从 90年代初着手探索研究所评价问题,并开始进行每年一度的研究所评价,评价结果以蓝皮书的形式发布,至今已经坚持了将近10年。这项评价的基本框架如下。
定位(目的):绩效评价与状态评价
评价主体:独立的评估组
评价客体:所有独立法人的研究所
评价指标:论文、著作、奖励、专利、人才、项目、社会经济效益等(对于不同类型的研究所其评价指标体系的构成和权重有所不同)
评价方式:完全定量评价,分类评价
自报数据加外部来源数据
评价结果:百分制结果,分类排队
结果应用:对被评价的研究所是否进入知识创新工程有影响
(2)中国科学院知识创新试点单位评价
1998年中国科学院开始实施国家知识创新工程的试点,知识创新工程确定了五项基本任务,包括科技创新、制度创新、机制转换、结构调整、文化创新等,它不是一般的科技项目研究计划。为了保证知识创新工程战略目标的实现,中国科学院从1999年开始研究知识创新工程的评价问题,从2000年开始实施了知识创新工程试点单位的评价,评价结果以白皮书的形式发布。这项评价的基本框架如下。
定位(目的):目标完成度评价与战略性业绩评价
评价主体:独立的评估组+科学家+管理部门
评价客体:进入创新工程的独立法人研究所
评价方式:定量评价+定性评价
自报数据加外部来源数据
评价指标:由两部分构成,一是创新试点任务书中规定的各种目标(包括科技创新目标、产业化目标、制度创新目标、领域前沿部署、创新文化建设等),二是在论文、专利、项目、人才、社会经济效益等方面作出的重要成绩
评价结果:定量化结果,总排序+分类排序
价值标准:预定目标、政策导向和三性贡献(即知识创新对国家发展所作的基础性、战略性、前瞻性贡献)
结果应用:对试点单位的基本经费预算有影响
知识创新工程试点单位的评价不是对试点单位的综合评价,而是创新工程进展与突出贡献的评价,特别强调战略目标和政策导向。
通过评价,除了要引导各单位努力完成试点任务书规定的目标外,还试图使中国科学院的科技人员和科技管理人员形成以下的基本意识,并作为中国科学院价值标准的基础。
一是责任意识,要认识到我们是靠纳税人的钱生存的,拿了纳税人的钱就必须有个交代,就必须要接受评估,那种拿了钱就拒绝检查和评估的想法都是错误的;
二是目标意识,要认识到中国科学院是国立研究机构,而不是一般的学术研究机构,各种科学研究的价值取向不能仅仅取决于科学目标,要以国家目标为重,将科学目标和国家目标结合起来;
三是信誉意识,要遵守科技工作者的职业道德,说了话就要算数,承诺的事就要不折不扣地兑现,包括在试点任务书中承诺的目标和在各种项目合同中承诺的目标,更不允许欺骗、剽窃、作伪、弄虚作假等行为的存在。
在评估的指标和标准选择上,试点单位的评估也特别注意体现政策导向,例如在经费方面突出了如下政策导向:在经费来源上,强调必须努力对外争取经费(有外争经费的比例要求);在经费使用上,强调投入强度(有人均经费要求),强调资金使用率(有具体要求),强调有超前部署。
2.国家级企业技术中心评价
鼓励和支持企业开展技术创新活动,形成以企业技术中心为核心的技术创新体系,国家实施了技术创新工程,支持企业技术中心的发展是其中重要的政策措施之一。国家经贸委、财政部、税务总局、海关总署联合认定了 8批企业技术中心,并给予一定的优惠政策,以期对全国企业的技术创新活动起到带动和示范作用。国家认定的企业技术中心基本上控制在300家以内,通过评估认定新的企业技术中心,同时淘汰落后者。中国科学院评估中心承担了这项评估工作,组织全国有关专家成立了评估组。这项工作已经连续开展了三年,先后有27家企业技术中心被摘牌。这项评估的基本框架如下。
评价主体:独立的评估组
评价客体:国家认定的近300家企业技术中心
评价定位:绩效评价+状态评价
评价方式:定量评价+定性评价
评价指标:研发经费投入、研发队伍、研发条件、研发项目、产学研合作、创新体系、制度建设、研发成果、专利、新产品、企业效益等
信息来源:企业自报数据和证明材料
审查方式:两级政府审核+评估组核查
评价内容:体制与机制+能力与实力+工作业绩
实质是:投入+活动+产出(效果)
财务原则:对被评估的企业技术中心的财务活动及投资效益按权责发生制(而不是收付实现制)进行评价
三、问题与建议
科技评价是科学共同体和科学技术发展的内在的、基本的运行机制,同时也是科技发展实施和科技管理的重要工具。科技评价自身也是一门科学,拥有自己的理论体系和方法论。
目前,国内科技评价活动虽然已经比较广泛地开展起来,但实践中也存在不少问题,其中包括人们对科技评价的认识问题,例如一些经常作为评价主体参与科技评价活动(重大项目立项评估、科技奖励、科技人才选拔,以及科学论文的引用等)的科技人员,常常对科技评价没有正确的认识,同时我国的文化氛围也对科技评价,特别是同行评议带来干扰,例如中庸之道、“单位人”的观念、论资排辈等。此外,科技评价自身也存在不少问题,包括科技评价队伍、科技评价机构、科技评价理论与方法、科技评价所必须的数据资料基础等问题。
我们的科技创新和科技管理还很粗放,对科学技术发展的规律,不同学科的特点(例如对不同资源的依赖度),科学技术产出对社会经济发展的影响方式等等,都缺乏深刻的研究,这些也都影响了科技评价结果的科学性。同时,科技评价的政策性很强,指标的选取、权重的确定、分类方法的选择等都会对被评估者产生导向作用。因此,科技评价不仅仅是一种具体的事务性活动,必须同科技发展规律的研究、同科技政策研究相结合。目前,科技评估机构承担的大多是具体的评估项目,而对科技评价的理论与方法的研究,特别是结合科技发展规律和科技政策开展的科技评价研究非常少,很难得到资助。希望科技管理部门和科技发展与科技政策研究者积极参与到科技评价研究和实践中来,共同发展科技评价的理论与方法,共同探索科技发展的规律,共同促进我国科技事业的健康发展。