社科网首页|论坛|人文社区|客户端|官方微博|报刊投稿|邮箱 中国社会科学网
您现在的位置:中国社会科学院科研局/学部工作局 >> 管理论坛 >> 管理实践 >> 正文
加强成果评价 改进评价方法
文章作者:韦莉莉 作者单位:科研局 

  文章提要:社会科学成果评价的发展,经历了一个从同行学者的单一定性评 议,到使用评价指标将定性评价与定量评价相结合,从较为单一的同行评价方式, 到同行评议与文献计量分析多种评价方法互相补充的演变过程。成果评价中的直 接指标和间接指标、直接评价与间接评价、主观评价和客观评价的相互关系和存在的问题,所反映的正是社会科学研究成果评价的悖论。
  关键词:社会科学    成果评价    同行评议
  
    社会科学科研成果的评价是社会科学评价体系中的一个重要方面,是社会科学科研管理的一个重要环节,同时也是社会科学科研管理的一个难点。科研成果的评价是否科学、客观、公正、科学、有效,对于繁荣和发展社会科学,对于推动社会科学研究多出成果与多出人才,对于调动科研人员的积极性,有着极为重要的作用。
    一、社会科学成果评价的发展进程
    社会科学成果的评价在社会科学的发展中发挥着特有的评估作用、导向作用、激励作用,其主要表现在:它可以评估研究人员和研究机构的研究水平,为制定社会科学中长期发展战略和规划提供切实的依据;可以通过对研究成果的学术价值和社会价值的评判,引导社会科学的研究方向;可以考核科研人员的研究能力与水平,强化社会科学管理;可以评估和认定成果的学术价值、社会效益,使其价值为学术界和社会所了解和承认,为成果的应用与转化打下良好的基础;可以进一步调动科研人员的科学研究的积极性和创造性。
 纵观社会科学成果评价的发展,我们看到,社会科学的成果评价的发展,经历了一个从同行学者之间的单一定性评议,到使用评价指标将定性评价与定量评价相结合,从较为单一的同行评议的评价方式,到同行评议与文献计量分析多种评价方法互相补充的演变过程。
    同行评议是由同一学科领域或者与之接近的学科领域的专家来评价科学成果的学术水平和学术价值的一种机制,它是国内外学术界公认的科学评价方法。同行评议最初始于17世纪欧洲第一批科学期刊,主要用以保证所发表论文的质量和可靠性,如英国《伦敦皇家学会哲学会报》针对待发表论文而建立的同行评审制度等。同行评议在后来被用于决定研究经费的分配,由此从评价待发表的论文扩大到评价项目。上个世纪40年代美国政府开始为高等学校提供巨额科研经费时,就采取了同行评审制度。1950年美国国家科学基金会建立时,正式采用同行评审制度,以保证把有限的经费分配给最有价值的项目。[1]
    我国学术界的同行评议起步较晚,用于规划、评议项目的同行评议早于用于学术刊物待发表的论文评议。早在建国初期的1956年,我国在制定第一个科学技术发展规划《十二年科学规划》(1956-1967)的时候,党中央就调集了600多名各门类和学科的科学家,并邀请了近百名苏联专家参加规划编制工作。[2] “文化大革命”中,同行评议曾一度中断。70年代末到80年代,大多数学术期刊实际没有同行评议制度。1986年,国家自然科学基金根据公平、公开、公正的原则实行了同行评议制度。这一制度在90年代逐步完善。与此同时,许多学术期刊也相继建立了同行评议制度。
    我国社会科学领域的同行评议制度相对于自然科学要迟一些。与自然科学界相同的是,同行评议的实施最早也是在科研规划、项目鉴定、成果评奖等方面,而不像国外是从刊物的论文匿名评审起步。80年代以后,随着社会科学管理制度的不断发展,同行评议制度已经被广泛运用于社会科学的规划设计、项目评审、经费资助、课题结项、成果评奖、刊物论文匿名评审、成果出版等各个环节和方面,成为学术界公认的学术规范。成果评价一般采取两种评审方式:一是会议评审。参与者一般为同一学科的学者或者是同行专家(包含非学术领域的实际部门的专家)。二是通讯评审,或称信函评审。它以信函形式送审成果,要求有关专家背靠背地进行评价。会议评审和通讯评审两种方式都可以采取单盲或者双盲的评审办法。会议评审也可以与被评议人见面,听取被评人员的汇报,进行面对面的质询和问答。
    同行评议是以评价者的主观判断为基础的一种评价方法,其特点是同行专家通过他对某一学科较深入的了解和丰富的知识,来对一项成果的价值做出评价和判断。同行评议方法可以充分发挥专家的作用,对信息资料数据的需求和依赖程度比较小,从而避免和减少了因信息数据不全或不精确而产生的片面性和局限性,特别适用于一些难以量化的成果的评价。但是这种评价往往受评价者主观意志的影响和专家知识、认识水平的局限以及评价过程中的偶然因素的影响,容易带有个人偏见和片面性。
    正是看到同行评议的问题和局限,为了减少学术评价的主观性、随意性,增加评价的客观性,上个世纪80年代末,特别是90年代初,同行评议逐步由纯粹的专家定性评价,发展为在成果评价中由同行专家使用某种评价指标体系来进行定量的评价,以此作为定性评价的补充。这种方法叫做指标体系评价方法。指标体系评价方法自身具有两个明显的特点:一是为成果评价工作提供了一个可参照的、统一的评价标准;二是采用以量化评价为特征,以定性评价为依据的评价方法。将指标体系评价方法引进同行评议后,使得同行评议在形成一致的评价标准和将定性与定量评价有机地结合起来这两个方面有了很大的改观。上世纪90年代中期中国社会科学院科研局和新闻所分别研究、制定的《社会科学成果评价指标体系》,对我国社会科学研究成果管理与评价发展的贡献和所起的推动作用就在于此。
    为了减少人为因素的影响,使成果评价尽可能客观,90年代中后期,许多管理部门和研究人员开始探索借助科学计量分析的方法来评价社会科学成果。文献计量分析方法是运用文献计量学,揭示文献(成果)之间的内在联系,由此分析和评价作者或机构的成果数量、引证率、转载率,以及与此相关的学科研究动态、核心作者群等发展情况。目前常用的文献计量分析的指标包括:论文发表数量,成果被引用、被转载、获奖情况等。中国社会科学院文献信息中心是国内最早运用文献计量学开展社会科学论文统计与分析的研究机构。目前,它和南京大学是国内对社会科学论文及其引文进行统计、分析的权威研究机构。
    二、社会科学成果评价的主要形式和方法
    就目前国内的成果管理而言,对社会科学研究成果的学术评价主要有以下几种形式:
    1.成果认定。对成果形式、类别等方面的分类、鉴别和认定,是成果评价的最初形式。它所依据的标准主要是成果的外在特征。如区分成果形式,以是否公开发表与出版、是否报送有关单位并有良好反映、是否获奖来进行分类等。成果的认定有时也涉及成果的内在质量,这时就需要在学术评价、成果评奖的基础上来对成果的质量进行认定。
    2.学术评论。学术评论是社会科学最常见的成果评价形式。广义的学术评论包括学术批评、学术争鸣、学术评论、学术对话等。学术评论通过对优秀学术成果的大力推荐,对粗制滥造、假冒伪劣之作进行有力的批评和揭露,对不同学术观点的评论、介绍和争鸣,发挥其学术规范、学术批评、学术争鸣、学术交流的功能,以此引导学术研究,匡正谬误,拓宽思路,深化认识,鼓励形成学派,促进学术繁荣。学术期刊在开展学术评论、建立健康的学术评论机制中发挥着重要的作用。
    3.成果鉴定。成果鉴定是社会科学的研究课题结项验收的重要环节。它所依托的主体是课题研究的同行领域的专家和学者。鉴定的标准一般包括三个方面:一是学术界通行的、同行学者认同的学术质量标准;二是课题研究立项之初确立的目标和承诺;三是与合同方签订的协议合同内所规定的要求。
    4.成果励奖。成果奖励是社会科学成果管理中的重要内容,也是党和国家繁荣和发展哲学社会科学的一项重要政策,对促进社会科学成果的竞争和提高学术质量,推动社会科学事业的繁荣和健康发展有重要作用。成果奖励的类型主要有四种:一是优秀科研成果评奖;二是对被政府部门应用和采用的科研成果的奖励;三是对完成情况良好的研究成果的奖励;四是对未曾立项资助的优秀科研成果的事后追加奖励。
 社会科学成果的质量和水平可以从多个方面表现出来,与此相应的评价标准也可以从多种视角、多个方面进行评价。由此,也产生了评价指标和评价方法的某些差别。将这些评价指标和方法的差别加以抽象和提炼,可以看出直接指标与间接指标、直接评价与间接评价、主观评价与客观评价等基本概念特点、它们之间的相互关系以及存在的问题。
    1.直接指标和间接指标。直接指标与间接指标是与成果的自身内在表现和外在表现紧密联系的两方面的指标,也是社会科学成果评价标准的最主要指标。直接指标主要包括:成果理论与方法的独创性和科学性、可靠性和有效性,逻辑的严密性和完备性,研究难度与复杂程度,学术价值和社会价值等。间接指标主要包括:被报刊转载介绍的情况、他人研究的引用率、获奖情况、课题来源、发表报刊的权威性等级、进入领导决策的层次等。
 社会科学管理界将主张主要使用直接指标进行成果评价的观点,称为直接标准论,并认为中国社会科学院科研局课题组的《社会科学成果评估指标体系》是其代表;将主张用间接指标对成果进行评价的观点称为间接标准论。间接标准论认为,直接标准由人来掌握,势必呈现出非确定性和有弹性的性质,因此评价社会科学成果应由一类既有确定性的性质,又能间接体现社会科学成果界定要素的指标项构建。[3]
    2.主观评价和客观评价。根据评价过程受评价主体主观因素影响的多少,可将评价活动划分主观评价和客观评价。受评价者的主观因素影响较大的评价活动,被称为主观评价。主观评价,主要是指依靠评价专家自身的学术水平和学识对成果的价值进行评价和判断。[4] 这种评价使用的评价指标一般是以直接指标为主,由于这种评价的结果比较容易受到评价专家的学术水平、学术观点、个人情感和学术道德等学术因素以及非学术因素的影响,因此被人们称为主观评价。使用引证率、获奖层次、发表报刊等级等间接指标对成果的价值进行评价,其优点是这种评价受专家自身的学术水平、学派观点、情感品德等主观因素的影响较少,相对而言具有较多的客观性,因而,人们将使用间接指标进行的评价称为客观评价。
    3.直接评价与间接评价。根据评价方法的不同,评价可以分为直接评价和间接评价两类。直接评价是对成果进行价值等方面的评价,这种评价所使用的评价指标主要是直接指标。间接评价一般不对成果本身进行评价,而主要对成果的影响进行评价。凡使用间接指标进行评价都属于间接评价。同行评议和文献计量分析是与直接评价和间接评价紧密联系的两种评价方法。同行评议是一种以直接指标为主的直接评价,文献计量分析是对论文的被引用次数等方面进行评价,是一种间接评价。
    从直接指标、直接评价和间接指标、间接评价的特点和相互关系我们看到:同行专家使用直接标准对成果进行直接评价,较直接地反映了成果的学术质量,这本来应当是较为可靠的,但是由于这种评价容易受到评价者主观因素的影响,其评价却具有较强的主观性评价的特征;同时,使用间接指标的间接评价,间接地反映成果的学术质量,体现了成果的社会效益和社会影响,但由于间接评价受评价主体的主观影响较少,又具有不受评价主体影响的可重复性,其评价的客观性特征较为明显。以上这种直接性与主观性紧密相连、间接性与客观性紧密相连的特性,就构成了社会科学研究成果评价的悖论。
    如何确保社会科学研究成果评价的客观性、有效性、公正性、科学性以及操作的简便性,是上世纪80年代以来广大科研管理工作者十分重视并且一直在进行不懈探讨的一个问题。社会科学成果评价的原则恰恰是为了解决在成果评价中出现的悖论与问题而提出的成果评价的基本方针。这些原则在成果评价的实践中已经被社会科学管理界普遍认同,它们是:坚持直接指标和间接指标相结合,坚持主观评价与客观评价相结合,坚持学术价值和社会效益相结合,坚持科学性与易操作性相结合,坚持重点评价与一般评价相结合,坚持专家评价与科研管理部门评价相结合。尤其是前三项原则,是针对成果评价的悖论和矛盾提出来的,而后三项原则更针对评价操作和指标体系设计中的问题。
    三、社会科学成果评价存在的问题及改进建议
    1.关于评价指标。评价原则、标准相同,但具体指标不尽相同,缺乏统一的、公认的成果评价指标体系。在具体的评价指标组合上,特别是关于间接指标的取舍上,各个单位差别较大。实际操作中,有的评价以直接指标为主,有的以间接指标为主,也有不少单位将直接指标与间接指标结合。此外,对于哪些指标可以作为间接指标,间接指标的评价作用如何等问题分歧较大。同时,由于成果评价的目的千差万别,也很难对成果评价的指标体系形成一致的意见。这些都是导致无法形成整个社会科学界统一、公认的成果评价指标体系的原因。在今后的研究中,有必要对直接标准和间接标准,特别是间接标准的评价效能,加以比较和分析,力求在直接指标与间接指标的取舍、使用条件、组合要求等方面形成较为一致和公认的看法,为科学评价社会科学研究成果提供更为坚实的基础。
    2. 关于同行评议。同行评议是目前社会科学界学者普遍接受和认可的评价方式。除了评价中的随机因素影响较多、评价结果容易带有个人偏见和片面性外,学术腐败也是目前妨碍学术界同行评议的最大障碍,成为阻碍社会科学成果评价研究向前发展的绊脚石。因为无论什么评价方法和评价标准都是要靠评价者去掌握,去评价,去操作的。如果学术腐败风行学术界,再好的成果评价标准和方法都无济于事,无法实现它的评价、引导、激励的功能。因此,如何遏制和限制成果评价中的学术腐败,如何加强对评价者评价活动的评价与监督,如何加强评价者的道德自律,如何通过加强同行评议的规范和制度建设来约束和提高同行评议的权威性,是下一步学术评价健康发展所要解决的重要问题。
    3.关于文献计量分析。使用文献计量分析方法来评价社会科学研究成果的优点在于具有较强的科学性和严谨性。但是,文献计量分析也存在一些不容回避的不足,比如:文献计量分析方法所使用的评价指标,主要是来自于社会评价、体现成果社会影响的间接评价指标,而社会科学科研成果的价值和社会影响,又往往是在成果出版后若干年才能显现,这种成果价值显现和社会影响产生的滞后性,给文献计量分析和评价的及时性带来很大的困难;文献计量分析方法只适用于公开发表的论文和专著等科研成果,对于那些在政府部门决策等方面有重要影响和作用的内部报告等成果,由于不宜公开发表而无法进入公开性的科研成果评价系统;由于目前我国社会科学文献信息统计系统自身发展的不完善、社会科学文献计量学的不成熟、文献计量统计分析人员学科背景的限制等原因,带来的不能及时、准确地检索和分析成果被引用和被转载情况等问题。应当指出的是,文献计量分析方法毕竟是一种新的评价方法,目前,除了在操作中要注意把握好该评价方法的特点,发挥其所长,避免其所短外,还应积极推进这一方法的理论和方法论研究,积极探索和大胆实践文献计量方法的评价指标在社会科学成果评价中的应用。在评价实践中不断总结和提高间接指标的评价效益。

参考文献:
 [1]陈建坤、邓贵斌:《社会科学科研管理概论》,东方出版社1990年6月。
 [2]张武主编:《社会科学管理理论与实践》,湖南人民出版社1993年4月。
 [3]么大中主编:《社会科学成果管理》,黑龙江人民出版社1995年4月。
 [4]孙浩、王海鸥:《论建立社会科学成果评价指标体系》,《河北师范大学学报(自然科学版)》1998年第2期。
 [5]高燕云、任世安:《社会科学成果评价方法探讨》,《西安石油学院学报(社会科学版)》1999年第4期。
 [6]李真真:《怎样评价基础科学研究》,中国科学院科技政策与管理科学研究所2002年2月。
 
注释:
[1]卜卫、周海宏、刘晓红:《社会科学成果价值评估》,社会科学文献出版社1995年5月。
[2]崔禄春:《建国以来中国共产党科技政策研究》,华夏出版社2002年10月。
[3]孙浩、王海鸥:《把社会科学成果评奖纳入科学化轨道——关于建立社会科学评奖指标体系的研究报告》,《河北学刊》1998年第5期。
[4]参见国家行政学院科研部:《社会科学研究成果评价研究》,全国行政学院系统科研信息交流网。
 

作者:韦莉莉  中国社会科学院科研局副研究员 

   
发表时间:2006-01-05 文章出处:本站原创 责任编辑:张国春 【返回首页】 【关闭窗口】
   
中国社会科学院科研局/学部工作局 版权所有
地址:北京东城区建内大街5号 邮编:100732 Email:zhc-kyj@cass.org.cn