社科网首页|论坛|人文社区|客户端|官方微博|报刊投稿|邮箱 中国社会科学网
您现在的位置:中国社会科学院科研局/学部工作局 >> 管理论坛 >> 管理实践 >> 正文
网络评审2.0版:论“学者共同体”评价制度的建构※
文章作者:金武刚 作者单位: 
  文章提要:在研究了专家评审制度缺陷的基础上,文章结合已有的网络评 审实践,提出了基于网络技术的“学者共同体”评价制度的设想,并以“中国高校 人文社科研究优秀成果奖”评选活动为原型作了可行性分析与初步建构
  关键词:学术评价网络评审 专家评审 学者共同体 科学共同体
    
   检讨与建立学术规范,是社会科学研究事业自身建设与健康发展的需要。学术评价是“鉴定学术成果、审核学术质量、引领学术方向的一种特殊的制度”,[1] 是学术规范体系建构中不可或缺的部分。有效的学术评价,可以引导学术活动把握正确的政治方向,为社会主义现代化建设提供精神动力、理论指导和智力支持;可以营造良好的学术研究氛围,形成严谨、扎实、规范的学风;可以充分调动学者研究的积极性和主动性,激发其科研活动的创造力;可以强有力地支持学术资源优化,出人才、出成果,繁荣社会科学研究事业。
   一、网络评审1.0版的由来
   早在2001年,张保生博士在《论程序正义与学术评审制度的建构》一文中就指出,“网络评审是专家评审的发展趋势” 。[2] 该文提到2001年夏季,教育部人文社会科学研究“十五”规划第一批项目的立项尝试了网络评审。此次网络评审的最大创新之处在于:利用专门软件,自动遴选专家。在拥有5万名左右的专家库中,为4200余项申报材料自动选择了最合适的5000余名评审专家。并利用互联网向专家发送电子评审材料和自动接收评审结果。此项尝试的经验表明:网络评审可以不受人为控制,可以不受时空限制,从而最大限度地保证评审工作的公正和效率。体现在专家遴选工作可以在几秒钟内完成,并且不会在选择专家时照顾关系;评审成本低,节约了大量的人力、物力和财力;网络评审不受专家所在地的空间限制;评审结果汇总既快又准;等等。
   我们知道,2001年前后,也正是中国学术界掀起学术失范现象与学术腐败问题讨论高潮的拐点。这从“中国期刊网”和“维普中文期刊数据库”所收录的关于“学术规范、学术评价、学术失范、学术腐败”的论文数量可见一斑(见表1-1和表1-2):学术界2000年起开始大量讨论,2001年与2000年基本持平,2002年掀起高潮,是2001年文献量的两倍多。
表1-1:中国期刊网收录相关论文的数量情况(1997-2003)
年代 1997 1998 1999 2000 2001 2002 2003
篇数 1 2 8 26 26 60 74
 数据来源: 中国期刊网(关键词:“学术规范”或“学术评价”或“学术失范”或“学术腐败”)
表1-2:维普中文期刊数据库收录相关论文的数量情况(1989-2003)
年代 1989-1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003
篇数 0 1 0 1 0 2 1 1 50 59 120 131
数据来源: 维普中文数据库(关键词:“学术规范”或“学术评价”或“学术失范”或“学术腐败”)
    张保生博士倡导的网络评审,创新了传统的专家评审制度,在学术界,特别是在社会科学管理界,开拓了思路,提供了一个新的学术评价范式,为科学、公正地实施专家评审制度提供了一个可供模仿的框架。虽然在当时项目评审的实际操作中,受客观因素的影响,网络评审未能启动机器100%自动选择专家,仍有部分专家是人为选择的,但瑕不掩瑜,这丝毫不影响网络评审所带来的清新之风,具有相当重要的进步意义。而且在实践中被证明是可行的,得到了广大学者和管理者的赞成和支持。
    在本文中,为了把张保生博士倡导的网络评审与本文后面所讲的网络评审相区别,不揣冒昧,把张博士的这种网络评审做法暂称为“网络评审1.0版”。
    二、网络评审1.0版的Bug
    网络评审1.0版所建立起的功绩,自然难以磨灭。然而社会在进步,时代在发展,学者的学术民主与权利要求也提上日程。我们的学术评价制度也要“与时俱进”。
   网络评审1.0版是将网络技术和专家回避等元素融入到专家评审制度中,创新了专家评审制度,体现出公正性和高效率,但它的实施框架仍然是专家评审制度。
    专家评审制度实质上是一种代表制度,可以看作是由学者群体中的代表——专家去操刀切割学者群体所拥有的学术资源。而这种代表制度,套用信息经济学的说法,是一种委托—代理制度。在信息非对称情况下,由于代理人(专家)隐藏了不利于委托人(学者群体)的信息而可能出现“不利选择”;由于代理人隐蔽了不利于委托人的行动,而可能造成“道德风险”。在信息非对称情况下,对于委托人来说,只有使代理人行动效用最大化,才有可能获得自身效用最大化的收益。然而,要使代理人采取效用最大化行为,必须对代理人进行有效的刺激。这样一来,委托人与代理人之间利益协调问题,就转化为信息激励机制的设计问题。[3]
    网络评审1.0版,通过在数量众多的专家库中随机选择专家,极大地创新了专家评审制度,从程序正义的角度构建了新型的学术评价制度,有效排除了由于管理权力滥用可能造成的失范或腐败的隐患。然而严格来讲,网络评审1.0版只是对管理者有所约束,对专家来讲并不是一个信息激励机制。也就是说,它对专家的“不利选择”,特别是“道德风险”是无能为力的。
    退一步讲,即使不存在专家的“道德风险”,每一个专家都公开自己的信息与行为,接受充分的监督,但是专家评审制度与生俱来的制度性缺陷,是无法通过内部规则的改变或技术革新加以解决的。
 下面以科研活动中经常使用的专家通讯评审方式为例进行分析。专家通讯评审方式,是一种“背靠背”的组织方式。专家只与管理者发生单线联系,专家与专家间互不接触。在评审时,专家依靠个人的学识与特长,针对特定的问题,如项目立项的必要性、可行性,科研成果所达到的水平、创新程度等,做出自己的主观判断,形成书面意见。管理者,或专家组组长,再综合各个专家的意见,形成最终的评审鉴定。专家通讯评审方式的优点在此不再赘述,下面简要列举一些可能存在的问题:
   1.纯粹依靠专家个人的分析和判断,难免会受专家个人的知识面、知识深度、经历的影响。
   2.专家个人占有的资料有限,难免带有片面性,可能误差较大。
   3.由于着眼点和思考问题侧重点的相异性,不同的专家所做出的判断可能有较大的不一致。把不同专家的不同意见综合为一体,难度很大。
   4.为了有效统一专家的意见,现在通讯评审中流行打分的方法(网络评审1.0版也用到了此方法)。最终通过算术平均法或者中间平均法(即去掉一个最高分和一个最低分后再进行的算术平均法),形成专家组的评分。当专家人数足够多,并且多位专家的评判结果相对比较集中或者基于某基准值基本呈现对称分布时,平均效果比较理想(统计意义上逼近于真实值)。但在实际评价中一般难以保证这些条件的成立,尽管中间平均法要比算术平均稍为精细,也存在如下缺陷:首先,判定专家评判准确性为“好”和“差”的标准是数据(专家评分)的大小,而不是误差的大小,这在原理上是不恰当的。由此,往往可能被去除掉的最大值(或最小值)比其余数据反而更接近于真实值,即最大值(或最小值)的误差可能比其余数据的误差更小。如某专家组的评判结果为{91,90,90,…,85,70,60},去除掉的91就可能比没有去除的70更为准确。其次,当专家人数不够多(如少于5人或7人)时,再去除2个数据,则信息丢失过于严重,而且由于余下的数据过少,可能反而增大其平均结果的偶然性。[4]
    专家评审的制度缺陷,导致了基于专家评审制度的网络评审1.0版不可避免地存在Bug,由于是设计思想的缺陷,仅仅发几个补丁程序是不够的。这有点像当年DOS版的社科统计软件无法通过修补自身程序来适应网络版的要求相类似,网络评审1.0版也要全面优化,升级版本,以适应新形势下学术评价的需要。
    三、网络评审2.0版的由来
    专家评审制度,本质上是一种学术资源的分配制度。因为专家评审的结果,在大多数情况下,是作为学术资源分配的直接依据。由于分配不公的问题,引起了学者和管理者们对专家评审制度的关注。[5]
    本着实事求是的态度,我们不能因为专家评审制度的不当使用、误用或滥用,就完全否定或抛弃专家评审制度,召回行政评审制度就更不可取了。因为专家评审在提供专业化的权威评议和审定方面,具有独到之处,是不可替代的。
    我们认为,从学术民主建设和维护学者群体权益的角度去考虑,有条件、有步骤地推行“学者共同体”评价制度,可以有效地减少乃至消除由于专家评审制度的缺失所造成的不良影响。
    “学者共同体”评价制度的内涵就是:利用网络技术,通过网络投票等方式,行使“学者共同体”的学术民主权利。从形式上看,这是一种网络评审的方式,但“评审专家”是“共同体”内的所有成员——学者,而不是个别的学者代表或专家,是真正体现民主性的一种学术评价制度。
    关于“学者共同体”一词,目前学术界尚未明确定义。我们使用这个词是得益于“科学共同体”的启示,又区别于“科学共同体”。
   “科学共同体”起源于1942年英国科学家和科学哲学家波朗依(Michael Polanyi)在一篇题为《科学的自治》的文章。他把全社会从事科学研究的科学家作为一个具有共同信念、共同价值、共同规范的社会群体,以区别于一般的社会群体与社会组织。[6] 在我国,对科学共同体的关注,实际上是从1980年库恩的经典著作《科学革命的结构》部分译介引进开始的。该文中提到“规范”一词,译者指出“这是库恩使用的一个特殊术语,其意有时指科学团体在研究活动中共同遵循的守则,在更多情况下则是指科学发展的规律”。[7] 为了消除人们对“规范”(后译为“范式”)含意的误解,库恩在随后发表的《再论范式》中进一步指出:“‘范式’一词无论实际上还是逻辑上,都很接近于‘科学共同体’这个词。一种范式是、也仅仅是一个科学共同体成员所共有的东西。”[8]
    此后,经过我国学者的研究与推进,对于“科学共同体”内涵,目前演化成几种不同的表述:有时被看作是学派(他们具有共同的信念和共同的探索目标,采取共同的研究方法,使用共同的术语,接受公认的评定标准,同时也培养自己的接班人),有时被看作科学社团、综合性的科学研究机构(林赛学院、伦敦皇家学会、法兰西科学院、中国科学院、中国地质学会等),甚至是研究所、实验室、科学基金会。[9]
    因此,在本文中,为了避免“科学共同体”已有内涵的分歧给我们造成概念上的混淆,我们用“学者共同体”这一词借指“科学共同体”,意思为某一学术界或系统内部的所有科学研究者所组成的学者群体。例如,描述整个中国社会科学研究领域的学者这一群体时,就可视作为一个“学者共同体”;整个中国高校系统内的社会科学研究者的集合,也可看作一个“学者共同体”;甚至某一高校内部的社会科学研究者群体也可视作一个“学者共同体”。我们用“学者”而不是“科学”这个字眼,用以强调共同体中的主体——学者的作用。因为只有学者们共同参与建设,才能构成一个有效的“共同体”。
    由于“学者共同体”的评价制度的实施,必须考虑到群体参与的成本因素和参与方式的选择问题。我们认为借助于现代网络技术,构建网络评审平台,让“共同体”内的学者都参与到评审过程中来,是有可能实现的。为了与张保生博士的基于专家评审制度的网络评审相区分,我们把基于“学者共同体”评价制度的网络评审称为“网络评审2.0版”。
    四、网络评审2.0版的指导思想
   网络评审2.0版的指导思想,也就是推行“学者共同体”评价制度的立论基础。
   首先,我们提出“学者共同体”评价制度时,存在着这样一个假设前提:“学者共同体”既是学术主体,即提供大量的科学研究产品;同时又是学术受体,即受益于大量的科学研究产品。学者通过对已有的科学研究产品的吸收利用,从而创造出新的科学研究产品。因此,学者们有权利、也有能力来评价他们使用过的科学研究产品的质量。
    这在社会科学领域的表现尤为明显:出版、发表大量的学术专著和论文,阅读、吸收大量的学术专著和论文。因此,我们可以把学术评价的真正标准视作一种“学术市场”,由“学术市场”自动进行合理“定价”,即一种阅读的市场与效果。“顾客”满意度高,此乃学术精品,“顾客”满意度低,此乃学术“柠檬”。而对“消费品”质量的高低,“顾客”的评价,理所当然最有说服力。如此一来,学术评价也就转化为“学者共同体”的内部事务,需要学者群体共同来关心与处理的事务。
    其次,我们认为“学者共同体”评价制度的生命力在于它充分体现了学术的民主性。“学者共同体”评价制度通过投票等方式,可以有效行使学术权利,保障学者权益。学术评价强调客观公正性,但评价,就形式而言总是主观的。在推优评奖时,“学者共同体”不可能对所有的细节达成一致意见,通常也没有这个必要。那么充分体现“学者共同体”民主的惟一原则:多数人满意原则,也就是少数服从多数。任何学术评价,如果多数人满意,就是公正的,如果多数人不满意,就是不公正的。虽然“真理有时掌握在少数人手里”,但只要是真正的“真理”,随着时间的推移,总有被多数“人民群众”认可的那一天。显然,“学者共同体”评价制度的推行,有助于实现学术决策民主化。
    再次,有关的组织行为学方面的研究表明,当人们参与决策过程时,会对决策更多地承担义务。即越明确地被安排参与决策,就越可能贯彻决策。这可以用两个因素来解释:一是群体参与决定政策或决定的过程,能使人们了解政策的性质、背景和需要,因此更能理解为什么这项政策或决定是必要的。二是由于个人参与了决策,更容易持赞成态度。也就是所谓的“群策群力”。“学者共同体”评价制度通过学者的自身参与,明白利害,会更自觉维护学术操守,完善学术规范体系。这也正是我们完善学术评价制度的目的所在。
    五、网络评审2.0版的实施障碍
   “学者共同体”评价制度的推行肯定会面临着诸多困难。
    首先是观念更新问题。每一项改革措施的落实总会遇到阻力,特别是观念上的阻力。“学者共同体”评价制度是一项新生事物,不管是学者,还是管理者,都要有学习和理解的过程。当然,它也许会遭到既得利益者的猛烈抨击。
    其次是使用范围问题。专家评审制度的存在价值在于专业化的权威评议和审定,“学者共同体”评价制度强调的是学术民主,两者应该有不同适用范围。例如在科研项目立项评审中,评审的目的着眼于对研究的未来的预测和评估,这时候运用专家评审方法可能更为有效。而在成果评奖过程中,评审的目的着眼于对过去研究的评估和检查,这时候运用“学者共同体”评价方法可能更合适。[10]
    再次是制度建设问题。“学者共同体”评价制度的推行,也需要制定一套科学合理的评审程序和规则,确保公正、有效运行。当然制度的建设,需要实践经验的积累和逐步完善。
    最后是评价成本问题。实施“学者共同体”评价制度最为重要的障碍也许就是评价成本问题。在具体操作上,如果让每一个学者都参与评价,则将支付巨大的评价成本:时间和经费。好在网络评审1.0版给我们带来了巨大的启示:利用网络技术,不受时空限制,且效率高、成本低。
    我们认为,在时机成熟的情况下,在适当的评价对象上(如成果评奖),利用现有的网络技术和通信技术,采用网络投票等方式,有计划地推行“学者共同体”评价制度,是必要的,也是可行的。网络评审2.0版的实施,必将有效革新当下学术评价制度,从而推动学术规范的建设。
    六、网络评审2.0测试版
    前文着重从专家评审制度的缺陷角度论述了实施“学者共同体”评价制度的必要性和可行性。下面通过一个实例的分析,来加深认识。我们暂且以“中国高校人文社科研究优秀成果奖”评选活动为原型,构建“学者共同体”评价制度,或称“网络评审2.0测试版”,让大家一起来测试。
    (一)必要性
    评奖的目的是调动学者研究的积极性和创造性,促进社会科学事业的繁荣和发展。在评奖中流行这样的话:“优秀的不一定得奖,得奖的肯定是优秀的”。如果真能做到这一点,就基本实现了评奖的目标,毕竟奖励数量是有限的。但问题在于如何防止“得奖的不是最优秀的”或者“没得奖的比得奖的要优秀得多”的现象。这就涉及到优秀的标准问题。何为优秀?简言之,大家都认可这项成果,就是优秀的,认可程度越高,就越优秀。为了使评奖结果取得大家的公认,就很有必要引入“学者共同体”的评价制度。正如前文所述,评奖是对过去的研究的评估,同时学者也是成果的阅读者和受益者,能够做出自己的准确判断。因此,“中国高校人文社科研究优秀成果奖”评选可以尝试使用网络评审2.0版。
    (二)基本规则
    第1条:“学者共同体”范围的界定。可根据实际情况进行选择。
    界定标准一:应该与申报者的资格相一致,即“凡按《中华人民共和国高等教育法》界定的高等学校的教师和研究人员”。
    界定标准二:与教育部的专家库建设相对应,可以适当缩小“学者共同体”范围,即仅限拥有高级职称的教师和研究人员。就目前来讲,这样的界定更具可操作性。
    第2条:学者实施评价时,只能评价他本人所在的二级或三级学科范围内的请奖成果。
    第3条:以网络投票的方式,行使评价权。对每一项请奖成果的评价投“赞成票”或“反对票”,二选一。具体实施时,可以限定每个人的“赞成票”票数或百分比。可以开设讨论区空间,反映具体的评价意见,尤其是该成果的缺点与不足,甚至是失范之处。
    第4条:投票结果汇总时,按成果所属一级学科分类,统计每项成果的赞成票总数和赞成票总数与反对票总数的比值。根据赞成票总数确定入围成果,根据赞成票总数和赞成票的比率,确定入围成果的奖励等级。
    第5条:最后行政把关。只把政治关,管理部门拥有否决建议权,需要在专门工作委员会(如社科委)专门会议上通过。
    (三)有利条件
     教育部特别是社政司拥有一支精通业务、懂得科学管理、勇于创新的管理团队,是实施网络评审测试版的政治基础。近些年来,在评价制度上,教育部做了很多有益尝试,如专家遴选,采用专家库自动选择方式;基地评估,实行详细的量化打分方法;科研项目结项论文要求必须在CSSCI收录期刊上发表;重大项目评审,采用答辩形式;等等。实际上在不断创新评审制度,改进专家评审方式,很多措施也是当前社会科学管理界的首创。
 教育部拥有的“中国高校人文社会科学信息网”,信息量大,更新快,在高校教师和管理者队伍中有很高的知名度,这是实施网络评审2.0测试版的物质基础。
     近年来,无论是社科年报统计工作还是项目、成果评奖申报工作,都是通过计算机处理、网上申报实现的。高校的学者,特别是管理者积累了丰富的实践经验,这是实施网络评审2.0测试版的技术基础。
    经过多年的累积和更新,教育部在2001年已拥有5万多名的专家库信息,与当年专家(高级职称)总数8万多名[11] 相比,覆盖面达到60%以上,这是实施网络评审2.0测试版的群众基础。相信经过这几年的努力,覆盖面会更广。
    (四)困难之处
    学者的学术民主意识和责任感意识薄弱,可能会导致参与到评奖活动过程中人数过少,这就失去了“学者共同体”评价的意义。需要我们管理部门大力推动,培育学者的学术民主意识,共建学术民主制度,鼓励学者共同参与。
    技术开发问题。由于涉及到的学者和成果数量众多,设计完善的软件需要一定的物质投入和时间的保障,以及信息安全方面的考虑。
 评价成本问题。如果要给参与评价的学者发评审费的话,以5万人计,即使是一人一元钱,也将是一笔巨大的开支。共同参与学术评价,是每一位有责任心的学者所应尽的义务和良心。只要宣传到位,组织到位,把学术评价作为广大学者的一种“虚拟的”学术交流活动,即使没有评审费的发放,也会得到大家的拥护的。
    (五)积极意义
    网络评审2.0版测试版是利用“学者共同体”评价制度的全新理念开展学术评价活动的,是完善当前学术评价制度的重要举措。若能成功运用,意义深远,将更有利于学术民主建设,开创良好的学风。
    网络评审2.0版测试版通过评审活动将众多学者互联在一起,利用网络技术,实现评价者与申报者的互动,申报者与申报者的互动,评价者与评价者互动。从此,评奖活动不再是少数专家和管理者的“游戏”,而是转型为“虚拟的”学术交流活动,有效激发了广大学者的积极性,共同参与到社会科学事业的建设中来,实现了评奖的初衷,从而最终有利于社会科学研究的健康发展和社会科学研究事业的真正繁荣。
               
 ※本文系2004年11月3—4日教育部社政司在杭州主办的“全国高校哲学社会科学学术规范与学习建设论坛”入选论文。

注释:
[1]蔡毅:《建立一套良好的学术评价体系》,《学术界》2003年第5期。
[2]张保生:《论程序正义与学术评审制度的建构》,《学术界》2001年第6期。
[3]除了激励机制问题外,专家评审制度还涉及到专家代表权问题,目前各种类型的专家评审,评审专家基本上是由管理部门来圈定的,这涉及到合法性讨论,本文暂从略。
[4]冯晖、王志中:《对学位授权审核工作及其评审方法的思考》,《学位与研究生教育》2004年第4期。
[5]如李存娜:《人文社会科学评价的问题与反思》,《学术界》2004年第3期;朱寿桐:《制约当代中国人文学术发展的两大问题》,《河北学刊》2004年第3期; 刘明:《同行评议刍议》,《科学学研究》2003年第6期;邢以群、陈梅:《专家评审方式:利弊分析与改进思路》,《科学管理研究》2003年第6期;廖和平等:《试析科研   成果鉴定、评奖中的失范现象》,《湘潭工学院学报》(社会科学版)2003年第2期;钟书华:《同行评议:科学共同体的民主决策机制解析》,《社会科学管理与评论》2002年第1期;等等。
[6]何亚平、肖国强:《国家创新系统中的创新文化研究——20年来我国科学共同体研究的新发展》,《科学学与科学技术管理》2002年第9期。
[7]中国社会科学院情报研究所编译:《科学学译文集》,科学出版社1980年,第81页。
[8][美]T.S.库恩:《必要的张力——科学的传统和变革论文选》,纪树立等译,福建人民出版社1981年,第291页。
[9]邓广、杨振寅:《科学共同体在科技体制变迁中的作用与重建》,《科学学研究》2000第2期。
[10]或许把网络评审1.0版称为“网络评审•项目版”,网络评审2.0版称为“网络评审•成果版”,更切合本文题意?
[11]教育部社政司组编:《2001年全国高校社科统计资料汇编》,高等教育出版社2002年,第78页。

作者:金武刚  华东师范大学信息学系 

   
发表时间:2006-01-05 文章出处:本站原创 责任编辑:薛亚玲 【返回首页】 【关闭窗口】
   
中国社会科学院科研局/学部工作局 版权所有
地址:北京东城区建内大街5号 邮编:100732 Email:zhc-kyj@cass.org.cn