李品 杨建林:大数据时代哲学社会科学学术成果评价:问题、策略及指标体系

选择字号:   本文共阅读 111 次 更新时间:2019-11-11 07:35:39

进入专题: 哲学社会科学     学术成果     成果评价     大数据    

李品   杨建林  

   内容提要:[目的/意义]学术成果评价是推进哲学社会科学健康发展的重要因素,长期以来,传统同行评议和科学计量学方法在哲学社会科学学术成果评价中暴露出的问题越来越多,挑战固有方法的统治地位、开发有针对性的评价策略已刻不容缓。文章试图探索大数据环境下哲社学术成果评价的变革及其实现,特别是提出了大数据思维下的哲社学术成果的评价指标体系。[方法/过程]基于比较分析和综合分析,对传统哲学社会科学评价方法的弊端进行分析,然后对大数据给哲学社会科学评价带来的改变进行分析,最后提出基于大数据环境的哲学社会科学评价策略和指标体系。[结果/结论]提出大数据时代哲学社会科学学术成果评价的策略:由引文著录分析转向多维度的引用内容与行为分析,由面向成果的阶段性静态评价转向以“学术活动”为中心的全过程动态评价,由学术影响力评价转向学术价值和社会效益评价。在此基础上,构建由两个一级指标、5个二级指标和34个三级指标组成的大数据背景下哲学社会科学学术成果评价指标体系。

   关 键 词:哲学社会科学  学术成果  成果评价  大数据  philosophy and social sciences  academic out put  output evaluation  big data

  

   1 引言

  

   长期以来,学术评价一直处于定量评价与定性评价的分裂中。定量评价因其客观有限性、公正性不足、专业缺位、结论简单等弊端饱受诟病,南京大学苏新宁教授指出,极端量化、唯量化的学术评价应当终止[1];大连理工大学李冲等也指出,量化评价因学科的不同而普遍适用性有限[2];而定性评价也因其主观随意性、低效性、评价过程隐蔽性、结果难以复证和监督的缺陷等饱受质疑,虽有定性与定量评价相结合的方法作为互补和填充,但因实施同行评议的学术共同体与第三方评价机构这两个定性与定量评价主体难以融合、各自为政,结合的效果始终差强人意。当下的问题是,第三方评价机构由于其缺失专业性而无法参与定性评价,即便是专注于定量评价,也因其无法做出专业性结论这一短板,使其评价有失完整。但是学术共同体却未必不能在定量评价上下功夫。当前学术界公认哲学社会科学学术成果评价是学术共同体的定性评价而非第三方机构的定量评价,但这是前大数据时代的共识。

   大数据时代,这些问题当有所改变。大数据所带来的“基于云计算的数据处理与应用模式,通过数据的集成共享、交叉复用形成的智力资源和知识服务能力”[3]不仅可以拓展定量分析的数据类型和研究范畴,还可以借助数据挖掘与分析等前期辅助作用,使学术共同体的定性评价突破人力与时间的界限,使海量的定性分析和高效的价值判断成为可能,同时,还可以监督其主观性,佐证其公信力。换言之,大数据时代,使定量评价以更为专业的姿态融入到哲学社会科学的学术成果评价成为可能,也使定性评价的高效性和公信力得以保障。定性与定量评价深入的无缝对接与融合在大数据时代将成为新的评价方式。基于此,国际上量化评价方法已呈现出了新的发展趋势:深度质量化和语义化趋向、替代计量数据快速兴起[4]。可见,大数据之于学术评价的渗透已渐渐风生水起。

   习近平总书记在哲学社会科学工作座谈会上针对我国哲学社会科学领域存在的问题指出,我国哲学社会科学的“学术评价体系不够科学”。中国社会科学杂志社研究室学者彭秋归认为,学术性和意识形态属性是哲学社会科学研究两个最基本的属性,学术标准和政治标准是哲社评价中两个最基本的要求[5]。哲学社会科学(以下简称“哲社”)学术成果的特殊性,是其在评价研究中被单独剥离出来讨论的主要原因。学界对哲学(人文)社会科学评价问题也给予了一定重视,如大连理工大学姜春林认为,人文社会科学研究成果评价要基于成果的内在属性而展开[6];重庆邮电大学代金平提出,哲学社会科学评价除注重学术创新性和学术影响力外,更要重视研究者的基本价值取向,注重成果的价值导向[7]。

   传统的同行评议和科学计量学方法在哲社学术成果评价中已显得力不从心。大数据时代为现有方法的突破提供了新的思维模式(基于多元、分布式数据的关联),以及推动这种思维模式得以实现的数据环境(提供不同格式、不同学术活动的学术成果发布平台)与技术支撑(文本挖掘技术、语义关联技术等)。基于此,本文提出了大数据思维下的哲社学术成果评价策略,重点探索大数据环境下哲社学术成果评价的变革及其实现,特别是提出了大数据思维下的哲社学术成果的评价指标体系。以此使哲社成果评价从注重以影响力等外围指标为主深入、拓展到引用内容、社会价值等深层次的内容指标,从基于期刊论文、专著等数据的评价拓展到各种类型和表现形式的学术活动评价,从而更加深刻而全面地揭示学者学术表现。

  

   2 哲社学术成果评价存在的问题与思考

  

   当前,我国各学科学术成果评价主要由以质性评估为核心的同行评议法和以量化评估为手段的科学计量法两种方法构成[8]。日本学者K.Selvarajoo指出,应用科学计量学来评价学术成就正在误导各种年龄阶段的学者[9],而同行评议法须建立在专家的价值观和思维方式之上,受主观因素影响较大[10],这两种方法本身的缺陷在国内外已被较普遍地认识。

   不同于自然科学(以下简称自科)注重探索自然界的真理,可以在世界范围内采用共通的标准,哲社研究对象很大程度是人和社会,这就决定了哲社学术成果的特殊性:①成果内容以思想性、意识形态性、价值导向性为主要特征。先不考虑专家的社会文化影响,本身这些内容评价就对同行评议专家的学术素养和思维认知提出了很高的要求,而科学计量学指标更是几乎无能为力;②成果的传播与应用具有明显的影响延时性、成果转化模糊性、作用价值体验性和非正式学术交流突出性等特征。多来自“学术圈内”的理论派同行专家显然只凭自身直觉和经验无法真正深刻而又客观地分析成果中这些问题的表现,而以引文、发文,甚至基于替代计量学(altmetrics)中下载、转载等各项仅流于表面的计量指标,更难以对此做出有效评判;③哲社学者受感性思维和社会环境变化影响显著,这就要求不仅要对其阶段性成果存量进行分析,还必须建立长期的面向整个研究过程和学术生涯的评价机制,这是现有同行评议机制和科学计量学评价方法无法企及的。

   综上,现有同行评议和科学计量学方法除本身所固有的缺陷影响着哲社学术成果评价的科学性和客观性外,这两种方法也因管理与技术上无法克服的障碍,而没有针对哲社成果的特殊性采取有效的措施来应对,由此更加强化了当前对哲社学术成果认知局限和结论偏差的风险。具体表现在以下方面:

   2.1 简单线性关联的引文著录分析忽略了引用的复杂含义

   引文分析作为学术成果评价的重要方法已出现50余年,科学引文索引数据库的出现为其提供了强大的应用动力。其实,基于著录信息的引文分析从产生开始就受到质疑,1986年,T.A.Brooks认为,引文分析法在没有搞清引文动机、引文行为之前就开始被使用了[11]。引文著录分析通常是用来描述文献或作者之间的相互影响,这种影响没有任何的指向性和强度性考量,过程中还隐含一个假设:每篇被引文献对施引文献均具有相同的价值[12],显然这是不合理的。实际上,传统引文著录分析主要想回答两个问题:是否两篇文章具有相互关联性?文章被引用次数是多少?这就将学术影响力与引用次数等同起来。H.Small曾指出,没有任何证据表明高被引论文具有高影响力[13]。引文分析存在缺陷的本质原因是将文献间相互引用的关系理解为简单的线性关系,而忽略了引用的下列复杂含义:

   2.1.1 引文行为的复杂性赋予了引用率丰富的内涵 引文行为有其范围性,其上限(即对实际参考文献准确且充分引用)和下限之间可能出现不相关或弱相关引文[14],其中引用动机(如非正常的动机[15])、引用内容(如方法类论文占优[16])和引用类型(正引、反引、明引、暗引等)是导致这一现象的关键要素。多年来虽然不少成果对引文行为进行了一定尝试性分析,如E.Garfield提出15种引用原因,指出被引用次数无法揭示出作者的引用动机[17]。但因样本量选取(大小、结构)、分析方法和文献收集不完整等难以克服的技术性缺陷,再加之引文行为本身的社会文化复杂性(心理层面、认知层面和动机层面等)问题,始终没能够提出切实可行的有效解决方案。

   2.1.2 引用率数据模糊了不同学科间的差异 如理科和工科、人文学科与社会科学、应用学科与基础学科存在显著差异[18]。然而,因学科之间关系的复杂性、学科内部中研究问题的不同(如基础性研究、应用性研究等),导致只关注数据的引文著录分析无法区别学科间的引用差异。尤其是在哲社领域,很多学科的论文无论有多优秀其引用率都有可能不高,这是由学科本身的特征决定的。而科学共同体更多地关注高被引文献,忽视了低被引或零被引文献[19]。

   2.1.3 引用过程的时滞性降低了引文分析的效率 W.Glanzel等研究结果显示:整体上超过80%的文献是发表3年内首次被引,超过90%的文献是发表后5年内首次被引[20];与此类似,荷兰科学计量学家A.F.J.Van Raan发现了“睡美人”现象[21],均有力地证明了文献被引用的时滞性问题,这种时滞会对科研成果影响力、科研人员评价造成拖延,以至于无法真正反映当时当下的真实科研情况,尤其是对于激励年轻科研人员也十分不利。而科学研究中非正式交流的兴起(如学术博客、预印本、学术社区等),使得大量资料在正式发表前已通过非正式渠道广泛传播[22],非正式交流已成为科研成果传播和影响力深化的重要方式之一,当前仅局限于以文献为基础的引文分析会因在此方面的缺陷,使分析效率大大降低。

   2.2 面向成果的阶段性静态评价存在以偏概全的风险

   在非正式学术交流发展迅猛的背景下,哲社学术成果不仅体现在以文献为载体的表达形式中,而且广泛地存在于各种非正式交流语境中,非正式学术交流具有显著的时效性和动态性,需要实时跟踪分析,静态固化形态的成果分析,显然存在片面性。不仅如此,学术活动和学术生涯等这种以静态成果形式无法表达的动态进程性工作,对于哲社这种“慢热型”和“沉淀型”的特点至关重要,对这些要素进行全面分析,是发现人才、培养人才,进而产生更多优秀学术成果的重要保障。而当前局限于某一阶段并只关注具体成果的评价方式,显然无法实现这一目标。

   2.3 学术影响力评价无法客观洞察学术成果的学术价值和社会效益

   知识经济时代、创新驱动发展战略下,科学研究对于社会发展的重要作用被寄予厚望。哲社研究不仅要产出高影响力的学术成果,更重要的是这些成果能够体现学术价值和产生社会效益。学术价值体现在学术的创新性、前沿性和对学术研究的推动作用,不同于学术影响力大多局限于表面的学术传播与传承,学术价值更多体现的是思想、理念与内容上的深度引导,是加速科学发展的关键;社会效益的核心则是学术成果在推动社会实践(如政策制定、社会管理与发展等)发展中的指导作用。

传统科学计量学指标局限在“学术圈内”的表面影响力评价显然不适应时代发展要求,正如M.Taylor指出,当前的科学计量学指标对于理解学术成果在社会中的影响十分有限[23]。尤其是社会发展的复杂性日益突出,全球变暖、食品安全、生态服务缺失、社会发展与管理中暴露的种种矛盾等均需要科学研究对此做出重要贡献,(点击此处阅读下一页)

    进入专题: 哲学社会科学     学术成果     成果评价     大数据    

本文责编:陈冬冬
发信站:爱思想(http://www.aisixiang.com),栏目:天益综合 > 学术规范
本文链接:http://www.aisixiang.com/data/118937.html
文章来源: 《图书情报工作》 2018年16期

0 推荐

在方框中输入电子邮件地址,多个邮件之间用半角逗号(,)分隔。

爱思想(aisixiang.com)网站为公益纯学术网站,旨在推动学术繁荣、塑造社会精神。
凡本网首发及经作者授权但非首发的所有作品,版权归作者本人所有。网络转载请注明作者、出处并保持完整,纸媒转载请经本网或作者本人书面授权。
凡本网注明“来源:XXX(非爱思想网)”的作品,均转载自其它媒体,转载目的在于分享信息、助推思想传播,并不代表本网赞同其观点和对其真实性负责。若作者或版权人不愿被使用,请来函指出,本网即予改正。
Powered by aisixiang.com Copyright © 2019 by aisixiang.com All Rights Reserved 爱思想 京ICP备12007865号 京公网安备11010602120014号.
易康网