李品 杨建林:大数据时代哲学社会科学学术成果评价:问题、策略及指标体系

选择字号:   本文共阅读 185 次 更新时间:2019-11-11 07:35:39

进入专题: 哲学社会科学     学术成果     成果评价     大数据    

李品   杨建林  
停留于出版物及其引用等指标分析的学术成果评价,很难真实反映学术成果推动社会发展的贡献,正如J.Spaapen等所提出的,学术成果评价要超越科学绩效指标[24]。同行评议和学术共同体评价虽然一定程度上改善了科学计量学指标的缺陷,但其不易操控的主观性以及网络环境下资源分布的广泛性导致资源获取与认知的局限,同样无法真正科学、客观、全面地揭示学术成果的学术价值和社会效益。

  

   3 基于大数据思维的哲社学术成果评价策略

  

   大数据时代,以各种载体、各种形态存在的各类动、静态学术活动数据可以被深度聚合,并进行语义层面的关联分析。将大数据思维、技术与方法应用于哲社学术成果评价中,可以有效克服当前相关评价的局限。那么,大数据时代我们应该如何建立与之相匹配的哲社学术成果评价策略?

   3.1 由引文著录分析转向多维度的引用内容与行为分析

   相对于自科学术成果内容的确定性和明确性,哲社学术成果语境、语义要复杂得多,引文著录分析这种流于形式和表面的评价方法,无法反映出哲社思想性、意识形态性和价值性内容;不仅如此,哲社学者更容易脱离文献而通过非正式交流手段进行思想碰撞。大数据使面向引用内容的语义分析和融合多种媒介的非正式交流分析成为可能。

   3.1.1 基于全文文本的引用内容与行为分析全面深刻地揭示了引用的复杂意义 在引用内容分析界定上,H.Small最具影响力,他用“citation context”来表述引用内容,意指引用位置周围的文本内容[25],强调了引用位置、引用语境的重要性。研究性论文通常具有清晰的逻辑结构,各模块实际上在论文中均具有不同级别的重要性,前言(引言)、方法、过程、结论等各部分的重要性级别,决定了引用发生在相应位置中被引文献的重要性大小;而引用语境通过引用位置前后词汇诸如“基于”“在…基础上”(功能大)以及“拓展”(功能重要)、“比较”(功能一般)、“历史背景”(功能不重要)等相关语词的表达[26],显示了引用功能大小。引用内容分析实际上是通过引文功能、引文重要性、情感倾向和引用动机4个方面揭示引用意图和被评价对象的影响力,从而更加深刻地洞悉和挖掘引用的复杂性所潜藏的价值。

   引用内容分析建立在两个前提之上:一是在不同语境下引用被赋予不同的权重,这主要通过句法和语义分析来实现;二是定性与定量相互融合[27],即内容分析法和计量分析法相互补充。权重大小反映了被引用内容的重要性高低以及功能大小;定性与定量方法的相互补充不仅可以通过语义特征描述引用极性和动机,还可以对它们进行量化累积角度的重要性考察。因此,引用内容分析通过话语分析(语境、语义),从语言学角度揭示引用内容的情感、认知、态度及其重要性和功能,从而可以客观揭示作者的引用意图,展示引用对于自身研究工作的功能,并且能够更加全面深刻地揭示科学技术发展特征(探测研究内容的突破、转移和变革[28]),更加客观真实地考察被评价对象的影响力。

   3.1.2 大数据思维下引用内容与行为分析的实现 大数据的兴起,为基于全文信息的引用内容分析提供了基本技术和平台保障,为语义分析和非正式交流科研影响力分析提供了可能。尤其是随着文献数据库建设的日趋完善和信息与数据处理技术的深入发展,越来越多可供全文解析的数据库得以陆续开发,例如arXiv、Citeseer等,包括国内的CNKI也出版了Html格式的全文文本,这些为文献结构与内容的全文解析和文本挖掘提供了十分便利的条件,从而为深入全文的引文内容分析提供了重要的数据基础。同时,社会计算能力的进步和数字图书馆、机构知识库的发展,为识别跨领域的特定引用模式提供了依据,从而为基于自然语言处理的引用内容与行为分析提供了可行的解决方案;此外,在此环境下,可以开发可扩展文本挖掘算法,来更加深入和全面地抽取大范围文献集合中隐藏的语义关联。

   (1)通过语义分析实现引用功能探测。语义分析通常可包括两个层面:一是语义贡献分析,主要是指被引文献在施引文献中的贡献性,如重要或不太重要的贡献、肯定或否定型贡献等[29]。这需要对引用位置及其周围语境、代表功能性内容的特定语词进行挖掘分析。二是通过自然语言处理和大数据技术,分析引用动机、情感等隐含性引用行为,挖掘科研信息中存在的重要观点。完成引用内容的语义分析,需要建立引用功能、重要性和动机、情感等相关分类目录及其权重级别,并建立相对应的语料库。语义分析主要步骤包括:建立分析目标,收集、组织数据,明确分析要素构成及特征并依此建立分析类目,对内容语义进行编码处理以及数据统计与检验、解释说明,等等[30]。语义分析可通过机器学习、自然语言处理、文本挖掘、情感分析和可视化分析等相关技术加以实现。

   (2)基于非正式交流的科研影响力分析。非正式交流因其克服了传统文献系统交流的时滞性缺陷,使科研交流的实效性增强,而被国内外学者广泛认可。如,B.Cronin指出,非正式交流是科学发展的源泉[31];J.Price认为科学家约有80%的资料通过非正式交流这种“无形学院”获得[32];黄水清等也充分肯定了非正式交流的价值[33]。2010年,Altmetrics的诞生推动了非正式交流在科研影响力评价中的实际应用,是典型的大数据时代下评价科研影响力的产物。

   美国科学学与创新政策项目主任L.Julia认为,为更好地进行科学评价,应该收集科学家科学研究工作全过程、全范围的数据[34]。即是说,科研活动全过程、全方位数据均应成为学术成果评价的重要组成部分。Web2.0/3.0环境下,非正式交流的形式日益丰富,OA期刊、OA仓储、学术博客、网络社区、即时交流工具等蓬勃兴起,这些载体不仅存储了大量科研内容信息,同时也留下了丰富的科研行为踪迹数据,对这些载体中所呈现的学术内容、学者科研行为轨迹等各种类型和结构的数据进行时空维度的集成与挖掘,对这种科研交流模式下的学者相互影响与关联进行识别,是大数据应用于科研影响力评价的重要方式。

   3.2 由面向成果的阶段性静态评价转向以“学术活动”为中心的全过程动态评价

   相比自科学者科研过程的循序渐进性、浓厚的理性思维和表现形式的固定性,哲社学者受社会环境影响显著,科研行为很多时候因社会环境的变化而发生循环往复,感性思维和经验性在此过程中会起到重要作用,成果表现形式多样化。简单地以传统形式的产出成果为主导来评价哲社学者显然是存在偏差的。大数据环境下,使面向“学术活动”的科研活动过程评价成为可能,将科研工作者的学术活动以及学术生涯过程进行全方位关联分析,不仅能够客观评价他们当前的科研能力,而且可以有效地发现他们未来的科研发展空间,助其自我认知,激发科研斗志。

   3.2.1 学术活动大数据的关联分析 学术活动是学者开展与学术相关的研究、交流与传播活动的总称。随着科研工作的开放性发展,学术活动的频率在不断提高,形式也日益丰富。在此过程中会产生丰富且具有针对性的活动数据:一是传统形式的学术活动。它依然扮演着重要角色,如成果发表、获奖、项目申请、会议交流等,在个人学术生涯中,这些形式的学术活动会从表现形式和内容特征两方面产生丰富的活动数据。二是学术相关的社会网络活动。科研的合作性与继承性,使得学者在科研过程中会产生大量的社会网络活动,如与国内外学者的合作,培养的学生学术表现等,由此会产生大量的活动数据。三是表现形式上的活动数据。上述两方面数据不仅存在于传统载体中,网络与通信技术的发展,使这些活动数据以静态或流态的形式大量存在于各种网络平台中,这些数据内容丰富,形式多样。将上述各种内容和形式的数据进行深度聚合,并通过大数据组织、挖掘与关联分析技术,可以全面、深刻而又十分客观地反映学者的学术成果情况。

   3.2.2 大数据思维下的学术生涯过程分析2014年,Science的主编M.McNutt指出,可以通过科学家学术生涯跟踪来开发更好的学术成果评价指标,如参与跨学科团队的能力,解决复杂问题的创造力和职业道德等[35]。对学术生涯过程分析可以有效判断学者学术积累、学术活跃性、学术发展潜力、学术素养、学术发展导向与前途等,这些要素显然是评价学者科研能力的重要组成部分。甚至通过学术生涯过程分析,可以发现学术研究过程中的成本付出和资源支持等,为学者科研表现的影响因素和本质原因分析提供依据,并进一步为科研管理提供参考。

   学术生涯过程的考察分析要根据学者年龄层次进行有针对性的设计“目标导向”,如针对较为年老的学者,主要考察其学术积累、学术贡献等,重在历史维度的学术活动分析;对于年轻学者,主要考察其发展潜力与前途等,淡化对学术积累的考察,以适应哲社学术成果产生的特殊性,重在预见性的学术活动的前瞻分析。此外,学术生涯过程分析要以时间为线索进行“学术存量”与“学术流量”相融合的分析,建立相应的跟踪机制。

   大数据思维下学术生涯过程分析,不仅包括对以上各种类型的大量静态数据的整合性分析,还包括对实时动态数据的爬取与处理。其最终的目标导向不仅在于对学者学术研究内在和外在基本状况的明确,更为重要的是发现不同类型学者学术生涯的基本特征,并结合社会发展数据的关联分析,预测其学术研究的发展空间和趋势,实现以学术能力提高为导向的学术评价。

   3.3 由学术影响力评价转向学术价值和社会效益评价

   相比自科学术价值和社会效益的具体性、可描述性,哲社的学术价值更注重意识形态与价值层面的传承和引导,其社会效益更具体验性和个性化,具有一定的模糊性和不确定性。正因如此,哲社学术成果评价更加注重学术共同体的作用。众所周知,学术共同体因学术偏见、认知局限和社会文化等复杂因素的影响,其学术成果评价存在显著的主观性。大数据环境下,通过对理论与应用两方面海量数据的聚合与关联分析,可以客观、深入地发现哲社学术成果的学术价值和社会效益。由此,不仅能够在学术共同体参与评价之前助其完成大量的基础性筛选工作,还能佐证和监督学术共同体的主观倾向,使定性评价更趋于高效和精准。

   3.3.1 大数据环境下学术成果学术价值评价的实现

   通过云计算、云融合等技术,对跨越不同存储载体的各类型、各结构的科研信息进行整合,并与以往相关成果、当前媒体报道的社会热点和重点相互关联、对比分析,对学术成果的创新性、内容价值进行评价分析;同时,评价分析哲社在跨学科研究、交叉学科研究方法中的应用及其与应用性研究的合作;此外,还可以对学术成果引用或推介者类型以及学术成果引用文献类型等进行分析。通过上述大数据技术和方法来挖掘哲社成果的学术价值,使目前十分流行的以排名列表为表现形式的结果展现转变为对学术价值的深度判断,这种学术价值既可以就其高低分类赋予权重,也可以独具特色,单独评价。

   3.3.2 大数据环境下学术成果社会效益评价的实现

20世纪50年代,经济学家开始研究科学研究与试验发展(R&D)对经济增长和生产率的影响[36],可视为学术成果社会效益评价的雏形;90年代,社会应用价值被纳入多个领域学术成果评价中,并逐渐引起学者关注[37];近年来,社会效益评估已成为学术成果评价的重点,尤其是在健康和医疗领域更为普遍[38],但是至今没有获得广泛应用,主要原因在于评价所需数据难以获得。目前流行的访谈、案例和文献分析等方法由于时间成本高、数据获取困难等障碍,实际应用价值不高[39]。Altmetrics的某些指标一定程度上反映了出版物在社会上的影响[40],但是还不能够深刻并全面地解释学术成果的真实社会作用。(点击此处阅读下一页)

    进入专题: 哲学社会科学     学术成果     成果评价     大数据    

本文责编:陈冬冬
发信站:爱思想(http://www.aisixiang.com),栏目:天益综合 > 学术规范
本文链接:http://www.aisixiang.com/data/118937.html
文章来源: 《图书情报工作》 2018年16期

0 推荐

在方框中输入电子邮件地址,多个邮件之间用半角逗号(,)分隔。

爱思想(aisixiang.com)网站为公益纯学术网站,旨在推动学术繁荣、塑造社会精神。
凡本网首发及经作者授权但非首发的所有作品,版权归作者本人所有。网络转载请注明作者、出处并保持完整,纸媒转载请经本网或作者本人书面授权。
凡本网注明“来源:XXX(非爱思想网)”的作品,均转载自其它媒体,转载目的在于分享信息、助推思想传播,并不代表本网赞同其观点和对其真实性负责。若作者或版权人不愿被使用,请来函指出,本网即予改正。
Powered by aisixiang.com Copyright © 2020 by aisixiang.com All Rights Reserved 爱思想 京ICP备12007865号 京公网安备11010602120014号.
工业和信息化部备案管理系统