李品 杨建林:大数据时代哲学社会科学学术成果评价:问题、策略及指标体系

选择字号:   本文共阅读 179 次 更新时间:2019-11-11 07:35:39

进入专题: 哲学社会科学     学术成果     成果评价     大数据    

李品   杨建林  
因为,在实际应用场景下,关注、点击、下载等指标与成果的实用价值还不能完全等同。此外,高质量研究成果的社会效益也未必高。

   大数据为学术成果社会效益评价提供了坚实的数据基础,将大数据思维、技术与方法应用于学术成果的社会效益评价中,会显著增强其可操作性和科学性。大数据时代,通过云搜索、数据集成与整合技术,不仅可以广泛获取存储于各种媒介的全方位科研活动数据,而且还可以将其与社会发展及管理相关的数据相关联,如政府政策性数据、经济发展数据、政治发展数据、公众反馈数据等,考察二者的相关性、分析它们在各种策略、行动指南及政策文献中的被引情况,洞察它们在社会矛盾解决和社会发展趋势预见中的作用,从而有效发现相应学术成果的社会价值。同时大数据思维也有效推动了学术成果评价新指标的开发,如浏览者阅读文献的停留时间、文献被检索频率、搜索指数、文献被二次或多次传播情况等,这些新指标对进一步发现学术成果的社会效益同样重要。

  

   4 基于大数据思维的哲社学术成果评价指标体系

  

   评价指标体系是学术成果评价策略的重要依据和落脚点。基于以上分析,我们认为,学术价值和社会效益是哲社学术成果评价的生命线,二者既相互独立又存在必然的联系。学术价值评价的关注点在于“学术”本身,它是为学科体系建设或某一特定研究对象的阐释所提供的支撑性和引导性作用,或者为相关研究提供依据,或者向相关研究输出思想、理论与方法,以此来引导学术的继承与发展;社会效益评价的关注点在于“人与社会”,强调的是学术成果对于社会发展的作用,这种作用可能体现在内化的人的精神或思想文化中,也有可能为社会发展提供具体的指导。学术价值是社会效益的基础,具有良好学术价值的学术成果才有可能具有较高的社会效益,为提升社会效益服务是学术价值的重要指向;社会效益是学术价值向实践转化的重要体现,具有显著社会效益的学术成果通常建立在深厚的学术价值基础之上。

   在学术价值中,包括3个关键要素:学术创新、学术影响和学术质量。这其中,学术创新完全面向的是学术成果的内容,包括学术成果新颖度(主题、观点与方法)、学术成果前沿性和学术成果前瞻性。新颖度是建立在比较分析基础上的指标,而比较分析需要以分类分析为依据,也即在同一个学科类别内进行比较,如,在同一学科内,该成果的研究内容是否具有突破性(如h指数)、跟进性(如g指数、e指数等)或另辟蹊径(如零被引文献研究等)。作为一种创新指标,学术成果前沿性还具有引领特征,即该项成果在主题内容、研究方法和学术观点上能够为某一领域研究起到引导作用,使该领域进一步深化发展(如总体国家安全观中的情报服务研究)。学术成果前瞻性考察的是学术成果是否是对未来预测性的探索,抑或是否是对研究对象本质(潜在性)的挖掘和可发展性的把握。学术成果的新颖度更多地考察某一领域研究对现在的贡献,前沿性和前瞻性则重在对未来的贡献。学术影响一方面是对学术成果传播的表征,另一方面体现了对于其他学术成果或其他人研究行为的影响能力。因此在这一指标中,不仅包含学术迹、会议引用与宣介、学术扩散等表达学术成果传播的指标,也包括学术竞争力、学术话语、学术争鸣等这样的表现学术成果对于其他研究的影响能力的指标。学术质量包括内容质量和形式质量两个部分,前者主要考察学术成果的问题意识、专业性等,后者主要指研究的规范性、论证的完备度等。

   学术创新是学术成果的核心,是推动学术成果影响力提升和学术质量持续提升的关键要素;学术影响是学术成果向社会转化的前提,是学术创新的重要目标之一;学术质量是学术创新和学术影响的基础。社会效益包括两个关键要素:社会影响和社会贡献。社会影响强调的是学术成果在社会中的认知、认可,并对社会做出了改变,或为社会创造了经济收益[41],是社会贡献得以发挥的先导;社会贡献体现的是学术成果对于社会作用发挥的水平和能力。

   大数据环境下,要将学者学术活动所产生的所有成果加以关联整合,作为指标量化评估的数据来源,而且不同的指标所应考察的数据源和方法应有所侧重。例如,在学术创新评估中,应将学术成果的内容作为评估对象,这些内容包括主题(选题)、观点、方法等,这些内容创新与否一方面是通过横向比较而得,即对同一学科领域的研究主题(选题)之间的比较、同一研究主题(选题)所提出的观点和采用的方法比较等;另一方面是通过纵向比较而得,即这些成果是否具有前沿性(处在国际研究的前端)、前瞻性(对潜在问题的洞见与远见)等。学术影响侧重于对成果的传播广度与深度的评估,传播的广度包括传播的速度和传播的空间范围,通过引用、时序分析等可以获得;深度主要指成果对别人相关研究的影响,通过对引用者的学术行为分析可以获得。

   基于上述思想,结合指标的互斥性、可操作性、科学性、关联性等原则,本文设计了包含2个一级指标、5个二级指标和34个三级指标的哲社学术成果评价指标体系(见表1)。这一指标体系在实现手段上充分体现了大数据作为信息源(如成果的全文文本、科研政策文本、替代计量指标和重要会议的多类型信息相融合的信息)、大数据作为评价技术(如关联分析、语义挖掘)的应用。此外,这一指标不仅重视全文内容分析(如学术创新中的各类指标等),还关注各种学术活动相关指标(如发表论文、学术会议、媒体发表和Altmetrics相关内容等)。

  

   在这一指标体系中,我们以哲社成果的特征为基本出发点,强调大数据环境下学术成果呈现载体的多样性,并以量化客观分析方法辅以同行评议方法作为实现手段。但若真正将指标体系落于实践,还需要对各指标重要性进行权重设置,并根据权重值进行标准化、归一化处理,这需要专家调查法和数学、统计学方法的支撑,后续我们将致力于此。此外,鉴于哲社成果学术价值和社会效益呈现的延时性,在利用上述指标评价时,应采用分阶段、周期性和学术年龄可比较性策略,并且要严格遵循分类评价的原则[53],力求最大化、更客观地描述学术成果状况。同时,大数据环境下,完整的科研行为及科研过程等同样也是学术表现的重要因素,但就目前实际情况而言,这类数据还不能够较为完整地获取,这需要后续相关整合性大数据平台或数据库的支撑,这是后续学术界应该重点探索的问题。

  

   5 结语

  

   学术成果评价是推进哲学社会科学健康发展的重要因素,长期以来,传统同行评议和科学计量学方法在哲学社会科学学术成果评价中暴露出的问题越来越多,挑战固有方法的统治地位、开发有针对性的评价策略已刻不容缓。故此,本文提出了大数据环境下哲社学术成果评价的策略以及指标体系,试图在大数据思维指导和大数据方法与技术支撑下,通过全方位科研活动相关数据的互联,以深入内容的大数据相关性分析为核心,促成超越“学术圈内”和传统计量指标的定性与定量方法的有机融合,为大数据在哲社学术成果评价中的应用提供基本策略参考,为哲社学术成果评价在大数据环境下的新指标应用提供依据。

   未来,大数据对于哲社学术成果评价的实践应用还有很长的路要走。科研管理部门和学界应在相关大数据平台和数据库建设上多下功夫,如,建立科研活动大数据整合与收集平台,尽可能完备地将学者学术活动的各种数据囊括进来,通过云存储、云服务等方式实现各数据资源的集中管理、分布服务;突破目前各科研数据管理系统、文献数据库之间的界限,实现各系统的互操作,尽可能高效地实现各类学术信息资源共享与智能化搜索;加强全文数据库建设,改变原有仅局限于PDF等格式的文献单元处理方式,尽可能规范化、结构化地组织文献中的知识单元,以可以自动化解析的格式处理文献单元等。借此,大数据可以延伸定量分析的范围,监督定性分析的结果,融合补充二者的缺陷和不足,使评价方法更加精准、评价机制趋于完善。

  

  

    进入专题: 哲学社会科学     学术成果     成果评价     大数据    

本文责编:陈冬冬
发信站:爱思想(http://www.aisixiang.com),栏目:天益综合 > 学术规范
本文链接:http://www.aisixiang.com/data/118937.html
文章来源: 《图书情报工作》 2018年16期

0 推荐

在方框中输入电子邮件地址,多个邮件之间用半角逗号(,)分隔。

爱思想(aisixiang.com)网站为公益纯学术网站,旨在推动学术繁荣、塑造社会精神。
凡本网首发及经作者授权但非首发的所有作品,版权归作者本人所有。网络转载请注明作者、出处并保持完整,纸媒转载请经本网或作者本人书面授权。
凡本网注明“来源:XXX(非爱思想网)”的作品,均转载自其它媒体,转载目的在于分享信息、助推思想传播,并不代表本网赞同其观点和对其真实性负责。若作者或版权人不愿被使用,请来函指出,本网即予改正。
Powered by aisixiang.com Copyright © 2020 by aisixiang.com All Rights Reserved 爱思想 京ICP备12007865号 京公网安备11010602120014号.
工业和信息化部备案管理系统