AI+已成为大势所趋，AI赋能人文社科评价也不能落后。AI工具用得好，可以极大提高人文社科评价的效率和准确度。用得不好，可能产生结构性的风险。
1.AI赋能人文社科评价的重大机遇
第一，AI知识生成的优势。为什么AI可以赋能人文社科评价？在于AI知识生成相对于人有如下明显优势：1）速度快：无论阅读文本、整理资料、翻译文本，还是以给出评语，速度均远超人类评价者，因而可以大大提高评审速度。2）信息全：AI能综合各种来源、不同形式的相关信息，视野远超人类评价者，评审信源多元化可以使得评价更为准确。比如，不光看被评价者的文本，AI可以收集成果社会影响的相关信息。3）极便宜：相对于要开工资的人类评价者，用大模型进行评价还是很便宜的，并且水平不低。4）自动工作：训练好评价智能体能24小时不间断工作，自动生成评价意见，供人类评价者做最后的审核。
第二，AI在评价中的潜能。AI能如何辅助人文社会科学评价？主要可能的用途至少包括：1）赋能同行评议（peer review）。比如，预评审阶段初筛论文，匹配合适的评审专家；评审阶段根据评审人提示生成和润色评审意见，或者自动生成评审意见供评审人参考。2）完善学术影响指标。比如，对于引用数据，可以让AI自动区分自引用、批评性引用等；3）完善社会影响指标。这尤其在评价人文社科研究机构和著名学人影响时左右很大。比如，帮助抓取和完善被评价人各个方面的信息，不仅是正式发表的著作和论文，还包括媒体文章、采访专访、讲座活动和国际影响等方面的信息，并对相关信息进行阅读和分析。比如，可以综合机构各方面信息，帮助分析其影响力、意识形态和发展的趋势与潜力等。4）动态实时监测和评价人文社科动态。比如，社会思潮和意识形态的变化预警，甚至可以对长期社会影响进行评估，可以画出动态的监测图表。5）跨学科、跨地域、跨语言评价。比如，很多重要的评价涉及不止一个学科，而人类评价专家往往受限于自身的学科，AI就没有这方面的问题，因为评价更加全面。
2.AI给人文社科评价带来的挑战
下面的挑战必须结合AI技术原理讲清楚。
第一，AI用于人文社科评价存在安全和版权问题。AI评审往往要联网，可能导致不宜公开的数据信息被泄露。还存在所谓反向版权污染问题，即原创文本上传评审后可能被AI判定为AI生成的。AI生成评审意见，可能存在AI幻觉和非授权引用。大模型工具本身具有意识形态属性，用来评价也存在这方面的风险。
第二，AIGC内容可能导致既有学术评审体系失效。越来越多的人使用AI辅助写作，导致人文社科的论文投稿、申请书、著作数量激增，给评价工作带来巨大压力。这里面有一个重要的技术问题：无法区分AIGC与人类作品，所谓AI率本质上是个噱头。而且，还可以用指令或App消除所谓的AI味。这个问题我讨论过多次（刘永谋：查论文AI率本质上与查重复率类似，刘永谋：有些AI+越来越像闹剧 | 二甲子的人生智慧），也见：前沿追踪 | ‘人性化’工具可抹去AI写作痕迹——但这让科学家担忧。
第三，AIGC内容增多冲击既有人文社科评价指标体系。人文社科研究形式上是写、画、想，本质上是思想和意义，当AIGC数量冲击时，对创新性思想和时代需要的意义创造之导向就显得格外重要。但这是一件非常棘手的评价指标，众说纷纭。反过来，我们发现以往一些文科导向肯定要重新调整，典型的比如：1）博学文科，即以博学见长的成果（刘永谋：AI时代，博学文科终结，因为博学属于AI，而意义始终属于文科）；2）翻译文科，即以不同语种文科成果翻译介绍为目标的成果；3）美文文科，即以辞藻华丽见长的成果。大家知道，AI在博学、翻译和美文方面非常擅长，因而成果在这方面的价值急剧失落。
第四，AI赋能人文社科评价可能加剧人文社科学术的量化导向。目前，人文社科成果评价普遍采取量化为主、代表作为辅的方式，比如看引用就是量化。众所周知，人文社科成果无法完全量化，很多需要质性评价，而AI评价本质上是量化的（这一点可以做技术分析）。由于人文社科的特点，存在各种对量化评价的批评（可以总结）。从更广阔的背景看，这可能加剧人文社科学术不平等：高收入国家和特权研究者更易利用 LLM 加速研究，而语言和技术获取受限的群体则会被进一步拉开差距。简言之，token即学问！
最后，AI赋能人文社科评价可以削弱评价人的主体性。面对海量AIGC待评价内容，如果将之完全交给AI，削弱编辑或评价人的主体性。完全用AI评价人文社科成果或机构，存在AI黑箱，即不太清楚其中的评价细节，可能偏离评价指标的情况。最麻烦的是AI辅助评价变成AI主导评价。AI在人文社科中不再是工具，而是新的评价主体。不管AI是什么逻辑，用AI评人、机构、杂志。我知道，有人觉得人作为评价主体有私心，AI没有私心所以评价公正。可是AI评价也得有个算法啊，这个算法中的指标还是人设定的。就算AI有黑箱，算法并不能完全觉得AI评价结果，那AI黑箱评价和抓阄有本质的区别吗？
3.AI时代人文社科评价的应对之策
根据上述分析，提出若干针对性的应对之策。
第一，坚持AI辅助评价，反对AI主导评价，传统评价方式与AI 技术手段相结合，形成技术辅助人工评价的评价模式。在实践中，完全交给AI很可能在实践中发生。比如，期刊外审中，由于费用低、审稿任务中，很难阻止外审专家用AI生成审稿意见。这要想办法解决，比如提高审稿费用、减少审稿量、伦理教育等。
第二，开展对评价者使用AI辅助的培训。开设跨学科AI培训项目，培养社会科学管理者和评价者对AI结果的批判性解读能力，避免盲目使用自动化评价方案，理解AI的局限性。
第三，弱化人文社科量化评价的比重，增加质性评价的权重。太过于量化，也诱发很多人用AI写作，违反学术道德。在AI时代，如何用AI帮助人文社科质性评价？看看AI时代之前的讨论，AI能有所帮助。思考一下，如何评价思想和意义？操作性的做法。我想，这都需要更加重视人文社科评价工作，拿出科研中相当部分资源搞评价。
第四，树立更为合理的评价导向。从根本上说，人文社科评价涉及资源分配正义的问题。人文社科评价会对人文社科科研的发展方向产生重大的导向作用。AI赋能人文社科评价最大的风险在于：是否改变既有的学术导向和分配格局。（可以轻评价，少评价）
第五，构建严格的责任体系，确保AI辅助的学术评价结果有效可信。评价必须担责，不能将之推给AI。这方面的讨论很多。只要有人负责，评价用多少AI没有那么重要了。
最后，发展符合人文社科评价需求的专业AI软件、大模型、智能体等。这些AI工具要符合人文社科评价的特殊需要，这些特殊需要之前也有很多讨论。
