当前,人工智能(AI)正在快速重构科学研究底层逻辑,成为重构科研范式的核心驱动力。2025年4月,习近平总书记在中央政治局就加强人工智能发展和监管进行第二十次集体学习时强调,人工智能领域要占领先机、赢得优势,必须在基础理论、方法、工具等方面取得突破。以人工智能引领科研范式变革,加速各领域科技创新突破。同时,科研活动正从“问题提出—实验验证—论文发表”的传统线性流程,加速转向“数据驱动—模型迭代—实验闭环—持续学习”的数据智能驱动范式。这一变革在显著提升科研效率与创新能力的同时,也对科研诚信治理提出新挑战。
一、人工智能给科研诚信治理带来的新挑战
随着科学研究范式的深刻变革,特别是AI技术在科研全流程中的广泛应用,传统的科研诚信体系正面临前所未有的挑战。这些挑战不仅涉及治理体系的完善、内容真伪的辨识、数据使用的合规性,还涵盖了方法学的可靠性、评价机制的公正性以及安全风险的防控等多个层面。
科研诚信建设体系相对滞后。近年来,全球主要国家持续加强AI科研应用治理力度,我国也先后出台《新一代人工智能伦理规范》(2021)、《生成式人工智能服务管理暂行办法》(2023)等政策文件。但与AI技术快速变革发展的进程相比,各国围绕AI科研方面的合规监管,特别是科研诚信建设体系仍然相对迟滞。主要表现在,现有科研伦理规范与学术不端认定标准主要基于传统人工研究范式,对AI生成内容的归属、AI辅助研究的透明度要求、人机协作中的责任划分等新问题缺乏系统性指引,导致科研人员在实践中面临规则模糊、行为失范与监管缺位的多重困境。科学是无国界的,但数据隐私、知识产权等法规是有国界的。制定全球统一的AI科研诚信准则面临巨大挑战,导致政策“碎片化”。
内容真伪与可追溯性难题。传统科研依赖研究者经验提出假设,而AI可基于海量文献与实验数据自动识别知识空白、生成候选假说、筛选关键变量,显著缩短“问题定义→实验设计”周期。AI工具可以一键生成、修改或增强实验图像,使其难以被肉眼或常规软件检测,还能轻松生成符合统计学规律的虚假数据集。这使得数据捏造、论文代写等学术不端行为的门槛和成本急剧降低,可能使其从个别行为演变为规模化、产业化的“论文工厂”问题。传统的抄袭检测软件难以识别AI生成的原创文本,而AI生成的虚假图像甚至能骗过专业评审的眼睛。这些数据若混入科研产出而未明确标识,将导致来源模糊、篡改难辨。AI使用带来的成果重现性和可追溯性也面临新的难题。当前,各学术期刊对AI使用披露要求不一,且缺乏可靠的技术检测手段,给学术不端识别与取证带来困难。AI虽大幅降低科研门槛、提升科研效率,但同时可能因“黑箱”效应、“幻觉”问题带来的偏误对科学研究的严谨性形成极大冲击。
数据合规与训练合法性风险。科研AI模型高度依赖大规模、多源异构数据进行训练,但这些数据往往涉及复杂的版权归属、个人隐私、商业秘密或国家安全等敏感属性,其法律权属与使用边界在实践中难以清晰界定,尤其在跨国科研合作中,不同法域对数据采集、存储、跨境传输及再利用的监管要求存在显著差异。如欧盟《通用数据保护条例》(GDPR)对个人数据实施严格限制,而部分国家则缺乏明确的数据分类分级制度。在此背景下,科研团队在数据授权范围、匿名化程度、脱敏标准等方面常面临合规模糊地带,极易因无意违规而引发知识产权争议或行政处罚。2024年正式生效的欧盟《人工智能法案》已明确要求高风险AI系统的训练数据必须具备“合法性、代表性与可追溯性”,并强制记录数据来源与预处理流程。我国虽已在《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》中搭建基础框架,但在科研场景下的训练数据治理细则、跨境科研数据流动“白名单”机制及科研专用数据沙箱等方面仍显滞后,亟须加快制定面向AI科研的专项合规指引。
方法学与可复现性风险上升。AI模型(尤其是深度学习)擅长在海量数据中发现复杂的相关关系,但无法直接揭示背后的因果关系。研究者可能误将强相关视为因果,从而得出错误结论,甚至误导后续研究方向。AI模型的性能极度依赖训练数据的数量和质量。如果数据存在偏见、噪声或系统性错误,模型会完美地学会并放大这些缺陷。例如,训练数据中的噪声或偏移可能被模型隐式学习并放大,形成“数据污染”。AI模型的动态进化与数据资源的动态变化,导致实验复现的困难。研究者可能无意识地依赖模型输出进行选择性报告,忽略不符合预期的实验路径。深度学习模型的过拟合倾向则易生成在特定数据集上表现优异但泛化能力极弱的“伪发现”。同时,深度学习模型的决策过程通常不透明。当研究人员依赖AI分析数据并得出结论时,他们可能无法解释“为什么”,只能呈现“是什么”,动摇了科学研究的可解释性基础。一旦结果出现问题,责任难以界定是研究假设错误、数据质量问题,还是AI模型本身的缺陷。
科研评价面临系统性失真。当AI从辅助工具参与假设生成、实验设计、数据分析甚至论文撰写时,AI实际上已成为科学发现的“合作者”—传统以人类智力贡献为核心的科研责任框架则面临巨大冲击。目前,国际主流期刊虽普遍要求披露AI使用情况,但在“AI参与到何种程度需列为作者”“如何界定人类研究者的实质性贡献”“是否为AI工具分配贡献标识符”等关键问题上仍缺乏统一标准。这不仅导致署名争议频发,也削弱了学术问责的可追溯性。此外,AI辅助科研评审、智能推荐系统和学术影响力算法等技术的应用,在项目评审、论文审稿、人才评价等环节已产生一定效果。但如果这些系统缺乏透明的算法逻辑、可审查的决策依据和公平性评估,极易在无意中强化既有学术权威与主流研究范式的权重,对颠覆性、非共识的有潜力研究形成基于马太效应的“挤压”。同时,AI还可能被用来生成肤浅的审稿意见,扰乱评审过程。审稿人也面临如何甄别AI生成内容及其潜在偏见的挑战。长此以往,过度依赖AI的学术生态将趋于同质化,创新多样性被抑制。
安全与敏感信息外溢风险加剧。现代科研AI模型,尤其是大语言模型和生成式AI,在训练过程中可能无意“记忆”并复现训练数据中的敏感内容。已有研究表明,通过精心构造的提示,攻击者可诱导模型泄露训练集中包含的个人身份信息、患者病历、基因序列、实验未公开参数,甚至涉及国防或关键基础设施的技术细节。此类训练数据提取攻击(training data extraction attacks)对生物医学、材料科学、航空航天等高敏感领域构成严峻威胁。为应对这一挑战,亟须发展面向科研场景的“隐私保护机器学习”技术(如差分隐私)、建立敏感数据训练前的自动识别与过滤机制,并推动国际间就科研AI安全标准达成最低限度共识,以平衡开放创新与风险防控。
二、人工智能科研范式下加强科研诚信治理的对策建议
为应对人工智能科研新范式给科研诚信治理带来的挑战,引导其健康有序发展,需构建一套贯穿“法律法规、基础设施、科研评价、教育培训”四位一体的治理体系。
完善法律法规与管理机制,明确权责边界与新范式规范。在数智化科研新范式中,AI模型系统既是一种科研工具,又是参与科研工作过程的主体,而且是与时俱进、不断学习进化的。作为科研资源和科研成果的数据集,往往也是动态变化的。对此,应加快研究并出台规范,界定由AI生成或深度参与的科研成果所有权、知识产权归属与责任承担。建立可复现性新标准,由国家标准化管理委员会牵头,联合科研机构、顶尖期刊,针对动态数据和自演化模型,建立包括模型快照保存、训练数据版本管理、性能偏差评估在内的新型成果验证与复现国家标准。建立分级分类监管框架,依据AI模型的风险等级(如生成能力、应用领域)和参与科研的关键程度,实施差异化监管。对用于发现科学规律的基础模型实行备案制,对直接应用于医疗、司法等高风险领域的决策支持模型实行准入制。探索建立“算法审计”制度,在重点领域试点引入第三方独立机构,对用于科研的关键AI算法进行公平性、偏差和鲁棒性审计,将审计报告作为成果评审的参考依据。积极参与国际规则制定,主动参与国际科研AI治理规则与标准制定,在重点合作领域推动与主要国家实现标准互认。支持国内机构发起或深度参与国际大科学计划,在其中嵌入中国主张的治理方案。
建设“可信科研底座”,确立全过程可追溯与可验证。通过技术基础设施保障科研活动的透明度,是构建信任的基石。建设全链条可审查基础设施,打造覆盖“数据—模型—计算—成果”全流程的端到端可追溯技术环境。以国家科研数据空间为核心,在生命科学、人工智能等重点领域率先推行“模型卡、数据卡、工作流卡”及版本化实验日志制度。强制推行“可复现实验包”,推动国内外重要期刊平台采纳统一的AI使用披露清单。对重大科研成果,要求强制配套包含数据、代码、环境及详细日志的“可复现实验包”,并将其存档于国家指定的长期知识库。部署检测与溯源技术,在科研投稿平台、学位论文提交等系统中集成应用数字水印、内容指纹和人工智能生成内容(AIGC)检测工具,为学术争议裁定和监管提供技术证据。设立国家级AIGC鉴定中心,负责复杂案件的权威鉴定。推动科研软件与环境的容器化标准化,资助开发面向主流AI框架的标准化科研容器模板,从根本上解决依赖环境差异导致的无意识不可复现问题。研发基于区块链的科研存证系统,为研究想法、实验设计、原始数据等打上时间戳,存证上链,为优先权和科研过程的可信性提供铁证。开发智能化的诚信风险预警系统,自动识别高风险论文,为编辑和评审人提供预警提示。通过这些措施,确保每一项科研成果都能被独立验证和追溯,从而增强整体科研生态的信任度。
改革科研评价体系,突出质量、复现与长期价值。当前科研评价体系过于注重最终成果,而忽视了过程质量和复现能力。建议发挥评价体系的“指挥棒”作用,引导科研行为回归严谨与实质贡献。实施多元综合评价,从单一论文导向转向兼顾科研过程质量、数据/模型贡献、代码复用率及社会影响的综合评价体系。在数据驱动型领域试点“数据准备—模型构建—实验验证—独立复现”的阶段性里程碑管理模式,认可各环节的独立价值。激励共享与负责任的创新,将高质量数据集发布、阴性(负)结果报告纳入考核范畴,探索建立“科研资产影响力指数”,引导科研人员关注成果的长期价值与可复用性。引入“贡献者身份”新概念,认可那些为重大科学发现提供了关键数据集、核心算法或成功复现的研究者作为“贡献者”共享学术荣誉,其贡献在评价体系中应得到充分承认。
建立清晰的责任界定及追究体系,压实各方主体责任。提升科研主体的伦理素养与责任意识,是维系诚信的根本。开展系统化、全覆盖的伦理教育,将“AI伦理与科研诚信”纳入高等教育必修课和科研人员继续教育体系,实现对从学生到期刊编辑、评审专家等所有相关角色的全覆盖培训。推行标准化透明度实践,强制实施“AI参与度声明”制度,使用标准化模板明确披露AI在科研各环节的作用。鼓励预注册、详实记录过程、主动发布阴性结果。建立清晰的责任追究体系,明确界定研究者(第一责任人)、所属机构、期刊平台及AI提供商等各方责任。明晰科技期刊、国家归口管理部门等管理责任,建立负面清单,对滥用AI造假、篡改数据等行为实行“一票否决”,并追究连带责任。形成闭环问责机制,确保科研活动的合规性与伦理规范。建设全国联网的科研诚信数据库,建立跨部门、跨机构联动的科研诚信信息平台,记录并共享经过查实的学术不端行为与处理结果。编写并发布典型案例集,收集整理国内外正反两方面的典型案例,特别是涉及AI使用的模糊地带的案例,进行深度剖析,作为教育培训的生动教材,提升全社会的风险识别与防范能力。
制定统一的AI科研诚信准则,解决政策“碎片化”问题。针对当前AI科研诚信治理中存在的边界不清、标准不一、监管分散等问题,必须强化顶层设计,构建跨部门、跨学科、全流程的统一准则体系,确保科研诚信治理在AI时代有章可循、步调一致。目前,教育部已出台了《教师生成式人工智能应用指引》(第一版),对AI的应用场景及边界红线进行了说明。下一步应从国家层面统筹,着力打破科研、教育、出版等部门之间的壁垒,组建AI科研诚信指导委员会,尽快研究制定统一的AI科研诚信准则,明确各类AI科研活动行为规范。夯实“人是科研诚信第一责任人”的核心原则,清晰界定AI在科研中的“工具属性”,建立完善分级分类动态监管,针对不同应用场景设定差异化的合规阈值。同时,建立AI科研诚信准则的年度审查与动态修订机制,确保相关政策管理举措能够及时响应AI技术变革带来的新挑战,构建形成AI技术、创新生态与科研伦理相协调的科研诚信治理能力。
建立促进跨学科对话与公众参与机制,营造崇尚开放、严谨、协作的科研文化氛围。大力弘扬开放科学精神,通过政策引导和宣传倡导,充分发挥学会、协会的引领作用,表彰和宣传开放科学的典范,扭转“重发表、轻共享”的风气,使数据共享、代码开源、过程透明成为高水平研究的新常态和荣誉象征。鼓励建设学科社区知识库,支持各学科领域建设和维护共同认可的公共知识库和基准测试平台,推动形成基于共识的质量标准、认证流程和最佳实践,将科研诚信建设从自上而下的监管转化为各领域自发的共同维护。建立促进跨学科对话与公众参与机制,定期组织计算机科学、伦理学、法学及各领域科学家之间的对话,共同界定和应对新兴挑战。鼓励以通俗易懂的方式向公众解释AI科研的进程与不确定性,营造有利于科研健康发展的社会氛围。鼓励公众参与和监督,在保障信息安全的前提下,适度公开非涉密的科研数据和过程,接受更广泛的社会监督。
刘刚君,中国科学院成都生物研究所党委书记、副所长;王国胤,重庆师范大学党委副书记、校长