作者：王晨光，清华大学法学院教授、博士生导师。

来源：《江西社会科学》2026年第6期。

摘要：医疗人工智能正在以前所未见的席卷之势深刻影响甚至改变着医疗服务的模式。医疗服务涉及人的生命权和健康权，安全性是其不可逾越的红线。当前，监管赶不上人工智能技术迭代的速度、传统外在监管模式作用削弱、研发生产主体的内置监管机制不可或缺等独特现象，正呼唤以“嵌入式监管模式”为代表的监管和治理模式创新。该模式是在包括“硬法”和“软法”等法律及政策等规范基础上亟需建立的法律监管模式，包括：各阶段和节点的质量标准；机构和单位内部设置的合规监管与质量复核专职人员和岗位；法律及伦理审查机制和程序；跨学科、跨部门和跨领域的联合工作机制等构成部分。该模式的具体监管机制应以人民健康为中心，以问题为导向，按照医疗人工智能的运行规律、特点及潜在风险源，统筹设计，推动监管制度创新。

人工智能（下文简称“AI”），尤其是生成式人工智能，正深刻改变当今世界产业及包括医疗卫生在内的各社会领域的格局。在拥抱、鼓励和推动AI发展的同时，如何科学、审慎地建立和完善AI监管体系已成为不容忽视和必须完成的重大任务。为此，笔者试图在厘清医疗AI发展现状及其内在规律、特点和缺陷的基础上，提出建构全方位监管生成式AI在医疗领域应用的“嵌入式法律监管模式”及相应机制，以推动生成式医疗AI的健康和高质量的快速发展，助力健康中国和法治中国建设。

一、医疗人工智能的发展与法律监管现状

医疗卫生领域是人工智能应用的重要场景。医疗AI的迅猛发展，也将带来医疗卫生服务模式的深刻变革。有关调研显示，全球多个国家中，“59%的机构已将AI系统融入产品和服务开发，72%实现效率提升，39%改善了财务状况”。其中，“中国医疗行业的数字化积累和场景渗透度均位居前列”“2024年中国诊疗人次超100亿，产生海量临床数据”；“电子病历普及率持续提升”；“加之移动医疗与穿戴设备的普及，院外健康行为数据也在以前所未有的速度汇集”；“赋能AI在AI诊疗、精准医疗、新药研发等场景发力”。自2025年1月我国自主研发的生成式AI即DeepSeek-R1（深度求索）大语言模型发布，到同年5月8日，已有包括大医院到基层医院在内的755所医疗机构本地化部署这一开源大模型。截至2025年8月18日，“国家药监局已批准超过110款基于深度学习的第三类医疗器械独立软件产品，产品用途包括辅助分诊与评估、辅助识别与检测、辅助治疗等，数据类型包括CT图像、X射线图像、眼底图像等9种类型，涵盖了当前国际上常见的人工智能技术应用场景”。可见，生成式AI在医疗领域的发展尤其迅速。

“生成式AI，是指具有文本、图片、音频、视频等内容生成能力的模型及相关技术。”不同于传统AI仅具有处理和分析输入数据的功能，它具有深度学习并模拟事物内在规律，根据用户输入的资料推理，并生成具有逻辑性、连续性和自洽性的新内容。在生成式AI加速迭代发展并推动科技和产业革命的同时，“其暴露出的安全风险也引发了各国监管部门的广泛关注，意大利、德国、法国、西班牙等多个国家的数据保护监管机构对ChatGPT表达担忧或发起调查”。

“由于对患者的医疗和诊断具有高风险性，对AI和生成式AI在医疗领域的监管更具错综复杂的挑战性。”生成式医疗AI发展，使这一监管短板暴露出来。因此，世界卫生组织和主要国家在推动医疗AI发展的同时，无不强调其安全性。世卫组织2021年发布《卫生领域人工智能的伦理和治理：世卫组织指南》（Ethics and Governance of Artificial Intelligence for Health: WHO Guidance），一方面“最大限度地发挥AI优势”，另一方面“最大限度地降低其风险并避免其陷阱”；2023年发布《医疗卫生领域人工智能的监管考量》（Regulatory considerations on artificial intelligence for health），提出把“存档和透明度、风险治理和AI系统发展全生命周期视角、预期用途与分析和临床验证、AI数据质量、隐私权和数据保护、参与与合作”作为治理主要环节，及政府和监管机构在国家或区域制定AI监管指南遵循“风险—收益评估”“AI运行评估与监测”“透明”“安全”等主要原则。

欧盟于2024年通过的首部《人工智能法案》（EU AI Act 2024）是以风险防控为基调的AI法律，将AI风险防范置于优先位置，在第二、三和四章分别规定“禁止的AI操作”“高风险AI系统”和“AI系统提供和使用方的公开义务”，把AI划分为“禁止性”（不可接受的，Prohibited或Unacceptable）、“高风险”（High-Risk）、“有限风险”（Limited）和“最小风险”（minimal）四类分类管理。美国则更倾向于推动AI的发展，除几个州有生成式AI立法和联邦主管部门出台的指南外，尚未制定联邦层面的统一法案，其立法“采取了风险导向、分领域、高层行政主导的风险管理立场”，重点放在“控制损害而非预防损害上”。参议员泰德·克鲁斯（Ted Cruz）呼吁要审慎评价该欧盟法案，“美国作为AI创新的长期领导者不应采取欧盟谨慎第一的态度，这种态度将阻碍技术发展并减缓国内经济发展”。

在我国，党的二十届三中全会通过的《中共中央关于进一步全面深化改革 推进中国式现代化的决定》明确将人工智能等高新技术列为战略性产业。《中共中央关于制定国民经济和社会发展第十五个五年规划的建议》强调，“加快建设健康中国。实施医疗卫生强基工程，推进全民健康数智化建设”，“全面实施‘人工智能+’行动……全方位赋能千行百业。加强人工智能治理，完善相关法律法规、政策制度、应用规范、伦理准则”。国务院发布《关于深入实施“人工智能+”行动的意见》（国发〔2025〕11号）、《关于加快场景创新以人工智能高水平应用促进经济高质量发展的指导意见》（国办发〔2025〕37号）等为我国AI发展绘制蓝图。卫生健康委等主管部门也相继出台《关于促进和规范“人工智能+医疗卫生”应用发展的实施意见》（国卫办规划发〔2025〕30号）、《互联网信息服务算法推荐管理规定》（国家网信办等〔2021〕令第9号）、《生成式人工智能服务管理暂行办法》（国家网信办等〔2023〕令第15号）等与医疗AI应用有关的具体指南和办法，在鼓励医疗AI尤其是生成式医疗AI发展的同时，也明确提出设置相应监管制度和机制要求。

二、AI法律监管的特殊性及嵌入式法律监管模式的必要性

面对AI技术革命及其导致的人类社会和经济格局深度重构，新型AI监管模式亟待建构。国际组织和各国出台对AI及其在医疗领域应用的监管法律和指南，因AI技术发展日新月异，急剧式和颠覆性变革掩盖了伴生而来的问题和风险，凸显当前AI法律监管模式与AI发展规律脱节。

（一）AI发展规律及相应法律监管的特性

新型AI监管模式有别于传统的社会监管和治理模式。它应当符合AI发展运行规律，具有显著特殊性的法律监管模式。因此，要建构新型AI监管体系就必须了解AI发展的内在规律。

1.法律监管机制跟不上AI技术发展的速度

现代工业革命发轫于18世纪中叶。以蒸汽机为代表的第一次工业革命（大约1760年左右到1840年左右）覆盖到欧洲和北美；以电气化和组装线为代表的第二次工业革命（从19世纪末到20世纪）覆盖到世界大多数地区；以电脑、互联网和数字化为代表的第三次工业革命（从20世纪60年代开始）加速在全球推广；以AI技术和数字革命为代表的第四次工业革命（从20世纪初开始）爆发式发展更为迅速；纺锤作为第一次工业革命的标志用了120年才走出欧洲，而互联网仅用不到10年的时间就扩展到全球。“人工智能领域近年来正迎来一场由生成式人工智能大模型引领的爆发式发展。”前三次工业革命赋能人的肢体（体力或操作能力），AI则赋能人的智慧（学习、推理和决策能力）并带来颠覆性的深刻影响。

生成式AI在数年间的指数级增长，客观上使监管机构和法律人无法及时或完全摸清其内在规律尤其潜在风险，只能根据可见或预见的风险提出粗线条的监管框架，导致法律监管机制滞后、粗糙、操作性差，出现监管断层。加上监管和法律部门缺少深入了解AI的专家和复合型人才，尤其是法学囿于传统的惯性思维，法律监管研究往往聚焦于AI技术和数据的所有权、知识产权、个人隐私权、侵权责任等传统法律问题。尽管这些法律问题确实重要，但其关注点在如何设立法律视角下的外在监管，缺乏对契合AI内在规律且紧扣其关键节点的嵌入式法律监管制度和机制的关注。

2.软法引领的AI监管的法律模式

由于AI技术发展迅速，通过传统成文法形式进行规范的路径遇到一些障碍，即成文法的制定（如我国的法律、法规和规章等）需要一定时间，以往看准了再立法的做法已不完全适应当前形势发展的需要，因此“那些不依靠国家强制力保证实施的法规范”，“由部分国家法规范与全部社会法规范共同构成”的“软法”发挥了突出作用。各级主管机构和社会组织，包括“立法机构”和非立法机构（行政主管部门、行业组织等），可以采取更快捷的路径，及时制定针对性较强的“软法”，即包括政策、规划、通知、办法、标准、指南等“规范性文件”，监管已暴露或潜在的AI风险。

世界银行认为：AI治理的监管包括四种方法，即行业自治、软法、监管沙盒和硬法；它们各有独特优势和局限，因此AI治理不能依赖单一的、通常方法，而应“采用灵活、适应性强的治理框架”，并“应随着技术进步和社会变革而不断发展”。针对AI的国际治理，它指出：“软法包括非约束性国际协议、国际人工智能原则和技术标准，提供了促进负责任创新适应性框架”，也包括一些国家制定的《国家人工智能原则和伦理框架》《人工智能伦理开发与实施指南》《人工智能权利伦理原则》及各种标准。我国发布的有关AI发展的规划、意见、指南等各种规范性文件充分体现出软法在构建AI法律治理中的显著作用。因此在构建体系化AI监管制度时，应“采用‘软法先行’立法策略”。

各国实践证明：AI法律监管体系不仅包括硬法，也包括范围广泛的软法；软法在其中的作用更突出，尤其是宏观政策和规划在推动AI研发和产业发展中发挥着不可替代的作用，具体办法、指南等规范性文件更具针对性、实用性和灵活性，企业内在监管规范和机制的作用也愈发凸显；从长远看，在积累足够的经验和逐步摸清AI发展规律和风险的基础上，再制定全国性或综合性的硬法，是切合实际的路径。

3.医疗AI监管机制需要多元共治

AI产品全生命周期链条长，包括研发、部署、训练、使用和更新升级等环节，涉及跨领域、跨部门的多元参与主体，其监管主体也呈跨部门和组织的多元结构。世界银行提出“应采用多元利益相关方的方法”，“政策制定者应让包括行业、民间社会组织和学术界在内的不同利益相关方参与进来，以确保人工智能治理框架具有包容性、全面性和符合伦理标准”。

由于医疗服务是人民群众高度关注的重大民生问题，医疗安全是医疗服务的生命线，因此AI在医疗服务中的广泛应用也必须以安全为底线，“安全是AI在医疗领域应用面临的最大挑战之一”。医疗AI可以大致分为对医疗行政与秩序的AI（如导诊等）和对深度介入诊治等实质医疗服务的AI（如AI诊断、手术等）。后者对医疗安全的影响最突出，应是医疗AI法律监管的重点。

医疗AI全生命周期环节多，在构建医疗AI监管机制时，应充分考虑AI在医疗领域运行中跨行业、跨领域、多元主体参与特点，建立多元共治与行业和企业自治的监管体系，“充分发挥新型举国体制优势，建构跨领域、跨部门的协作机制，明确各部门在人工智能领域的职能与责任，强化整体治理能力”；“清晰界定不同环节的要求更有利于降低生成式人工智能的安全风险，增强制度的可落地性”。建构外部监管机制时，还应从法律（包括硬法与软法）上要求研发、部署、服务和使用方建立内部监管制度和机制，严把各关键程序和节点，防范和消除风险，依法自治，确保医疗AI技术和产品的安全性。AI尤其是生成式AI具有内在的“算法黑箱”“不可解释性”“幻觉”“欺骗”等缺陷，外在监管往往是事后回顾性监管，而内在监管（嵌入式监管）则是在AI产品全生命周期的设计、训练、使用等关键环节和节点上的自治性监管，具有同步性和及时性等源头监管特点和优势。

4.推动AI发展与法律监管之间的平衡

AI的爆发式发展不仅是一场技术革命，而且对社会生活方方面面乃至社会结构产生深远影响，同时也会带来不可预见的风险。“如何确保政府采取恰如其分的方法，既推动AI创新发展，也减少其潜在的风险，是一项棘手的工作。”如前所述，我国出台了一系列鼓励AI发展的政策、规划、法规等多样型规范性文件，但尚未制定统一的全国性或综合性法律。美国也是通过包括行政令和主管部门指南等文件在推动AI发展，尚未制定相关法律。美国在2025年11月24日签发《创世规划行动》（Launching The Genesis Mission）和12月11日签发《确保人工智能国家政策框架》（Ensuring A National Policy Framework For Artificial Intelligence）为标题的总统令，为赢得在AI领域的竞争，制定和实施与二战时期“曼哈顿计划”类似的规划，并简化AI审批程序。可见中美两国作为AI领域的竞争对手，不约而同，都采取类似政策主导的更灵活的治理手段。

欧盟虽然也大力鼓励AI发展，但在其制定的综合性《人工智能法案》则以风险防控为基调，设立了全面的风险防控制度。面对当前全球性的AI竞争态势，欧盟也在反思其做法，于2025年11月19日发布了《有关AI的数字综合提案》（Digital Omnibus On AI），旨在简化有关AI、数据和网络安全的规则，减少在行政和合规方面花费的时间和成本，建立统一的综合数据平台，出台将“高风险AI”管理规则的生效时间与支持工具（包括机构、程序、标准等）的建立和完善挂钩等一系列措施。

各国实践表明，面对AI技术革命的爆发，各国首先要考虑的是如何运用政策、法律工具，推动AI发展，在此基础上高度重视防范已知和未知的风险，建立和逐步完善法律监管机制。着眼于未来，AI的健康和可持续发展离不开科学、有效和不断完善的法律监管机制的保障。

（二）嵌入式AI法律监管模式

目前，多数有关医疗AI监管的法学研究往往聚焦于医疗AI技术的所有权、产品损害责任、数据安全和隐私保护、网络安全、知识产权等外在问题的法律对策，而对AI产品自身的安全性、有效性和透明性，以及对其设计、生成、训练、运行和使用等关键环节的内在法律监管研究则缺乏深入分析和制度建议。二者相比，后者与医疗AI安全保障的关系更紧密，是根据AI发展规律建构更为敏捷且嵌入AI体系的内在监管措施和机制，即嵌入式AI法律监管机制。概括而言，嵌入式法律监管机制是指在法律等规范基础上建立并按照主管部门和行业要求，由企业和经营主体（AI研发、部署、训练、使用、维护更新等）在机构内建立、深度嵌入AI产品研发到使用的各个阶段和关键节点，以自治为主的法律监管制度和机制。世界银行文件指出：“企业自治的优势是：如果能够整合到其工作模式和企业文化中，能够直接影响AI实践。其局限是：没有法律强制力；不适用于具有高风险的领域，如金融或医疗；有‘道德洗白’的风险。”确实，对于高风险领域，自治显得有些薄弱。但这并不能否认自治的优势，而其弱项则可通过法律（硬法）和主管部门的硬性要求得到强化。这种做法在金融领域和药品监管领域均得到证实。例如，在全球金融危机后，各国均立法要求金融机构建立内部的监管和合规审查部门，并将其作为政府监管部门监管的主要内容，如果没有建立这些机构或其运行不规范，监管部门可以直接依法处罚。这种做法有效简化政府监管程序和工作量，同时强化金融监管落地与细化。再如，各国对于药品监管也是不断通过法律强化企业内在的监管机制和力度，设立了“上市许可持有人”（Marketing Authorization Holder，MAH）制度、药品临床试验质量管理规范（Good Clinical Practice, GCP）等一系列质量管理规范。

我国发布的《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》《人工智能生成合成内容标识办法》《新一代人工智能伦理规范》《人工智能伦理治理标准化指南》等规章和规范性文件均对AI技术的研发、部署、服务提供等主体提出了风险防范等具体要求，实际上体现了强化行业、企业和相关主体的法律和伦理责任的必然趋势。

自治型的嵌入式法律监管机制和由主管部门主导的外在法律监管机制不可截然分开，而是相互依存、相得益彰的关系。例如，国家立法和主管部门通过法律（硬法）和规范性文件（软法）要求AI相关机构和企业设立嵌入式监管机制，监管这些机制的运行，对违反这些要求的予以法律处罚；嵌入式监管机制则把国家和主管部门的原则、质量要求等抽象的规范具体细化，通过自我监管从源头上确保医疗AI的安全性、有效性和科学性。它们共同构成符合AI法律监管特点、以嵌入式法律监管机制为主、外在法律和规范为支撑的全方位法律监管模式。否则政府机构由于缺乏相应人才和资源，无法直接对众多企业实地实时监管；企业在没有法律明文规定和政府强力推动的情况下，也难以持续开展自治性监管。

一般而言，对所有权、知识产权、隐私权和数据安全等问题的讨论确实很重要，也是AI发展带来的必须解决的法律问题；但是它们仍属传统法律题目的范围，尚未深度切入AI技术的内在机理和过程，也未抓住医疗AI安全性等核心问题，导致法律研究和制度建议游离于AI之外，法律监管与AI发展难以真正融合在一起。AI的快速发展和普及呼唤监管模式的创新。很多AI专业人士已经指出：“欺骗”等AI风险“不仅是单纯的技术对齐问题，而且是对治理的挑战”；“进展取决于安全研究与治理创新的结合”，确保大模型无法利用制度的盲点隐藏、放大或预设各种风险。嵌入式法律监管机制正是符合AI技术发展趋势，强调法律监管植入AI体系之内，围绕其内在问题和风险展开并提出的契合其发展规律的新型内在监管机制。

嵌入式医疗AI法律监管机制应当包括以下构成部分：

一是，各阶段和节点的质量标准。安全是医疗服务、药品、医疗器械的底线，而安全需要通过具体标准、规范和程序才能实现。各国对于药品和医疗器械的研发、生产等环节及医疗服务均有严格的安全质量标准，如药品研发生产中的“非临床研究质量管理规范”（GLP）、“临床研究质量管理规范”（GCP）和“生产质量管理规范”（GMP）等组成的药品质量管理规范体系。它们分别适用于研发方、临床实验方和生产方等不同主体和环节的质量管理。医疗AI也是服务于健康的产品和工具，对其质量要求也必须明确、具体和可操作。

二是，机构和单位内部设置的合规监管和质量复核专职人员和岗位。医疗AI如同药品一样，质量的保障不仅需要标准，也需要在关键环节有专门的质量监管人员检验和复核，并建立相应的质量检验和复核记录。

三是法律及伦理审查机制和程序。医疗AI的服务对象和最终用户是患者或有健康需求的人，这就涉及相应的伦理和法律问题，如患者权利保障、禁止性医疗行为、收益和风险评估等。在一些关键节点上必须坚守人的主体性和人机对齐原则，设立专家复核复审及伦理评估程序。四是，跨学科、跨部门和跨领域的联合工作组。AI本身的研发、部署、训练、供应和使用的链条长，参与方多，横跨多领域和多部门，需要不同类型专家的参与。医疗AI更是如此，因此不能仅靠科技专家（计算机、网络等工程师）闭门造车，而应吸纳包括特定场景专业人员（如医师和药师）、法律专业人员共同参加。例如，医疗AI产品需要把相关法律和伦理规范内化于AI算法、数据、训练、服务和使用之中，使医疗服务必须遵守的法律和伦理规范成为AI运行自动依循的内在约束。再如，如何排除有偏见或不可靠的数据，排除使用者的主观偏见，需要专门领域的专家参与才能实现。

本文聚焦医疗AI的监管机制，但在更广泛的意义上，根据AI应用的不同场景和行业的特定需求、规律、风险和环境，经过“量身打造”，“嵌入式AI监管机制”也同样可以适用于AI应用的其他特殊场景和领域。再延伸开来，以AI为代表的诸多高新科技领域都具有发展迅猛、监管滞后等特点，制度创新也成为时代呼唤，只有制度创新才能进一步保障和推动科技创新。因此，“嵌入式监管模式”也同样适用高新科技带来的新模态，成为其制度创新不可或缺的组成部分。

三、医疗AI的风险分析

源头监管，即把法律治理内置于AI的全生命周期之中，需要深入了解AI软件从研发到使用的全过程和规律，抓住其中各个阶段的关键环节和节点，排查可能出现的安全隐患和风险，才能有效地管控医疗AI已有或潜在风险。

第一，AI算法设计缺陷。“机器学习的算法是AI的心脏。算法被转换为代码，其中包含为快速分析输入（资料）并从中推导出结论、信息或其他产出的指令。”算法的科学性和精确性决定AI产出的质量。虽然算法不断突破人类的认知边界，但它的进化永无止境。算法中的任何微小失误或缺陷，都会带来不可预见的损害。根据学者对美国食品药品监督局批准的与AI/ML（机器学习）有关的医疗器械的跟踪分析，“受AI/ML器械影响的召回高达87%”，“根本原因是与设备设计和软件设计相关的召回占50%”，“另外，软件的变更，包括设计变更和控制变更，也对AI/ML器械的召回具有实质影响”。可见，算法设计缺陷和软件变更是导致医疗AI器械召回的两个主要原因。此外，开源大模型的出现使人们可以把模型部署到自己的基础设施或设备上，“将催生更多基于底层模型的二次创新”。这当然是我国AI技术发展值得肯定的特色，但在不同领域和层面的“二次创新”也会导致创新中改变算法或算法与特定应用场景不匹配的问题。

第二，AI“黑箱”问题。“黑箱”（Black Box）现象是指“其内部运作无法公开，只有输入和输出是已知的”。也就是说，黑箱是AI运行中难以被外界观察和理解的隐层机制。“这并非设计师的故意刁难，而是AI的固有属性，很多时候，AI的设计者也无法解释AI的决策。”这就导致一些决策面临无法解释和缺乏透明度的窘境。而医疗服务建立在循证医学基础上，需要科学论证；患者的知情同意权也要求医师能够把诊疗方案向患者解释清楚。医疗AI的黑箱现象与医疗服务的透明性和循证要求相互矛盾甚至对立，不仅为医疗服务的安全性带来新的风险，而且影响医患关系。“据调研，国内患者对于无法解释的AI介入诊断和治疗环节普遍持排斥心理……国外也是类似的情形。而且，医生似乎比患者更加排斥医疗AI，基于固有的强调科学和逻辑的思维方式，医生不太愿意相信和依赖他们无法解释的事物。”此外，在医疗AI快速发展态势下，尚不能排除为“跑马圈地”“吸引客户”而出现忽视甚至掩盖设计缺陷或以黑箱为由得出似是而非的诊疗方案现象。也有些学者认为：医疗AI算法黑箱的问题比很多学者认为的小，在医疗实践中有很多无法解释的病理和药理，并没有给医疗服务造成不可逾越的障碍。但实际上，AI黑箱造成的不可解释性与医师对真实世界验证的实践作法的不可解释性并非一回事。

第三，AI依赖的大数据质量良莠不齐。大数据是AI的原始素材，其质量高下直接决定AI运行的可靠性和科学性。正如业内人士指出的那样，“数据质量是一大制约因素。人工智能的有效性取决于高质量的结构化数据，但医疗健康数据往往呈现分散、不一致等特征，并由不同部门独立存储。此外，对数据安全和患者隐私的担忧，也对人工智能的成功实施，构成重大风险。解决数据标准化治理和集成问题，对于人工智能输出可靠、可行的见解至关重要”。事实上，“很多AI模型是用过往积累的医疗资料数据训练的。这些过往资料数据包括在以往医疗过程中存在的不平等和差异性。例如，有些人群接受的医疗服务水平比其他人群差”。不同地区和不同层次的医疗机构在引入开源大模型后，用以训练的数据也往往基于自身积累和能够收集到的数据，不仅带有地域色彩，其质量也会因医疗水平、数据范围、服务对象的不同而参差不齐。加上有些数据是实验室形成或某种类型疾病的数据，离临床面对的、受各种不同因素叠加影响的真实病例有某种差距，也会导致医疗AI的结果出现偏差。例如，国际商用机器公司沃森肿瘤（IBM Watson for Oncology）机器人医生运用AI算法筛查肿瘤，提出了一个“不安全且不正确”的肿瘤治疗方案。经查证，问题出在训练该AI算法的数据没有用真实的病例而是用少数由斯隆-凯特琳癌症中心的医生“合成的”癌症病例训练的。

我国人口基数大，具有海量数据，但数据不规范、不统一和信息孤岛等问题，甚至数据不完整、不真实和造假等问题，确实是医疗AI亟须解决的难题。

第四，数据分析、解读和标注质量不高。作为原始素材的数据需要标注，转化为应用于AI的代码等计算机语言。“训练数据的采集、存储、清洗和预处理等工作都是由人类完成的，操作人员的品质直接影响训练数据的品质。目前看，大量的医疗AI仍然需要人类标注训练数据，数据标注由此成为一项重要的工作。即使数据本身真实且有代表性，但若数据标注环节出现问题，一切都将变得没有意义。”当前，大数据标注主要由数据标注员完成，标注员的水平和知识结构直接影响数据标注的质量。医疗AI软件的标注员不仅应具有相应的计算机资质，也应具有相应的医学知识。而我国一些医疗AI软件的开发商为了尽快占领市场和开发客户，对标注员的资质要求不高，从而导致AI运行结果不可靠甚至张冠李戴等不实和虚假结论。此外，国外一些真实事例表明，人种、性别、年龄、阶层等因素会影响数据的筛选、标注和训练，导致出现AI偏见。例如，美国某种用于皮肤癌诊断的影像分析AI用于训练的影像多为白种人的影像，导致深肤色患者影像的分析出现错误。

第五，AI幻觉（AI Hallucination）。随着生成式AI的出现，一种新的风险——AI幻觉，浮出水面，即“AI生成的结果在事实上并不正确，但看上去却似是而非。这些模型的复杂性和不透明性使得难以预测和控制幻觉何时会发生，在医疗保健……等关键应用中构成了重大风险”。各国实践表明，AI和人一样也会产生幻觉。通用AI的“一些大模型一本正经‘胡说八道’”。例如，有报道称：“向AI提问基孔肯雅热可能人传人，如何隔离病人？”AI回答：“理论上，病毒可能通过以下途径在人与人之间传播。”而实际上该病的传播是蚊子导致的。有患者向AI问膝盖内长了个鼓包并附上照片，AI回复说可能是滑膜炎，但其后医院诊断为静脉曲张并需要手术。导致其幻觉形成的重要原因是AI吸收的原始数据不足、错误或本身带有偏见，从而陷入生成的事实和观点错误。在训练和使用阶段，AI按照指令生成结论，由于提示的语言、术语、角度、心态、专业水平和潜在意图不同，同样的AI软件在不同使用者手中会产出不同的结果，甚至会无中生有，虚构情节，生成不存在的注释和数据。“最新研究表明，幻觉可能是所有大语言模型的内在和原理特性。”因此在使用医疗AI时，使用者尤其要注意在诊断、开具处方、临床试验等关键环节防范和消除幻觉。

第六，AI的“讨好”倾向（Sycophancy）。一项近期发表的系统性“研究分析表明，AI模型比人类的讨好倾向高出50%”。导致这一现象的主要原因是：其一，AI模型是基于即时用户的满意度优化的，讨好的答复会提升用户满意度，因此AI以满意度为指标而非以准确度或建设性为指标；其二，AI开发者的动机是推广其产品，因此缺乏遏制献媚的动力；其三，以弱化或牺牲其社会关系为代价，引导用户依赖其AI产品甚至寻求情感支持。在信息化时代，医疗AI产品既是治病救人的工具又是市场上的商品。其设计者、经销商和使用者都希望吸引更多用户，因此不可避免地具有内在、自洽的迎合倾向。其自我完善的内在驱动促使它分析并抓住用户心理，甚至不惜逾越法律和道德的界限迎合客户。据报道，美国已经出现ChatGPT忽视使用者心理问题甚至自杀倾向，在一定程度上导致其自杀的事例。对此，OpenAI特地加设了相应的触发机制，自动与心理咨询和救助机构链接，但其效果仍有待进一步证明。在“过度医疗”和“过度用药”等问题得到根本扭转之前，如果医疗AI使用的数据包括这类不当却通行的做法，就很难排除一些医疗AI软件为此类行为提供论证的可能性，从而造成不当医疗服务的常规化。

第七，AI的“欺骗行为”（Deception）。AI的“欺骗行为”出现在生成式AI、多模态大模型等前沿领域，已成为值得关注的安全问题。它不是指主观上是否具有欺骗目的的行为，而是指“从功能角度看，误导人或其他AI系统并产生与该AI目标对齐的结果的行为。因此它可以被理解为以信号为基础的模型运行过程，即信号输出方发出信号，该信号诱导接收方形成错误看法并在此看法上做出理性反应，从而产生对输出方实际或潜在利益不利结果的过程”。它与AI幻觉不同，幻觉是生成与所提供的数据不同的错误或不真实的内容，反映出其运行能力不足或数据训练的缺陷；而欺骗则是具有强大算力和推理能力，诱导接收方做出错误判断和反应的行为。从该角度讲，“欺骗行为不是特殊情况的结果，而是交互式AI系统内在构成结构的结果”。当前对“欺骗行为”造成的实际后果的报道不多，但随着AI智能化水平快速提升，其确实是值得高度关注和防控的新型AI风险。

四、嵌入式医疗AI的法律治理框架

AI的发展对当代科技乃至人类社会产生了颠覆性的变化。为维护人类命运共同体的福祉和可持续发展，包括法律治理在内的AI治理体系也面临制度创新的挑战和使命。治理体系创新需要顶层设计，首先是对其基本原则的梳理和确立，其次是具体制度框架的设计。

（一）嵌入式医疗AI法律治理的基本原则

基本原则是法律治理体系的根本宗旨和价值取向的体现，起着统领具体制度和机制的重要作用。基于AI发展的基本规律和特性、综合分析国内外相关政策和法律，笔者提出如下嵌入式医疗AI法律治理体系的基本原则。

第一，坚持人的自主权（Autonomy）原则。世卫组织发布的《医疗卫生中人工智能的伦理和治理指南》提出了六项基本原则，第一项就是“保护人的自主权原则”。世间所有事物中，人是第一宝贵的；人的自主权是人类命运共同体赖以存续的核心原则；以人为本是包括医疗服务在内的各项事业发展的根本目标。而AI的广泛应用会导致人的自主权被机器的决策权侵蚀甚至取代，从而导致人对AI的依赖，“人类在医疗领域的主体地位和决策权面临削弱的趋势”。这种趋势直接对患者的知情同意权、隐私权，对服务方为患者提供安全、有效、可及、可负担的医疗救治职责造成了冲击。AI“基本理论框架建立在演绎逻辑和语义描述与形式化方法的基础上”，运用人类语言模型形成了对人类智能的模拟和再造，甚至表现出超越人类思维速度和能力的优势；但从本质上看，AI不具备人对物质和精神世界的真实体验，不可能取代人类。面对AI黑箱、幻觉和欺骗等无法解释的弊端，亟须深入研究AI的自动化与人的自主权之间的关系、AI应用情况下的知情同意权、信息权等问题，重新设计以人的自主权为中心的法律治理体系。因此，我国《新一代人工智能伦理规范》《人工智能理论治理标准化指南》均明确规定坚持人的主体地位和自主权。

第二，贯彻“人机对齐”（Human-AI Alignment）原则。人机对齐被称为“AI对齐”，“旨在使人工智能系统的行为与人类的意图和价值观保持一致”。它是AI领域的核心议题，即AI作为辅助工具，必须与人的价值观和标准对齐，并始终置于人的控制之下，不取代人的主体地位和作用。在实际操作中，可以建立“以人为中心的AI框架（Human-Centred AI Framework），以便把AI伦理落实到人机交互和设计之中”。随着生成式和多模态AI等大模型计算系统的出现，人机互动频率更高，人机对齐原则也面临挑战；有观点认为，人机关系“已从传统的主仆关系进展到更为平等的队友关系”。尽管人对AI的依赖性在增强，人机交互更密集，但是在医疗AI领域，必须坚持“以人为本”的理念和保持人的自主权，将理性人的价值标准、伦理和法律界限融入AI之中。在医疗AI全生命周期运行的每个关键阶段和节点，尤其是在提供医疗服务阶段，均需贯彻这一原则，配备相应的医疗等专业人员复核和审查AI的运行及其结果。

第三，确保透明度（Tansparency）原则。AI技术的跨越发展推动了生产力的整体跃升。但是黑箱、幻觉等问题使其推理和决策过程缺乏透明度，其结果也缺乏可解释性。这不仅对现代医疗服务的循证医学造成了冲击，削弱了AI的可信度，也在一定程度上掩盖了AI可能带来的风险。虽然黑箱等问题不可能完全消除，但是强调透明度能够在很大程度上降低其风险。“人工智能的透明性是指在不伤害人工智能算法所有者利益的情况下，公开其人工智能系统中使用的源代码和数据，避免‘技术黑箱’。透明度要求在因知识产权等问题而不能完全公开算法代码的情况下，应当适当公开算法的操作规则、创建、验证过程，或者适当公开算法过程、后续实现、验证目标的适当记录。透明度的目的是为相关对象提供适当的信息，以便他们理解和增进信任。”透明度原则包含“可解释性”“可预测性”“定期披露和开源性”和“可追溯性”等具体内容和要求。这些要求是建构嵌入式医疗AI法律监管具体规范的基础，比如《互联网信息服务深度合成管理规定》中标注AI生成图像和文字，审查合成结果、保存有关记录和档案等具体法律规定。

第四，强化风险治理（Risk Governance）原则。AI技术会造福于人类，但是其自身具有和带来的现实与潜在风险也可能对人类社会造成巨大危害。因此要防患于未然，针对这些风险建立周密完善的防范机制。如前所述，传统由国家和主管部门建立的从上到下的纵向监管体系发挥着不可替代的主干作用，但是对于新兴AI技术的监管还需要内在的嵌入式监管机制，形成与现有监管体系配套的立体和全生命周期的监管体系。AI技术造成的风险很多都是其算法设计、模型训练、服务提供和应用过程中预埋设的已知或未知的缺陷和故障导致的，在后期使用中出现的风险的源头在前期的各个阶段已然存在。因此嵌入式监管要求把风险治理的防线和措施置于设计、训练、存储等各个环节，就如同人体中承担抵御病原体和清除异常细胞作用的免疫系统一样，能够从体内抵御疾病和病变；外界输入的抗菌素等药物是病发后的治疗，但最好的防范措施则是体内自生且不断加强的免疫系统。嵌入式的监管机制就是内在于AI全生命周期各个环节、治理源头风险的“人体免疫系统”，具有强烈的风险治理意识和功能。《生成式人工智能服务管理暂行办法》特别强调：“支持行业组织、企业、教育和科研机构、公共文化机构、有关专业机构等在生成式人工智能技术创新……风险防范等方面开展协作。”《新一代人工智能伦理规范》明确规定：“加强风险防范。增强底线思维和风险意识，加强人工智能发展的风险研判，及时开展系统的风险监测和评估，建立有效的风险预警机制，提示人工智能伦理风险管控和处置能力。”这些规定有显著的嵌入式监管的色彩，但是距系统的嵌入式监管体系还有一定距离。

第五，确立可问责（Accountability）原则。智能体等AI系统能够在人的指令下自行深度思考并提供结果，但是其研发、训练、提供服务和使用方等主体应履行并承担相应的责任，如相关规章规定的为生成式AI技术研发制定标准规则、开展数据标注质量评估、抽验标注内容的准确性、培训并监督指导标注人员工作、标识生成合成内容、培训使用人员、提出恰当指令和提示等责任。这里不存在所谓“技术中立”等免责理由。如世卫组织在《医疗人工智能的伦理和治理指南》中所说：AI的“责任可以通过‘人工担保’（human warranty）来确立，这意味着在人工智能技术的开发和部署过程中，需要由患者和临床医生参与评估。人工担保要求在算法的上游和下游，通过建立人工监督点落实监管原则。如果人工智能技术出现问题，必须有人承担责任”。

（二）嵌入式法律治理的具体机制和对策

在基本原则的指引下，针对医疗AI全生命周期各个阶段和节点的风险，可按AI流程的阶段、风险类型或治理机制类型，建立相应嵌入式法律治理体系。概括而言，该体系主要治理机制包括：基于人机对齐原则建立的算法评估和审查机制、伦理和法律审查机制、质量标准和验证信息披露机制、规范的数据采用机制、标注和使用等人员培训机制、包括医生在内多学科专家合作机制、在AI诊断结果等重要节点的人工复核机制和程序、产品跟踪和用户反馈处理机制、产品更新换代衔接机制、AI设计和使用等过程的信息保留制度、问责机制等。这些机制在AI生命周期的各阶段都会运用。

基于前文对医疗AI的风险划分，笔者针对不同的风险类型提出相应的治理对策。

第一，针对医疗AI算法设计缺陷的对策。受制于人类认知的局限，算法缺陷是当前AI技术无法完全消除的问题。就AI医疗器械而言，“由于人工智能/机器学习赋能医疗器械的动态特质和对算法持续学习的依赖，除标准的合规审查外，还应接受独特的审查。这些器械需要特殊的、能够涵盖算法适应性和不断变化的实际表现的审查方案。持续的市场分析和对用户反馈的积极整合同样极其重要，因为它们有助于及时发现和解决问题，从而防范软件逻辑错误、数据导致失误或算法不准确的问题”。这种审查机制不仅涉及算法的设计研发方，也涉及开源大模型二次创新方和在不同应用场景的部署方。采用的对策包括依法建立：人工或专门AI技术对算法准确性的复核机制；对算法设计及其缺陷的客观披露机制；对用户反馈的积极分析和整合机制；对特定应用场景的持续分析机制；对开源大模型二次创新算法的披露和申报机制。

第二，针对黑箱问题的对策。尽管人们对AI黑箱在实践中会造成多大风险看法不一，但我们不能不重视潜在风险。对此可以：强化对黑箱的多重检测，把已知或未知的黑箱问题登记建档；向用户披露黑箱问题；跟踪售后AI产品的黑箱现象，并提供相应的补救路径和措施；提醒用户警惕黑箱问题，并依法由临床医师复核AI提供的诊断和治疗方案。此外，政府主管部门也应当像北京市卫生健康委那样，建立医疗AI应用评测平台，开展相应的评测工作。

第三，针对数据品质问题的对策。医疗AI数据品质受数据范围、层次和出处的限制，例如医疗数据的孤岛现象仍是影响数据质量的主要原因。对此，我们可以采取：建立高质量的数据库和信息共享机制；建立数据的准入标准，及准入、核查和更新等机制；数据库涵盖的范围应尽可能广泛，数据应当涵盖不同年龄、性别、区域、阶层、生活方式等不同特色的群体，避免因数据不全导致的AI诊疗歧视（对于一些医疗机构基于开源大模型开发的AI产品而言，数据广泛性尤为重要）；单病种数据库留有与相关病种数据库或通用数据库的接口，避免出现数据库只能诊断单病种的现象；根据医学发展及时更新和增删相关数据；依法保障数据安全。

第四，针对数据标注质量问题的对策。原始医疗数据需要转换为代码等计算机语言，而这种转换通常由数据标注人员完成。标注人员既应了解计算机语言，也应了解基本的医学知识，而实际上标注人员的素质往往低于要求的标准。对此，《生成式人工智能服务管理暂行办法》第8条规定：“在生成式人工智能技术研发过程中进行数据标注的，提供者应当制定符合本办法要求的清晰、具体、可操作的标注规则；开展数据标注质量评估，抽样核验标注内容的准确性；培训标注人员，提升尊法守法意识，监督指导标注人员规范开展标注工作。”这里提到了：标注规则；评估、核验标注质量机制；对标注人员的培训机制和监督机制。此外还应建立标注员的准入标准和具有复合型知识背景的标注团队。

第五，针对幻觉问题的对策。鉴于AI幻觉主要是由于数据不全、指令缺陷等原因造成的，消减幻觉的对策主要包括：采取复核验证机制，如多层次验证的整合法（Chain-of Verification），确保其结果在应用前经过严格检验；数据库优化机制，不断补充新的数据，尽可能扩大数据范围；提升指令提示水平，加强对使用者（医师等）的能力训练；让使用者理解幻觉的潜在可能性，并自觉监测、反馈幻觉现象。

第六，针对讨好倾向的对策。为防止医疗AI软件的“讨好”倾向，扭曲或干扰医疗服务的公益性和科学性，有必要把相应的法律和伦理要求内置化，例如：量化“过度医疗”等逐利化行为，为治疗方案设立明确的科学标准；为医疗行为设立相应的法律和伦理边界，一旦触及其边界，自动触发警示和解决路径；对使用AI的医护人员进行技术培训，规范指令用语，警觉迎合性建议和方案，从不同角度提示，并对其人工或技术复核；优化对AI系统的评价体系，应以科学性、准确性和医疗服务公益性而非迎合程度为评价导向。

第七，针对欺骗行为的对策。AI欺骗行为是新浮现出来的问题，“不仅是技术对齐问题，而且是对治理的挑战”。可采用的对策包括：开发新的检测技术，包括运用技术手段消除欺骗激励，如OpenAI运用系统的思维链监管（systematic CoT monitoring）把GPT-5-thinking的欺骗率从前一版本的4.8%降到了2.1%；运用专门技术发现和评估AI欺骗行为，如采用“词袋模型支持向量机”（bag-of-words SVMs）检验AI的行为、文本和结果，发现欺骗行为。对齐审计机制，用于评估模型是否存有隐藏或欺骗性目标。跟踪AI欺骗行为，并建立相关档案。向利益相关方披露AI产品欺骗信息的机制。持续优化AI产品的机制。

发展与监管是AI崛起绕不开的难题。各国在该领域的竞争不仅仅是科技的竞争，在一定程度上也是监管体系的竞争。建立全方位的嵌入式AI监管体系不是阻碍，而是保障AI在医疗领域健康发展的必要举措；对医疗AI的全过程监管是卫生健康法治和国家治理体系现代化的重要组成部分。我国现有法规已对AI作出了规定，但仍然缺乏包括嵌入式监管机制的要求。因此，加强顶层设计，重视并系统地建立嵌入式AI法律监管体系是新技术革命时代一项亟待实施和完成的法治重任。

来源于“江西社会科学杂志社”公众号