当前医疗人工智能发展迅速，能够对结构化医疗数据和非结构化文本数据进行高效处理，在医疗保健、医学研究与药物开发、卫生系统管理、公共健康监测等场景中发挥了重要的作用^[1]18。但是，医疗人工智能系统的运行往往是不透明的，算法黑箱的存在隐匿了系统设计与使用的风险，引发了学界和社会的广泛的关注。

“可解释性”被视为打开算法黑箱的方法之一，对医疗人工智能合理、安全使用有着积极的意义。然而，医疗人工智能可解释性究竟具有多大的实际价值，学界对此存在分歧。以亚历克斯·约翰·伦敦（Alex John London）为代表的学者指出可解释性作用有限，医疗决策的准确性远比解释结果更为重要^[2]15，可解释性方法既不能精确地阐释算法黑箱，也无法完全消解算法黑箱的伦理风险^[3]。而Pierce等学者则认为可解释性在医学研究与临床实践中发挥着积极作用^[4]，医生往往更偏好可以理解的系统，而非更高准确性的黑箱系统^[5]1。

本文以医疗保健场景下人工智能应用为背景，从认知、伦理与实践维度，梳理学界关于可解释性争论的观点，讨论争论的根本分歧，并尝试提出可能的解决方法。

学界对可解释性暂时没有较为统一的界定。世界卫生组织在《医疗人工智能的使用指南》中指出：可解释性是根据解释对象的能力，提供系统如何设计和使用的解释^[1]5。Bauer等学者认为模型可解释性是指以人类可理解的语言，展示算法为何做出特定预测或决策的方法^[6]。闫坤如则认为构建可解释的人工智能，一是要揭示人工智能系统的因果性，二是对解释者来说具有可理解性^[7]。总体来说，对人工智能可解释性的界定主要从两个方面展开：在内容上提供对系统运行机制的解释，在方式上以受众可理解的语言呈现该解释。作为人工智能在医疗领域中的实际应用，医疗人工智能的可解释性在内容与方式上更为具体，是指以医疗活动参与者可以理解的方式，解释系统训练与决策机制，并提供系统输出的诊疗意见的依据。可解释性对于医疗人工智能的临床实践与系统稳定都有着较大的价值。它既可以提供临床诊断的相关证据，来帮助医生理解与改进治疗方案，同时通过呈现系统的工作机制，以更好地控制由于系统失灵、故障而产生的风险，增加了用户对系统的信任。对此，一些学者从认知、伦理与实践三个维度提出质疑，认为医疗人工智能并不需要可解释性，可解释性的作用有限，缺乏可解释性也不会影响医疗人工智能的使用。

从认知维度来看，医学中缺乏基于因果关系的可解释性知识。不确定性和不完整性是医学知识的普遍特征。现代医学从古希腊发展至今，缺乏某些疾病的病理学知识或特定药物潜在因果发生机制的现象普遍存在于医疗决策和实践中。London指出：“医学不是一种技术意义上的生产性科学。尽管医学的潜在机制存在高度不确定性，但它通常有效地运作。”^[2]17大部分医疗知识来源于经验总结和临床实验，而非像理工科一样，存在着基于严格因果关系上的理论解释。阿司匹林是医学史中的典型案例。其药理机制未被阐明前，就已经得到大规模应用。由于疾病病理学和药物机制是不确定的或是未知的，所以在任何药物和医疗技术的大规模推广前都需要通过严格的动物实验和临床试验，以评估其实际药效和对人类的潜在影响。因此，相较于建立在因果性上的理论推理，医学知识更重视基于经验证据的证明。在医学中过度依赖可解释性，有时会产生更难以验证的经验性主张，从而造成灾难性的后果^[2]18。同样，以深度学习为代表的人工智能技术也无法用严格的因果关系进行理解。当前机器学习是以概率论和统计学的相关知识为基础构建，即使用户将输入数据设置为与决策有因果关系的变量，生成的模型也只能反映数据的关联性，但这些关联有何种因果关系是未知的。从这个角度看，机器学习与医疗实践是高度相似的，都以相关性知识为基础。可解释性往往要求一种逻辑论证，即对某种行为提供理由或者提供决策产生的原因。对医疗人工智能的可解释性要求，既不与医学的特点相符合，也不与人工智能技术相吻合。

从伦理维度来看，可解释性的伦理价值存在着争议。可解释性并不能完全解决算法黑箱的伦理风险，甚至在技术上其他方法比可解释性更有优势。在安全性与可靠性上，医学领域已经建立一套完整的黑箱管理办法。由于大量药物和技术设备的功能和机制类似于黑箱，医疗系统往往依靠严格的实证检验。大量的事实已经证明，基于严格实证检验得出的结果往往比解释因果关系的理论更加有效。随机对照试验一直是评估医疗干预的标准方法。例如乙酰氨基酚经过大量的随机对照试验（Randomized Controlled Trial）的验证，被证明是一种安全有效的止痛药，但对其药物病理学至今仍有不同解释。如果医疗人工智能经过严格的验证程序，并将其限制在经过实证验证的特定任务中，那么医疗人工智能就是安全与可靠的。在可信赖的问题上，如今技术工具的功能与结构越来越复杂，即使无法清楚知道技术原理也不影响其正常使用。其主要原因在于大多数技术都有着严格的质量标准与监管程序。如果能够对医疗人工智能设定合适的质量标准与监管框架，可解释性的缺失并不会影响到人们在使用中对该工具的信任。Durán提出了算法黑箱的计算可靠性（Computer Reliability）。计算可靠性承认了人类认知上的局限性，通过提供信任算法及其结果的理由来规避认知问题。在他看来，四个可靠性指标为医疗人工智能系统结果的可靠性提供了理由^[8]。而对于模型中潜在的偏见与歧视问题，可解释性的作用被夸大且存在着替代方式。即使采用相对简单且易于解释的算法，也需要一定的思维能力和领域专业知识，才能揭示和纠正算法中存在的潜在偏见^[9]。而Obermeyer等学者发现了通过更改数据集或者数据集标签的方式，可以在无法解释的系统中找到偏见因素^[10]。

从实践维度来看，当前的可解释性方法的效果有限。人工智能可解释性的方法可以分为内在可解释性（Inherent or Intrinsic Explainability）与事后可解释性（Post-hoc Explainability）。内在可解释性试图构建一个简单透明的模型，清晰地呈现出人工智能决策的过程，以增强系统的可解释性。然而，在以深度学习为代表的算法中，表现最好的算法往往是最不透明的，而提供清晰解释的方法（例如决策树）往往不太准确^[11]。高性能人工智能系统的开发过程中不可避免地会带来一定程度的复杂性，从而影响到系统在实践中的操作直观性和可解释性，而基于内在可解释性的深度学习几乎难以实现。医疗人工智能的准确性是该技术得以应用的基本条件，也是医疗人工智能算法黑箱被一些学者所接受的基础。医疗人工智能强大的性能与对可解释性的要求并没有直接关联，但过高的可解释性会损害医疗人工智能的功能与效率。如果不能充分识别可解释性所带来的收益能够抵消准确性的下降给医疗事业造成的损失，对医疗人工智能的可解释性推崇将是一种偏见。事后解释方法则能在不影响准确性的前提下，增强医疗人工智能的可解释性，但其算法与人类的思维相似，具有高度的复杂性与非透明性，缺陷仍旧明显。如果人类无法准确地对他们的行为作出解释，那么对人工智能可解释性的高要求就是一种双重标准。在实际的医疗实践中，普通医生临床决策往往依靠思维启发式，并根据临床合规的限制来优化诊断决策，这就决定了医生只能事后解释临床决策的全过程。正如Zerilli等人指出：“人类经常错误地解释他们的真实动机和处理逻辑，这一事实往往被人类决策者发明事后合理化的能力所掩盖。”^[12]666从这个意义上来讲，事后解释同样适用于机器学习。事后解释的方法是通过为黑箱算法创建一个二级算法，来模拟算法黑箱的近似值，但是它无法解释算法黑箱是如何工作的。同时二级算法与一级算法的拟合程度也决定了解释的准确性与可靠性。事后解释目标也是不明确的，不同的群体对于事后解释的要求都是不同的，如针对患者量身定制的简单解释可能对医生没有多大用处。

在质疑者看来，医疗人工智能的可解释性既无必要，也难以实现。但另一些学者从实际医疗应用场景出发，指出可解释性有益于医学研究与医患关系，而解释技术的局限性被过分强调。

首先，由可解释性所带来的医学价值被低估。虽然在医学中存在着大量不确定性知识，且缺乏因果机制的理论推理，但是将医学理解为只依赖经验证明，而不依靠理论的因果解释和演绎推理则是完全错误的。如果是这样，那么医学就只能依靠经验主义的反复试验。当前，循证医学在没有理论假设的情况下进行随机临床试验的现象激增，已成为过度依赖实证研究结果的牺牲品^[13]。循证医学并不是一门精确的理论，临床试验往往不能真实地反映临床实践。对于非代表性人群，对照组之间无法比较，相关结论也会很快过时。医学并不反对理性主义的论证方法，它只是要通过实证检验来转化为有效的治疗方案。在一些学者看来，循证医学需要理论来提出新颖而有意义的实证研究，同时实证结果也可以为新理论提供证据并质疑现有理论^[14]。而基于因果关系的可解释性有助于提高医疗人工智能诊断的准确性。在临床医学中，重要的是分类而非解释。例如临床指南通常是为了帮助医生更好将患者分类到某一类疾病而制定的。只要最终的分类是准确的，就没必要将数据与结果进行因果联系。但在某些特殊医疗场景中或在模型不稳定的情况下，如果这种准确性不是建立在因果关系的基础上，就会造成严重的后果。当前人工智能可解释性的方法实际上是分类和预测，预测或分类的准确性并不能解释数据和结果之间的真实关系，而科学解释提供了一种特殊类型的有价值的信息。它不再依靠组织与分类现有的知识做出新的病例预测，而是提供了对特定输出的来源与过程的理解^[15]。如果人们能够依靠世界模型而不是依靠输入和输出之间的相关性，就能避免错误地预测，从而提高算法的准确性。基于科学解释下的自动决策系统，将帮助人们理解数据描述的事实与现象之间的因果关系。通过把数据和情况推广到当前数据集以外的病例，医生可以更好地加强和改进病例分类，提高诊断质量。

其次，可解释性在医疗环境下的伦理价值是独一无二的。对医疗人工智能可解释性伦理价值的质疑主要聚焦在技术维度，即通过其他的技术手段，来实现可信度、安全性、可问责等伦理价值。但是，医疗人工智能作为一种医学应用，可解释性有着其他方法所不具备的价值。它满足了医生与患者的需求，并对治疗的实际效果产生了积极的影响。可解释性的缺失影响了医生作为沟通者的角色，也侵犯患者的知情同意权，不利于医患之间的交流，最终将对治疗效果产生消极作用。在传统的医疗实践中，医生在解释病情、与病人沟通等方面起着主导作用，但是当系统提供的诊断建议无法被医生所理解时，医生所面临的选择，要么根据自身的知识强行解释，要么采用家长式作风强制患者接受（患者可能拒绝）。第一种选择可能由于医生缺乏相应的材料，导致解释与治疗方案之间存在着间隙，让患者怀疑医疗人工智能的准确性。第二种选择则与患者的知情同意权冲突。一旦患者拒绝医生的建议，那么医疗人工智能的价值就无法体现。可解释性缺失还会导致医患之间沟通不畅，进一步影响治疗效果。一些实证研究指出，患者普遍喜欢解释，并会根据解释的内容判断诊断的合理性与有效性^[16]。世界卫生组织的报告指出，患者对医生所提供的解释越满意就越信任医生，也就越能遵循治疗计划。增加患者的治疗依从性相比于其他特定的治疗方式更能够提升患者的健康水平^[17]。London对可解释性问题持反对意见，认为过度的解释会造成医疗资源的浪费。但是如果缺乏合适的解释，导致患者不愿意接受相关治疗，也会产生同等的医疗资源浪费。

最后，解释性方法的技术局限被夸大。当前可解释性方法广受批评的原因在于，其要求过高会影响系统的准确性。人类思维与算法都是不透明的，要求算法达到更高可解释性标准是不合理的^[12]668。但在实际的医疗场景中，系统的准确性往往不是所有医患的需求。再者，人类认知结构与人工智能决策存在根本的不同，这就决定了两者在事后解释的效果上存在差异。在临床实践中，医生对医疗人工智能的需要会根据临床目标而调整。在某些情况下医生会偏好可以理解性而非更准确性。一项调查发现，只有部分医生希望医疗人工智能的结果非常准确，而有的医生只希望通过医疗人工智能为其提供关注点，并不需要结果高度准确^[18]。对于后一种情况来说，系统提供特定的治疗选项、信息片段或临床图像的解释对医生决策更具有参考意义。此外，患者的健康需求往往会被医疗技术的进步所掩盖，越来越准确的医疗诊断对于患者的健康是有帮助的，但是远远达不到决定性的程度。有学者指出：医疗人工智能的准确性给临床实践带来效益是有限的^[5]5。这些效益会受到系统性能之外更加广泛的因素影响，如医生的使用方式、患者的信任与配合程度、第三方提供的数据质量等，而这些都需要一个透明的系统予以呈现，可解释性往往在其中扮演了关键性角色。相较于算法，人的自我认知是独特的，即人类具有一种自我规赋的思维塑造观（Mindshaping View of Self-ascriptions）。当人们在自我叙事中所预测和解释的行为之间变得契合时，就会调整行为，保持言行一致，并主动承担责任^[19]。例如，全科医生开流感药物的决定之所以是合理的，是因为他解释说病人有打喷嚏、头痛等症状。病人之所以接受该解释，是因为他们相信医生会承担其社会角色的责任，以医生的方式思考和行动，并用医生的角色去管理自己。人类认知的特点使得人类解释所产生的实际效果远超人工智能可解释性。算法决策无法做到将思考过程与理性解释相结合，自主对行为进行调整与管理。将人类的解释与机器的解释等同，只会让人工智能的可解释性产生可信赖的错误印象^[20]。从这个角度来看，为医疗人工智能的可解释性设置更为严格的要求是合理的。

两方学者围绕医疗人工智能是否需要可解释性的问题，展开了激烈的争论。在质疑者看来，医学知识不依赖于因果解释，可解释性不能消除算法黑箱的伦理风险，其伦理价值无法体现，而解释技术的两种方法都有着各自的局限。在支持者看来，医学缺乏解释不意味着不需要解释，因果解释在医学领域仍然具有价值，医生更偏好容易理解的系统，并依赖解释来履行职责，患者也需要解释来行使知情同意权。双方争论的根本分歧在于可解释性是否会影响医疗人工智能的实际效果。质疑方往往将可解释性视为医疗人工智能应用的阻碍，解释内容过多、解释目标设置过高都会对医疗人工智能的准确性带来损害，但可解释性的缺失也不会影响到系统的使用。支持方则认为可解释性有利于医疗人工智能的实际应用。他们从医学研究与临床应用的角度，陈述了相关解释对满足医生的需要、维护患者的福祉以及提高诊疗效果等方面的价值。

无论两派学者对可解释性的实际价值与作用如何辩论，都难以否认可解释性的设置与否，都是为了医疗人工智能更好地使用。医疗人工智能作为一种医学应用，它应该以服务医生与患者为首要宗旨。可解释的系统更有利于医生职责的履行，而患者的知情同意也可以得到保障。更重要的是，如今“前瞻性”的伦理评估越来越受重视，可解释性的缺失对提前预判医疗人工智能的伦理风险提出了挑战。医疗人工智能尚在发展初期，就放弃了对技术黑箱的解释，无疑会给其未来的技术推广埋下隐患。必须承认，在现有的技术条件下模型解释效果不佳，对可解释性提出过高的要求会降低医疗人工智能的准确性与运行效率。本文认为，虽然可解释性存在着一定的局限，但是为医疗人工智能设置可解释性仍然是必要的。因此，可解释性争论的焦点应该从医疗人工智能是否需要可解释性，转向该系统需要何种程度的可解释性。如何为可解释性设定标准与操作细节，让可解释性能够发挥其应有作用的同时，尽可能回避技术局限才是可解释性问题的核心。

当前，可解释性内涵较为复杂。学界对该术语的表述较为多样，如explainable、interpretable、intelligible、explicable，每个术语都对应了可解释性的不同维度。在Floridi等人看来，可解释性包含了认知意义上的可理解性以及伦理意义上的问责制^[21]。同时，医疗人工智能作为一门跨学科应用，其可解释性问题也带有跨学科色彩。在多学科的背景下，该问题并不能单一地被视为技术难题或伦理问题^[22]。概念的复杂性本就会模糊不同人群对其含义的理解，而基于不同学科背景的学者会为可解释性设置不同的目标与要求。学者们在使用可解释性概念前，既没有对其内涵进行较为准确的定义，也没有根据不同的学科背景对解释内容进行区分，往往将医学、计算机科学以及法律等方面的解释混为一谈。如果可以根据不同的学科背景，去设置不同的解释内容，那么就能在满足不同人群认知需求与伦理要求的同时，消解可解释性争论的分歧。总的来说，医疗人工智能涉及的学科主要有计算机科学、医学、法律以及伦理，而主要受众有技术方、监管方和使用者。所以，医疗人工智能的可解释性可被划分为以下三类：技术解释、医疗解释以及综合解释。技术解释往往针对有计算机科学背景的专业技术人员，医疗解释往往面向医生等一线医疗从业者，而综合解释则是针对医疗行业的监管人员，他们往往综合了法律、伦理、公共政策等知识背景。

技术解释指的是对系统运作的底层逻辑的解释，其中包含了对系统算法的模型架构、参数设置以及训练数据集的分析。技术人员通过对系统在处理医疗数据、模式识别，以及做出临床决策时所遵循的逻辑和规则的研究，可以更好地调整模型参数，优化训练过程。同时，技术解释为检查系统运行中的潜在风险与故障提供了便利，极大地提高了系统的稳定性与可控性。由于技术解释涉及高度专业化的计算机科学知识，因此它通常只适用于具有专业背景的技术人员。非技术人员对技术解释往往兴趣不大，更关注系统在实际应用中的性能表现，包括诊断的准确性、治疗建议的有效性以及用户界面的易用性。

医疗解释指的是对系统所提供医疗诊断的解释。该解释试图呈现系统所出具结果背后的医学原因与医学证据。医生借助医疗解释，既可以对后续的医疗决策与诊疗方案进行调整，降低误诊和漏诊的风险；又可以熟悉相关的医疗干预措施以及背后的原因，提升了自身的医疗水平。同时，当医生能够理解医疗人工智能所提供的建议时，他们可以更好地向患者解释相关病情、治疗方案和预期效果。患者的知情同意权得到了保障，对医疗人工智能的信任也会增强，从而更加主动地配合接下来的医疗活动。需要注意的是，医疗解释的针对群体并不包含患者。医学是高度专业化的，医生与患者之间的知识背景差距巨大。系统提供的解释并不能帮助患者理解全部的医疗活动，他们仍然需要与医生沟通来行使知情权。过分依赖系统提供解释只会增加可解释性的技术难度，并稀释医生在医患沟通中应承担的责任。更重要的是，这为医疗人工智能的可解释性设定了限度。在一些学者看来，提供特定医疗技术的解释已经是一种额外行为。在资源有限的情况下，投入过多的时间与成本向患者解释将会与其他救治任务产生冲突，并带来医疗资源的浪费^[23]。

综合解释指的是对系统在运行中潜在风险的解释。该解释会综合技术解释与医学解释的部分内容，其主要是为了帮助监管者更好地管理医疗人工智能的技术风险与社会影响。医疗人工智能在医疗数据训练机制、临床数据相关性分析的不公开与不透明等问题会带来大量的安全隐患与漏洞。类似于传统医疗器械的认证与批准，技术开发方有义务披露该系统在准确性、有效性、适用性等方面可能存在的风险，并向医疗系统的监管方告知。而监管方需要从法律、伦理以及公共政策等方面对医疗人工智能安全性与可靠性的内容进行审查。当前，如美国食品药品监督管理局（Food and Drug Administration）等监管部门在相关文件中并未直接提及可解释性，只要求提供医疗算法模型的可追溯性、透明度以及特定治疗方案的解释信息。在一些学者看来，随着可解释人工智能的不断发展，相关法律法规也会随之调整，未来监管部门会更加重视可解释性，提出更加明确的要求^[24]。

对解释内容进行划分，可以明确不同学科背景下解释的范围与程度，也更加契合医疗人工智能多学科背景，满足不同人群对解释内容的需求。首先，该方法满足了可解释性在认知与伦理两个层面的要求。在认知层面，其分开呈现了医疗人工智能的运行原理与诊疗依据，更加方便医护人员与技术人员的理解；在伦理层面，通过提供不同的解释内容，为系统可能出现的技术故障、医疗事故以及监管失位的后续问责提供了证据。其次，该方法对技术解释和医学解释进行了区分，一方面，无论是解释技术的局限性，还是系统的可解释性与准确性的权衡，与计算机科学相关的可解释性问题都被限制在技术层面；另一方面，由于剥离了专业的技术解释，相关的医学解释只涉及医学内容，能更充分考虑医生在实际应用中的需要，从而最大程度地发挥可解释性在医学中的价值与作用。最后，通过设置综合解释，弥补了在技术解释与医学解释之间的可能存在的解释需要，为相关的法律制定、伦理审查以及公共卫生政策制定提供了支持。

本文重新审视了医疗人工智能的可解释性争论。两派学者围绕可解释性的认知价值、伦理价值以及技术困境三个维度展开了讨论，该争论的分歧在于可解释性对医疗人工智能的实际效果是否会产生影响。可解释性本身内涵复杂，混淆了人们对概念的理解。而医疗人工智能的跨学科属性加剧了不同学科背景下解释内容的混乱，进一步增加了其技术难度。因此，依据不同的学科背景，通过对解释目标与内容进行分类，既满足了不同人群的价值需要，又避免了无止境解释所带来的技术困境。

限于篇幅，本文从医疗人工智能可解释性争论的分歧出发，对可解释性进行了较为基础的划分，而此种分类方式的可行性仍需要更多的探讨。对于不同的解释目标、解释内容以及目标人群的详细阐释，仍要结合医疗实践与技术发展进行适时的调整。可解释性事关医疗人工智能的安全应用，可以预见，争论将会一直存在，但逐步深入研究可解释性将有助于医疗人工智能发挥更大的作用，真正造福人类。