本文从数据挖掘的角度对可解释人工智能（XAI）进行了全面审查，将现有工作分为三类，分别服务于解释深度模型、揭示训练数据性质和洞察领域知识。XAI方法遵循数据集成、算法集成和以人为本的分析过程，包括数据获取与收集、数据预处理与转换、数据建模与分析和结果报告与可视化四个阶段。这项研究提供了一个结构化的叙述，通过XAI的三个目的和四个不同阶段的数据挖掘来分类和阐明当前XAI方法，并强调了XAI揭示数据中更深层次洞察的能力，这对AI驱动的科学和医学等领域具有重大意义。
图1可解释性AI作为一种用于解释、影响和洞察的数据挖掘方法概述
图2从数据挖掘视角对可解释人工智能（XAI）研究的分类：深度模型解释、训练样本的影响和领域知识的洞察。
2解释：深度模型的特征属性与推理过程
深度模型解释涉及使用特征归因来评估每个输入对模型输出产生的影响，并检查推理过程以理解模型内的决策路径。
2.1特征属性作为模型解释的特征重要性评估
为了评估模型对预测的单个输入特征的重要性，已经提出了一些代表性的方法，如下所示。
2.1.1基于扰动的算法
深度模型理解其预测的重要性可通过特征归因解释，常用基于扰动的技术实现，如LIME和G-LIME，通过构建局部代理模型提供洞察力，但存在计算需求和结果不确定性。特征剔除通过系统消除识别关键特征，但缺乏对特征交互的考虑，且计算成本高。Shapley值和SHAP通过计算特征组合对模型预测的贡献评估特征重要性，准确高效，但高维度空间中计算密集，对实际应用构成挑战。
2.1.2基于分区的算法
基于分区的算法是复杂模型可解释性中的重要分支，通过特征归因实现。这些技术计算模型输出相对于输入的梯度，将每个输入特征与相应的梯度组件对齐，表示其对模型预测的敏感性。集成梯度法通过积分计算输入特征对模型预测的重要性。平滑梯度法通过平均附近点的梯度来增强基于梯度的解释性，减少噪声并提高归因质量。深度LIFT通过比较特征的贡献与参考点来提高透明度，区分预测差异。DeepSHAP通过集成Shapley值，比较输入特征相对于典型基线的影响，从而扩展了这一概念。GradSHAP结合了梯度信号和Shapley值来归因特征重要性，强调其对决策的影响。
2.1.3激活/基于注意力的方法
2.1.4代理可解释模型
图4全球解释性和局部解释性代理模型的示例，包括全球和局部的全球代理模型和局部代理模型。
2.2推理过程作为模型解释
为探索模型内部决策路径，提出以下方法。
2.2.1可视化中间表示
2.2.2可视化推理逻辑
决策树和集成模型（如随机森林和梯度提升树）作为替代模型，揭示了深度神经网络决策的逻辑。这些算法构建可解释的代理模型，通过将深度神经网络的复杂推理转化为一系列简单、逻辑决策来复制其预测。代理模型利用来自深度神经网络的输入和输出，利用这些黑盒模型提供的特征属性，从而将神经网络转化为一套可理解的规则或路径。通过将模型的决策逻辑表示为分支结构，其中每个节点都编码基于特征值的规则，这些基于树的算法将深度神经网络的复杂推理过程分解为可理解的形式，最终在叶节点上进行预测。这种属性使模型具有明显的直观和可解释性，可以轻松追踪和可视化端到端的决策过程。
图5使用基于树/森林的代理进行特征重要性和推理逻辑的可视化展示
2.2.3作为决策规则的反事实例子
2.2.4原型作为决策规则
从训练数据中挖掘原型是一种通过识别示例或代表性特征来提炼和解释深度学习模型决策的方法。这种方法可以追溯到以前的工作，但最近的方法如ProtoPNet，积极从深度模型的最后一层学习原型，以便提供模型决策与训练数据之间的可解释关联。这些原型为分类预测提供了视觉解释，增强了网络的解释性。DeformableProtoPNet对此进行了扩展，捕捉原型部分并考虑姿势变化和上下文，从而丰富模型准确性和解释性的双重内涵。Nauta等人提出了一种基准，用于评估基于ProtoPNet的图像分类和解释性能。支持原型和琐碎原型的引入进一步帮助了解DNN模型在决策边界的行为。为了实现全局可解释性，PIP-Net引入了学习原型的聚合，透明地展示了模型的推理过程。这些基于原型的解释性方法主要针对创建自我解释的分类器，而不是解释现有DNN模型。
2.2.5概念激活向量和衍生概念
2.3总结与讨论
简而言之，XAI技术从特征归属或推理过程解释模型决策。我们将这些代表性方法的流程映射到数据挖掘领域并探讨如下。
2.3.1数据获取与收集
在深度神经网络解释的领域，各种类型的数据至关重要，包括表格、文本和图像数据。LIME、GLIME、特征剥夺和SHAP等可解释性技术能够熟练地处理这些数据，阐明每个特征对预测结果的作用。在图像数据的上下文中，重点转向揭示模型预测中单个或聚类的像素的重要性。G-LIME使用超像素聚类策略来构建特征以进行归属。
2.3.2数据准备和转换
2.3.3数据建模和分析
2.3.4结果报告和可视化
3影响因素：训练样本的数据估值与异常检测
3.1样本估值作为模型解释
样本贡献型方法形成了一个独特的可解释性技术类别，旨在通过确定单个训练示例对模型决策的影响来解释深度模型。这些方法的基本思想是测量如果将某个特定的训练实例从训练数据集中排除，测试实例的预测将发生多大的变化。虽然这些方法中的大多数都源于稳健统计学，但我们将其中一些方法总结如下。
3.1.1基于梯度的估值方法
3.1.2基于重采样的估值方法
重采样策略如Leave-One-Out（LOO）和Jackknife重采样对于评估单个数据点对预测模型的贡献至关重要。LOO方法通过排除数据点评估每个数据点的影响，能检测出异常值和重大影响力的样本，但处理大规模数据集时计算效率较低。Jackknife重采样通过引入统计措施量化每个观察值被省略时的施加影响，扩展了这种评估框架，在处理DNN响应的复杂性方面比传统干扰函数表现更好。与LOO相比，Jackknife估计提供了更易于处理的抽样分布近似值，同时避免了每次重采样的模型重新训练的需求，但假定线性，可能会在面对非线性数据结构或异常值时失败。图6显示了影响函数和LOO重采样的简单比较。这两种策略都旨在评估样本对决策的影响，基于重采样的方法需要用样本排除并测试模型来重新训练模型，而基于影响函数的策略可以通过计算梯度或Hessian直接测量影响。
图6评估训练样本的影响：留一法（LOO）重抽样与影响函数
3.1.3估值中的游戏理论方法
夏普利值提供了一个稳健的框架，用于估计单个训练样本对模型预测的贡献，并将现有应用扩展到特征属性归一化。数据夏普利值将训练样本与模型输出直接联系起来，为数据点对预测结果的影响提供衡量标准。贝塔夏普利值进一步改进了这一过程，提出了一种降低噪声的数据估值方法，加速了计算，同时保持了关键统计属性。巴尔赞夫值的用途最近在数据估值领域得到了推动，使用巴尔赞夫权力指数来评估样本对模型预测的影响。DataInf作为一种非梯度、非重采样的游戏理论方法崭露头角，特别适合于理解精细调整的大型语言模型中的样本影响。无模型方法，如LAVA和CS-Shapley，具有替代可能更实用的影响估计的潜力，分别依赖于类别的Wasserstein距离或类别的夏普利值。
3.2样本异常作为模型解释
该内容主要讨论了从训练数据集中挖掘异常样本的研究工作，这些研究工作的目的是应对训练模型的预测。这些工作根据应用目的被分类。
3.2.1硬样本挖掘
硬样本挖掘（HEM）是一种算法策略，用于识别最难学习的训练样本子集，以增强机器学习模型的学习过程。基于统计学习概念，HEM使用AdaBoost等机制调整样本权重，提高泛化能力。在支持向量机（SVM）中，硬样本是接近定义超平面的支持向量，标记为关键训练实例。在计算机视觉研究中，HEM已解决数据瓶颈和类不平衡问题，通过算法如蒙特卡洛树搜索（MCTS）进行困难样本识别和在线HEM增强对象检测。此外，创新如辅助嵌入增强了HEM在图像数据集应用中的有效性，而遗忘事件的检测可帮助发现硬样本。深度学习计算机视觉处理不平衡分类问题时，已将HEM集成到专门的损失函数中，如Focal损失和三元组损失，隐式地改进训练。HEM已超越计算机视觉领域，在主动学习、图学习和信息检索等领域发挥作用，迎接各自领域中复杂数据元素的挑战。这些最新尝试展示了硬样本挖掘在丰富数据科学领域学习范式方面的范围和用途的扩大。
图7在CIFAR-10的训练过程中，经历过遗忘事件的样本和从未忘记的样本
3.2.2标签错误检测
图8通过提供独特的见解和工具来确保机器学习管道中的数据完整性，用于训练动态和误标记样本检测
3.2.3数据集调试
训练数据集的完整性对机器学习模型的有效性至关重要，尤其是对于现实世界的应用。数据集调试策略的重点是解决缺失值、异常值和噪声数据等问题，以提高深度神经网络的性能。在处理缺失值方面，Cinquini等人提出了一种事后可解释的方法，而Sejr等人将异常值检测视为无监督分类问题，提供了可解释的见解。传统基于核的方法和统计测试在处理非结构化数据类型时可能会失效。近年来，XAI的发展创建了新的方法来克服这些缺点，如Martinez等人提出的使用事后解释进行异常样本检测的方法和TAPUDD，Holmberg等人利用视觉概念进行此操作，而De等人应用加权互信息进行OOD识别。张等人提出了一种方法，首先识别正确标记的项目，然后最小化地调整剩余标签以产生准确的预测。Grafberger等人开发的MLInspect提供了一种手段，用于诊断和纠正机器学习管道中的技术偏差。此外，PalM是由Krishnan等人通过探索交互式调试工具引入的。
3.3总结和讨论
总之，XAI技术能够量化训练样本对模型决策的影响，无论是从数据估值还是异常检测的角度来看。我们映射了数据挖掘过程中属于这些类别的代表性方法，并进行了讨论。
3.3.1数据获取和收集
在数据估值和异常检测领域，XAI方法提供了全面的框架，适用于各种数据类型，如表格、文本和图像。基于样本估值的解释器如影响函数、TracIn、Leave-One-Out（LOO）、Jackknife和Shapley估值等，在图像和文本场景中表现出很大的适用性。相反，基于样本异常的解释器通常针对特定的数据模式进行优化，适用于各种数据格式的方法如Jia等人的方法，而PaLM则专注于表格数据集。
3.3.2数据准备和转换
各种异常解释器应用预处理技术准备数据，如Smirnov等人生成图像辅助嵌入，O2u-Net使用振荡训练方法捕获训练损失，Jia等人打乱标签并跟踪迭代训练损失，TAPUDD从深度神经网络模型中提取热图，PaLM使用决策树节点划分数据集。这些预备步骤丰富了XAI应用，增强了人们对训练数据对模型输出影响的理解。
3.3.3数据建模与分析
3.3.4结果报告与可视化
XAI工具的结果报告和可视化方式多种多样。影响函数计算单个训练样本的影响，促进有针对性的洞察，而TracIn量化正负训练影响。LOO技术通过显示预测偏移来显示影响，Jackknife和Shapley估值分配表示影响大小的数值。其他工具增强了视觉清晰度，如PaLM展示了迭代模型响应。这些方法确保了对关键训练数据元素进行视觉审查，以了解它们对模型的影响，有助于系统地探索影响地形。
4洞察：从数据中提取模式和知识发现
4.1社会价值观作为模型解释
这里的XAI旨在提高算法和模型对决策的可解释性和可信度，从而促进社会选择，最终提高社会公平性、道德性、问责制和透明度。
4.1.1算法公正性
4.1.2数字伦理
伦理与XAI交融的研究正逐渐兴起，聚焦数据驱动决策对社会伦理实践的影响。环境公正视角在算法审核中的应用被提倡，以实现公平解决方案。AI专业人员与公众在伦理问题上的分歧反映出对负责任AI价值优先级的不同认识，可理解的XAI系统有助于建立信任和遵守社交规范。JustEFAB原则推动了临床透明机器学习模型，重视生命周期视角内的偏见检查与纠正。XAI中的反事实推理研究警示了误用社会分类的风险，并强调在公平和透明度原则下谨慎发展。AI基准化被视为道德AI发展的关键部分，通过识别和减轻内在偏见来推动其发展。同时，AI数据增强的伦理困境也凸显了XAI在处理伦理复杂性中的重要作用。
4.1.3系统问责制
人工智能的问责制对于确保公平、合法和与社会一致的决策至关重要。Kacianka等人通过结构因果模型（SCMs）揭示了自主车辆领域内的问责制层次，提高了决策的透明度和可靠性。Hutchinson等人提出了一种适用于机器学习数据生命周期的问责框架，确保可追溯和可问责的决策。Kroll等人探索了可追溯性在XAI中的应用，为负责任的人工智能系统制定了一套要求。Lima等人讨论了自主XAI应用中的问责制，强调了建立强有力的监管框架的重要性。Donia等人探讨了XAI中的规范框架，强调了确保人工智能技术满足伦理、社会和法律标准的重要性。
4.1.4决策透明性
XAI在各个领域都取得了进步，满足了人工智能系统对透明度和信任的需求。在医疗保健领域，Healthsheet通过提供详细的dataset文档，揭示偏见并促进数据源的透明性，从而促进了透明性。在教育领域，XAI在澄清AI驱动的纽约市学校录取过程中起到了关键作用，促进了家长的参与，有助于问责制和公平性。智利在公共管理中实施算法透明度标准，反映了承诺使自动政府决定公开和可问责，培养公民信任。该项目系统地评估政府对自动决策系统的使用，对照透明度框架强调这些系统对公众来说应该是可理解和可访问的。
4.2作为模型解释的科学探索
XAI为科学研究提供了实用技术和工具，其潜力巨大。这些作品根据利用XAI技术的不同方法，被分为三组。
4.2.1模式识别
科学数据在研究中至关重要，数据挖掘揭示新模式，深度学习擅长检测复杂模式，但难以提取信息。XAI通过干预措施阐明AI决策过程，提高深度学习在药物发现等领域的效用。将XAI技术如概念漂白（CW）纳入图神经网络模型可提高可信度，增强药物发现领域的可解释性和性能。计算化学领域受益于XAI在减轻深度学习模型模糊性方面的作用，促进对分子结构-性质关系的理解。反事实解释和归因方法阐明了深度学习模型所学习的复杂关联，增强预测信心，指导分子调整以工程化所需特性，提升深度学习在识别和预测化学现象方面的能力。与XAI结合的机器学习方法重新激发经典科学原理的作用，例如牛顿的万有引力定律的重新概念化，通过图神经网络对大量天体数据进行分析，提高对行星运动轨迹的预测准确性，增强所得见解的信心。
4.2.2跨学科合作
跨学科合作在转化研究中至关重要，通过融合各种专业知识，促进跨学科创新，加快实验室发现转化为实际应用的速度。XAI为多个领域的协同作用铺平了道路，导致跨学科的突破。先进的AI技术促进了这些跨学科探索，开发了推动科学进步的综合模型。在生物物理学和计算科学中，XAI在AlphaFold蛋白质折叠项目中发挥了突出作用，提高了分子属性预测的准确性，揭示了复杂的分子模式。在医学成像中，XAI充当深度学习算法和临床医生之间的沟通渠道，揭示MRI扫描中的疾病指标，对于精确诊断至关重要。XAI对于协作转化医学至关重要，将深度学习与临床实践相结合，用于从CT扫描中设计肺癌检测模型，揭示了已知和未知的诊断模式。IBMWatsonforOncology等AI系统展示了AI如何帮助临床医生制定个性化治疗计划，为医疗专业人员和患者提供透明度。XAI在将科学进步转化为实际临床实践方面发挥着重要作用，将数据驱动的洞察与可操作的医疗决策相结合。
4.2.3揭示机制
4.3总结与讨论
从数据挖掘阶段的角度来看，用于推动社会价值和科学发现的XAI整合了以下四个步骤。
4.3.1数据收集与获取
研究使用了复杂的多维度和多模式数据集，支持XAI分析，涉及社会应用的数据类型包括人口统计、财务、医学成像、行为和教育数据集，有助于解决算法公平性、数字伦理和系统问责制等问题。在科学发现领域，数据类型从基因组序列到量子系统属性，再到药物发现的分子结构以及医疗保健应用的临床成像数据。
4.3.2数据准备与转换
4.3.3数据建模与分析
XAI通过与目标任务相一致的技术进行建模与分析，如CounterfactualFairness方法和深度神经网络透明技术，以实现社会公平和系统问责制。在科学发现方面，XAI通过分类识别和图神经网络进行概念漂白，以预测药物疗效，同时利用限制性玻尔兹曼机揭示量子纠缠。这些方法对数据进行建模和分析，以提取可解释的模式，从而促进信任和加深理解。
4.3.4结果报告和可视化
XAI结果的报告和可视化因其应用领域而异。在社会应用中，通过子组分析可视化医疗数据集的公平性，并通过综合文档如“健康表”提高透明度。在科学发现中，使用直观的可视化工具如XSMILES传达分子属性预测，或开发非视觉方法如医学成像。XAI增强了模型决策过程的清晰度和可解释性，从帮助医疗专业人员诊断到协助政策制定者评估公共行政部门的算法。总的来说，在社会和科学领域部署XAI强调针对各自观众优化的交互式和可访问的可视化，以增强对AI洞察的理解和应用。
5限制和未来方向
总之，可解释的人工智能（XAI）方法面临以下关键技术限制：