实现“产品系列化、运营集团化、通路国际化、服务本地化、办公智能化”
的目标，打造世界一流的智能应用及运营管理平台。
英国的 Information Commissioner’s Office （ICO）和 The Alan-Turing Institute 联合发布了《Explanation decisions made with AI》指南。该指南旨在为机构和组织提供实用建议，以帮助向受其影响的个人解释由 AI 提供或协助的程序、服务和决定，同时帮助机构和组织遵循欧盟 GDPR 等与个人信息保护相关的政策要求。该指南分为三个部分，第 1 部分：可解释 AI 的基础知识；第 2 部分：可解释 AI 的实践；第 3 部分：可解释 AI 对机构 / 组织的意义。指南最后给出了主流的 AI 算法 / 模型的适用场景，以及对这些算法 / 模型的可解释性分析，可作为实践任务中结合应用场景特点选择能够满足领域要求的可解释性的 AI 算法 / 模型的参考。
本文结合《Explanation decisions made with AI》指南，重点对算法的应用场景和可解释性分析进行了梳理总结。此外，我们还解读了一篇医学领域可解释性方法的最新论文—《评估药物不良事件预测中基于注意和 SHAP 时间解释的临床有效性》，以了解关于可解释性方法的最新研究进展。
《Explanation decisions made with AI》指南给出了主流的 AI 算法 / 模型的适用场景，以及对这些算法 / 模型的可解释性分析，作者对主流模型的可解释性情况进行了梳理总结。
在金融（如信用评分）和医疗保健（根据生活方式和现有的健康状况预测疾病风险）等高度监管的行业中具有优势，因为它的计算和监督都比较简单。
像线性回归一样，在高度管制和安全关键部门有优势，特别是在基于分类问题的用例中，如对风险、信用或疾病的是/否决策。
良好的可解释性，但不如LR，因为特征是通过逻辑函数转换的，与概率结果的关系是对数，而不是相加。
适用于目标变量具有需要指数族分布集的约束条件的用例（例如，如果目标变量涉及人数、时间单位或结果的概率，则结果必须具有非负值。）
良好的可解释性水平，跟踪了LR的优点，同时也引入了更多的灵活性。因为其链接功能，确定特征的重要性可能不如用加性特征简单的LR那么直接，一定程度上失去了透明度。
适用于预测变量和响应变量之间的关系不是线性的（即输入-输出关系在不同时间以不同速度变化），但需要最佳可解释性的用例。
良好的可解释性，因为即使在存在非线性关系的情况下，GAM也可以用图形清晰地表示预测变量对响应变量的影响。
由于产生DT结果的分步逻辑对非技术用户来说很容易理解（取决于节点/特征的数量），这种方法可用于需要透明度的高风险和安全关键的决策支持情况，以及相关特征数量相当少的许多其他用例。
如果DT保持相当小的规模，那么可解释的程度就很高，这样就可以从头到尾跟踪逻辑。与LR相比，DT的优势在于前者可以适应非线性和变量交互，同时保持可解释性。
与DT一样，由于产生规则列表和规则集的逻辑对非技术用户来说很容易理解，这种方法可用于需要透明度的高风险和安全关键的决策支持情况，以及其他许多需要明确和完全透明地说明结果的用例。
规则列表和规则集是所有最佳性能和不透明的算法技术中具有最高程度的可解释性之一。然而，它们也与DT有相同的可能性，即当规则列表变长或规则集变大时，可理解的程度就会消失。
CBR适用于任何基于经验的领域。推理用于决策的任何领域。例如，在医学上，当以前类似案例的成功经验指向决策者建议的治疗方法时，就会在CBR的基础上推荐。CBR扩展到原型和批评的方法意味着更好地促进对复杂数据分布的理解，以及增加数据挖掘的洞察力、可操作性和可解释性。
CBR是可以通过设计来解释的。它使用从可解释的设计中提取的例子。它使用从人类知识中提取的例子，以便将输入的特征吸收到人类可识别的表征中。它通过稀疏的特征和熟悉的原型保留了模型的可解释性。
SLIM已被用于需要快速、简化而又最准确的临床决策的医疗应用中。一个被称为风险校准SLIM（RiskSLIM）的版本已被应用于刑事司法领域，表明其稀疏线性方法对生态犯罪的预测与目前使用的一些不透明模型一样有效。
由于其稀疏和易理解的特点，SLIM为以人为中心的决策支持提供了最佳的可解释性。作为一个手动完成的评分系统，它还确保了实施它的引导员-用户的积极参与。
虽然这种技术由于不现实的特征独立性假设而被认为是naive的，但众所周知它是非常有效的。它的快速计算时间和可扩展性使其适合于高维特征空间的应用。
Naive Bayes分类器具有高度的可解释性，因为每个特征的类成员概率是独立计算的。然而，假设独立变量的条件概率在统计上是独立的，这也是一个弱点，因为没有考虑特征的相互作用。
KNN是一种简单、直观、多功能的技术，应用广泛，但对较小的数据集效果最好。由于它是非参数性的（对基础数据分布不做任何假设），它对非线性数据很有效，同时不失可解释性。常见的应用包括推荐系统、图像识别、客户评级和排序。
KNN的工作假设是，通过查看它们所依赖的数据点与产生类似类别和结果的数据点的接近程度，可以预测类别或结果。这种关于近似性/接近性的重要性的直觉是对所有KNN结果的解释。当特征空间保持小的时候，这样的解释更有说服力，所以实例之间的相似性仍然是可以得到的。
SVM对于复杂的分类任务来说是非常通用的。它们可以用来检测图像中物体的存在（有脸/无脸；有猫/无猫），对文本类型进行分类（体育文章/艺术文章），以及识别生物信息学中感兴趣的基因。
ANN最适合于完成高维特征空间的各种分类和预测任务，即有非常大的输入向量的情况。它们的用途可能包括计算机视觉、图像识别、销售和天气预报、药品发现和股票预测、机器翻译、疾病诊断和欺诈检测。
由于曲线（极端非线性）的倾向和输入变量的高维度，导致ANN非常低的可解释性。ANN被认为是 黑盒 技术的缩影。在适当的情况下，应当引入解释工具辅助ANN的使用。
随机森林经常被用来有效地提高单个决策树的性能，改善其错误率，并减轻过拟合。它们在基因组医学等高维问题领域非常流行，也被广泛用于计算语言学、计量经济学和预测性风险建模。
由于在bagged数据和随机特征上训练这些决策树群的方法、特定森林中的树木数量以及单个树木可能有数百甚至数千个节点的可能性，可能导致随机森林方法非常低的可解释性。
集合方法有广泛的应用，跟踪其组成学习者模型的途（包括DT、KNN、随机森林、NaiveBayes，等等）。
集合方法的可解释性因使用何种方法而不同。例如，使用bagging技术的模型，即把在随机数据子集上训练的学习者的多个估计值平均起来，其原理可能难以解释。对这些技术的解释需求应该结合其组成学习者的情况分别考虑。
可解释的机器学习是一个新兴的领域，它尝试以更人性化的方式帮助我们理解黑盒分类器模型的决策。特别是对于医疗领域，可解释性对于提供公开透明的分析和合法的决策结果至关重要。具备可解释性，一线医疗利益相关者就可以信任模型的决定并采取适当的行动。此外，全面的可解释性能够确保医疗实施的用户可能获取监管权利，例如根据欧盟通用数据保护条例（GDPR）：获得解释的权利。
在医疗领域，深度学习模型应用于电子健康记录（Electronic Health Record，EHR）数据获得了很好的效果。例如循环神经网络（RNN）能够有效捕捉 EHR 中时间相关的和异质的数据复杂性。然而，RNNs 的一个主要缺点是缺乏内在的可解释性。在过去的研究过程中，已经产生了几种使 RNNs 更具解释性的方法，例如，通过引入注意力机制使模型本身更易解释，如用 RETAIN；事后可解释性框架（如 SHAP）可以应用于概述 RNNs 的时间解释等等。
RETAIN[2]：用于分析 EHR 数据以预测病人未来出现心力衰竭的风险。RETAIN 受注意力机制启发，通过使用一个两层的神经注意力模型，并对 EHR 数据进行逆序输入系统，模拟医生满足病人需求及分析病人记录时专注于病人过去诊疗记录中某些特殊临床信息、风险因素的过程，在保证预测结果准确性（Accuracy）的同时确保了结果的可解释性（interpretability）。
SHAP[3]：来自于博弈论原理，SHAP（SHapley Additive exPlanations）为特征分配特定的预测重要性值，作为特征重要性的统一度量，能够解释现代机器学习中大多数的黑盒模型，为机器学习模型量化各个特征的贡献度。给定当前的一组特征值，特征值对实际预测值与平均预测值之差的贡献就是估计的 Shapley 值。
然而，关于医学预测领域 RNN 的可解释技术所提供的时间解释的质量，还存在着研究空白。支持和反对使用注意力作为解释方法的论点都存在，一些证据表明，使用注意力得分可以提供足够的透明度来解释单个特征如何影响预测结果。而还有一些证据则质疑了注意力机制的有效性，因为注意力值和更直观的特征重要性测量之间的相关性很弱。在实践中，用于模型解释的可视化平台已经成功地利用了注意力分数来为医学预测提供解释。然而，使用注意力值的整体效用还需要更深入的验证，特别是与利用其他可解释方法（如 SHAP）相比。
本文的主要目标是探索具有内在可解释性的 RNN 通过注意力机制能够在多大程度上提供与临床兼容的时间解释，并评估这种解释应该如何通过应用事后方法来补充或取代，例如对黑盒 RNN 的 SHAP。本文具体在药物不良事件（Adverse Drug Event，ADE）预测的医学背景下探讨这个问题。结合我们所解读的《Explanation decisions made with AI》指南，这篇文章所讨论的是典型的必须应用非线性统计技术的情况。在上一章节的梳理中，指南已经明确“由于曲线（极端非线性）的倾向和输入变量的高维度，导致 ANN 非常低的可解释性。ANN 被认为是 黑盒 技术的缩影。在适当的情况下，应当引入解释工具辅助 ANN 的使用。”。因此，本文所做的工作就是为应用于医学领域的 ANN 方法引入适当的辅助解释工具（注意力机制和 SHAP 时间解释）。当然，正如我们在之前的解读中分析的，在一些应用场景中，简单的白盒模型 / 方法无法满足应用需要，为了保证较高的准确度 / 预测率，有时必须采用黑盒算法 / 模型。而如何在这种情况下通过引入辅助解释工具帮助模型 / 系统的用户更好的理解解释，就是下面这篇论文会详细介绍的了。
令ε={P1,...,Pn}表征 n 个病人的数据库。Pj 表征 K 个病人就诊数据记录，Pj = {x_1, . . , x_k}，其中，x_k 发生在时间点 t_k，包含一组描述该次诊疗的医疗变量，考虑到第 j 个病人在时间点 t-1 的病史数据 Pj={x_1, . . . , x_t-1}，我们的任务是预测时间点 t 的 ADE 的发生，并准确地解释为什么使用病人病史的整个时间结构来预测这种 ADE。为了解决这个问题，本文将 RNN 模型和可解释性技术结合起来，对全局和局部解释的方法进行了比较和临床验证的分析。
SHAP 框架确定了加法特征重要性方法的类别，以提供模型无关的解释。SHAP 已经成为一种流行的模型可解释性方法，因为它拥有多种理想的特性，即全局一致的解释，这是其他事后方法所不能提供的，在这些方法中，局部定义的预测可能与全局模型的预测不一致。SHAP 建立在使用博弈论中的 Shapley 值的基础上，在博弈论中，通过将不同的特征视为联盟中的不同玩家来计算特定特征值对选定预测的影响。这些特征中的每一个都可以被看作是对预测的相对贡献，这些贡献可以通过计算可能的联盟中的边际贡献的平均值而被计算为 Shapley 值。
Shapley 值（表示为φ_ij），可以理解为每个特征值 x_ij 对每个样本 i 和特征 j 的预测偏离数据集的平均预测的程度。在本研究中，每个医疗变量的 Shapley 值是针对病史中的每个时间点计算的，以解释每个医疗变量对预测的影响是如何高于或低于基于背景数据集的预测平均值的。
递归神经网络（RNN）是前馈神经网络模型的概括，用于处理连续的数据，拥有一个持续的内部状态 h_t，由 j 个隐藏单元 h_j 组成，作为处理连续状态之间的依赖关系的记忆机制，在本文案例中具体是指跨时间点的病人诊疗信息。
本文希望采用一个基本的 RNN architechure 与 SHAP 相结合，它应该能够达到与 RETAIN 相当的性能水平，以帮助直接比较有效性解释方法，而不会因为过度追求可解释性而影响了模型本身的性能。具体的，本文基本 RNN 模型的内部状态由门控递归单元（GRU）组成，通过迭代以下方程定义：
其中，r_j 为复位门，它决定了一个状态中的每一个第 j 个隐藏单元的前一个状态被忽略的程度；h_t-1 是上一个隐藏的内部状态；W 和 U 是包含由网络学习的参数权重的矩阵；z_j 是一个更新门，决定了隐藏状态应该如何被更新为新的状态 h_new；(h_j)^t 表示隐藏单元 h_j 的激活函数；sigm( )表示 sigmoid 函数；◦是 Hadamard 积。
本文采用与 SHAP 相结合的 GRU 架构，包括两个 128 个单元的堆叠的 GRU 隐藏层，然后是 dropout 层，最后是一个全连接层，通过一个 softmax 函数产生输出分类概率ˆy。
为了收集基于注意力的时间解释，本文采用了 RETAIN 的 RNN 架构，在预测阶段，基于注意力的贡献分数可以在单个医学变量层面上确定。这个 RNN 首先由输入向量 x_i 的线性嵌入组成：
v_i∈R^m 是二进制输入向量 x_i∈R^V 的嵌入，W_emb∈R^(m xV)是嵌入的权重向量，m 是 V 个医疗变量的嵌入维度。使用两个 RNNs，RNNa 和 RNNb 分别用于生成访问和可变水平的注意力向量α和β。注意力向量是通过在时间上向后运行 RNN 来生成的，这意味着 RNNα和 RNNβ都以相反的顺序考虑访问嵌入。最后，我们得到每个病人在第 i 次就诊前的情况向量 c_i：
在本文研究中，根据 RNN-GRU 模型修改了 SHAP，使用的是原始 SHAP 实现的修改代码库。作者采用了深度学习模型的梯度解释方法，该方法基于预期梯度，使用 1000 个随机样本的背景数据，为每个预测提供 Shapley 值的近似值。作者表示，这种特殊的近似处理并不保证 SHAP 的每一个属性，但对于本文的目标来说是合适的。
本研究使用的数据库由 1,314,646 名患者的诊断、药物和文本记录组成，这些记录来自斯德哥尔摩大学的瑞典健康记录研究银行（HealthBank）；这是一个匿名的患者记录数据库，最初来自瑞典斯德哥尔摩卡罗林斯卡大学医院的 TakeCare CGM 患者记录系统。诊断由《国际疾病和相关健康问题统计分类》第十版（ICD-10）中的标准化代码组成。药物是根据解剖学治疗化学分类系统（ATC）进行编码的。为了减少问题的复杂性，并增加病人的匿名性，非 ADEICD-10 和 ATC 代码被减少到其更高层次的等级类别，通过选择每个代码的前三个字符获得。此外，就诊是以月为单位定义的，这意味着在一个日历月内分配给病人的所有代码和药物的组合构成了一次就诊记录。患者需要拥有至少三次这样的记录，相当于至少三个月的数据。与 ADE 相关的词袋特征也被提取为二元医学变量。本研究使用了 1813 个医疗变量，包括 1692 个 ICD-10 编码，109 个 ATC 编码和 12 个关键词特征。
评估实验将数据随机划分为训练集、验证集和测试集，比例分别为 0.7、0.1 和 0.2。在验证集上呈现最佳 AUC 的训练 epoch 所对应的模型配置部署在测试集上。为每位患者分配了一个二进制标签，以表示在他们最后一次就诊时是否有 ADE。每个病人样本都是由包含医疗变量的就诊序列组成的，删除最后一次就诊记录。为了适应因 ADE 相对罕见而导致的类别不平衡问题，作者通过对多数类别的低度取样创建了一个平衡的训练集，其中利用了整个训练集的一个随机分区。为了说明模型行为的可变性，作者使用 3 个随机模型和数据分区配置的平均值生成最终结果。在直接性能比较中，RNN-GRU 被配置成与 RETAIN 相同的多对一格式，并使用跨熵损失函数进行训练。默认情况下，模型输出大于 0.5 就会映射出一个正向 ADE 预测结果。
为了建立一个用于评估所研究的可解释方法的临床基本事实，本文实验过程中总共招募了 5 位医学专家，他们拥有医学学位和丰富的临床药理学经验。在第一阶段的结构化调查中，这些专家被要求对通过 SHAP 和注意力方法确定的全局医学变量进行打分，最终收录了每种方法的前 20 个变量。评分包括从 - 5 到 5 的整数，0 不包括在内，其中 - 5 代表该变量与不发生 ADE 的可能性有非常高的关联，而 5 代表变量与发生 ADE 的可能性有非常高的关联。然后计算出临床医生变量得分的平均值。其次，实验要求医学专家对 10 个有代表性的个体病人记录中的医疗变量进行同样的评分，这些记录包含了直接发生在两个 RNN 都正确预测的 ADE 之前的医疗变量的历史。这是一个案例研究任务，受试者对与过敏相关的 ADEs T78.4、T78.3 和 T78.2 的发生有关的变量进行评分。此外，受试者还被要求考虑变量本身的重要性、与其他变量的相互作用，以及过敏性疾病发生前的时间段。考虑时间的方法是将相同医疗变量的历史记录作为月度窗口输入 RNN 模型。临床医生提供的平均分数被用作评估可解释方法对同一批（10 份）病人记录所提供的解释的基本事实。
本文使用 Top-k Jaccard 指数比较两种可解释方法与临床专家得分的相似性，该指数定义为交集大小除以原始集合中排名最高的前 k 个子集的联合大小。排名是根据从临床专家反应的平均值或从可解释性方法返回的 Shapley 值或注意力贡献分数分别计算出的降序绝对分数来定义的。最后，向医学专家展示了如何将解释方法可视化的示例，并要求他们思考这些解释是否适用于现实生活中的临床情况。
表 1 给出了 RETAIN 与 RNN-GRU 配置在 AUC 和 F1-Score 方面的性能比较，由表 1 中的结果可看出，用于生成解释的模型在两个模型中的性能相似，RETAIN 的性能略胜一筹。
表 1. 在多对一预测配置中为所选架构指定的 ADE 预测的 ROC 曲线下的经验测试集面积和微型 F1 分数
图 1 和图 2 是两种方法对医学变量的前 20 个全局重要性排名，显示了平均绝对 SHAP 值，以及数据测试集中特征的平均绝对关注值。图 3 显示的是所述的利益相关者参与方法产生的临床专家平均绝对分数，用于对医学变量进行评分。为清晰起见，作者通过计算所有病人就诊中出现特定医疗变量的每个例子的贡献系数分数的平均绝对值，来报告注意力贡献分数的全局重要性。
图 1. 根据 RETAIN 模型的平均注意力贡献得分，排名最前的医学变量。ATC 代码前缀为 M
图 2. 根据平均 SHAP 值对 RNN-GRU 模型输出的影响，排名靠前的医疗变量。ATC 代码前缀为 M。标记为 KWord * 的关键词特征
表 2 给出了 SHAP 和注意力排名与医学专家排名的 top-k Jaccard 指数比较结果，由表 2 可看出与注意力排名相比，SHAP 在每个 k 值上都提供了与医学专家更相似的总体解释。
表 2. 可解释性方法和临床专家对最重要的医疗变量的排名之间的 Top-k Jaccard 相似性比较
表 3 给出了过敏症 ADEs 案例研究的结果，将 10 个有代表性的案例的平均临床专家得分排名与注意力和 SHAP 提供的同等解释得分排名进行比较。对于每个 Jaccard 指数，所选的前 k% 基于注意力的得分与临床得分最相似。
表 3. 可解释性方法和临床专家对单个病人记录中最重要的医疗变量的平均 Top-k% Jaccard 相似度比较
图 4 展示了 SHAP 的时间解释，表 4 给出了注意力机制的对应时间解释。SHAP 的解释是通过 SHAP 的特征相加的性质来提供的，以便直观地看到医疗特征的存在或不存在是如何通过它们在每个时间点的 Shapley 值的总和来定义预测的。对于注意力的解释，这种可视化是不可能的，因为贡献值只反映相对重要性。
受试者得到了两种方法的描述，并被要求回答：他们更喜欢哪种解释，他们在理解解释时面临哪些挑战，以及对改进解释的建议。首先，5 位专家中的 4 位更喜欢 SHAP 提供的解释，原因是它是一个更简单的解释，能够比注意力解释更有效地理解 ADE 风险的完整观点。其次，受试者的主要顾虑是，解释中提供的信息太多，在大多数临床上无法使用，而且解释一个变量的缺失是如何导致风险的也不直观。改进的建议是，在可能的情况下显示更少的医疗变量，以提高理解解释的效率；其次，确保使用这种解释的临床医生得到详细的培训。
图 4. 向临床专家展示 SHAP 的解释。ADE 真正阳性预测的示例，显示用 SHAP 评估的 7 个病人就诊时间的 ADE 风险的发展，最后一次就诊提示有 ADE。赋值 = 0 和 = 1 分别表示没有或存在导致风险的变数
表 4. 与图 4 相对应的真阳性 ADE 解释的示例，使用 RETAIN 模型与药物、诊断和文本数据。访问得分和预测得分指的是相应的 ADE 代码的 softmax 概率
首先，本文实验表明 RETAIN 和 RNN-GRU 模型的预测性能结果相似。这一发现对于临床有效性评估很重要，因为我们不希望诱发一种偏见，即某一方法产生的解释在临床上的有效性较差，这是由于模型的性能较差，而不是解释方法本身的原因。此外，考察图 1 和图 2 中的全局特征解释，根据与图 3 中的临床专家排名的比较，这两个排名都是独特的，在医学上基本符合 ADE。
SHAP 为每个 top-k Jaccard 指数提供了更多的临床验证的全局解释，这在很大程度上受到了它对没有出现在注意力排名中的文本特征的高排名的影响。就单个解释而言，注意力为每个 top-k Jaccard 指数提供了最具有临床有效性的解释，这表明，由于注意力具有捕捉和利用相关领域知识的明显能力，不应该将其作为一种可解释的方法加以否定。
最后，从图 4 和表 4 中医学专家对解释的反馈中得到的重要启示是，由于 SHAP 在可视化特征对预测的贡献方面具有加法特性，因此它能提供更紧凑和高效的解释。这种紧凑性对于效率优先的实时临床会诊是至关重要的。另一方面，注意力机制不能提供同样的紧凑性或加法性，因此对于详细的离线解释或不受时间限制的临床会诊可能更可取。
在过去的十几年中，AI 算法 / 模型获得了巨大的发展，从 “白盒” 不断改进为“黑盒”，不管是产业界还是学术界，都可以看到大量追求 AI 决策性能提升的工作，将识别率提升 1%、将预测准确度提升 0.5%、在复杂背景环境下提升输出准确度、提高推荐排序的准确性等等。随着数字经济的发展，国内外都越来越重视算法 / 模型的公平性、透明性、可解释性和问责制。为了让技术更好的服务于人类，而不是让人类越来越被算法所奴役，解释用 AI 做出的决策相信是未来大家都会越来越关注的问题，我们也期待更多更有效、更可行的可解释性方法、工具的出现。
本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。