可解释AI技术

可解释AI技术

1

AI存在的问题

我们正在进入AI应用的新时代，机器学习是核心技术，但是机器学习模型是不透明的、非直观的、难以被人们理解的。当前的AI系统虽然提供了很多好处，但是由于无法向用户解释它们的决策和行为，他们的作用将会受到制约。如果用户想要理解、适度信任和有效管理这个正在到来的人工智能伙伴，可解释AI是必须的。

2

可解释AI的内涵

AI是个“黑盒子”，它的输出会让人产生困惑和怀疑。而可解释AI（后面简称XAI）就是为了解开这些困惑和怀疑，具体如图所示。

3

为什么要发展EAI（从模型的角度）

首先，EAI可以改进机器学习（ML）模型，通过EAI技术，人的智力被加入到机器学习模型中，而来自人类的验证可以提高模型的表现。

其次，EAI可以对错误的预测进行调试，从而提高ML模型的准确度。否则在某些情况下，如果判断错误，可能会造成严重的后果，比如自动驾驶汽车会因为识别错误而撞车，AI医学诊断系统会因为诊断错误而耽误疾病的治疗。

另外，EAI可以让人类获得一些新的视角，比如专家在分析AI参加的一盘围棋比赛时发现，某一种走法在人类围棋比赛中是从来没有出现过的。

最后，EAI可以帮助我们了解更多的物理、生物、化学机制，例如找到和癌症相关的基因，确定投标地点等。

4

获得EAI的主要途径

方法1：用事后分析方法解释一个AI模型

(1)从“输入特征”、“有影响的例子”、“概念”、“局部决策规则”等方面进行单独预测解释；

(2)从“部分相关图”、“全局特征重要性”、“全局决策规则”等方面进行全局预测解释。

方法2：构建一个可解释的模型

涉及到的模型主要有逻辑回归、决策树、决策列表和集合、广义加法模型（GAMs）等。

方法1和方法2中用到的主要的可解释性方法如图所示。

其中：

■ALE是指干扰邻近点的特征值，看输出如何变化。

■PDP ICE是指改变所有点的特征值，然后看输出如何变化

■TCAV是指看由DNNs学习到的某些点的表现形式是否线性可分

■Influence functions是指找到高度影响一个习得的模型的点

■MMD_CRITIC是指找到一些能概述类的点

■Rulefit是指自动将从小树上提炼出来的特征加到一个线性模型上

■LIME是指在某一个点对一个模型进行线性近似

■SHAP是指发现特征对预测的有关贡献

■ACD是指对于一个DNN预测，等级特征的重要性

■Text是指DNN产生文本去解释DNN的预测（有时候不可信）

■Permutation importance是指改变一个特征，看它如何影响模型

本文来源：宇航智控