如何用XGBoost入门可解释机器学习？( 二 )

如果一致性不满足，那我们就无法比较任意两个模型的特征重要性，因为此时分配到更高的归因并不意味着模型对此特征有更多依赖。
如果准确性不满足，那我们就不知道每个特征的归因是如何合并起来以代表整个模型的输出。我们不能简单的对归因进行归一化，因为这可能会破坏该方法的一致性。
当前的归因方法是否一致且准确？
回到之前银行数据科学家的工作。我们意识到一致性和准确性很重要。实际上，如果一个方法不具备一致性，我们就无法保证拥有最高归因的特征是最重要的特征。因此，我们决定使用两个与银行任务无关的树模型来检查各个方法的一致性：

本文插图
图：在两个特征上的简单树模型。咳嗽显然在模型B中比模型A中更重要。
模型的输出是根据某人的症状而给出的风险评分。模型A仅仅是一个用于发烧和咳嗽两个特征的简单“and”函数。模型B也一样，只不过只要有咳嗽症状，就加10分。为了检查一致性，我们需要定义“重要性” 。此处，我们用两种方式定义重要性：
1) 作为当我们移除一组特征时，模型预期准确率的变化。
2) 作为当我们移除一组特征时，模型预期输出的变化。
【如何用XGBoost入门可解释机器学习？】第一个定义度量了特征对模型的全局影响。而第二个定义度量了特征对单次预测的个性化影响。在上面简单的树模型中，当发烧和咳嗽同时发生时对于两种定义，咳嗽特征在模型B中明显都更重要。
银行例子中的Weight ， cover和gain方法都是全局特征归因方法。当在银行部署模型时，我们还需要针对每个客户的个性化说明。为了检查一致性，我们在简单的树模型上运行6种不同的特征归因方法：
1.Tree SHAP 。我们提出的一种新的个性化度量方法。
2. Saabas 。一种个性化的启发式特征归因方法。
3.Mean( |Tree SHAP| ) 。基于个性化Tree SHAP平均幅度的一种全局归因方法。
4.Gain ，上述XGBoost使用的相同方法，等同于scikit-learn树模型中使用的Gini重要性度量。
5.拆分次数(Split Count) 。代表XGBoost中紧密相关的’weight’和’cover’方法，但使用’weight’方法来计算。
6.排列（Permutation）。当在测试集中随机排列某个特征时，导致模型准确率的下降。

本文插图
图：使用6种不同方法对模型A和B做特征归因。截止发文时间，这些方法代表了文献中所有关于树模型的特征归因方法。
从图上可知，除了permutation方法外，其余方法都是不一致的。因为它们在模型B中比在模型A中给咳嗽分配的重要性更少。不一致的方法无法被信任，它无法正确地给最有影响力的特征分配更多的重要性。细心的读者会发现，之前我们在同一模型上使用经典的归因方法产生矛盾时，这种不一致已经显现。对于准确性属性呢？事实证明， Tree SHAP ， Sabaas和 Gain 都如先前定义的那样准确，而permutation和split count却不然。
令人惊讶的是，诸如gain(Gini重要性)之类广泛使用的方法居然会导致如此明显的不一致。为了更好地理解为何会发生这种情况，我们来仔细看看模型A和B中的gain是如何计算的。简单起见，我们假设每个叶子节点中落有25%的数据集，并且每个模型的数据集都具有与模型输出完全匹配的标签。
如果我们用均方误差MSE作为损失函数，则在模型A中进行任何拆分之前， MSE是1200 。这是来自恒定平均预测20的误差。在模型A中用发烧特征拆分后， MSE降到了800 ，因此gain方法将此400的下降归因于发烧特征。然后用咳嗽特征再次拆分，会得到MSE为0 ， gain方法会把这次800的下降归因于咳嗽特征。同理，在模型B中， 800归因于发烧， 625归因于咳嗽。