机器学习(十七)Microsoft的InterpretM可解释性 机器学习模型

InterpretML 简介

• 适合可解释的模型

• 解释blackbox机器学习，可视化的展示“黑箱"机器学习

InterpretML是一个开源软件包，用于训练可解释的模型并解释黑盒系统。可解释性主要表现在以下几点：

• 模型调试 - 模型哪里出现了错误？

• 检测偏差 - 模型表现出哪些区分能力？

• 策略学习 - 模型是否满足某些规则要求？

• 高风险的应用 - 医疗保健，金融，司法等

从历史上看，最容易理解的模型不是很准确，最准确的模型是不可理解的。 Microsoft Research开发了一种称为可解释增强机Explainable Boosting Machine（EBM）的算法，该算法具有高精度和可懂度。 EBM使用现代机器学习技术，如装袋和助推，为传统GAM（Generalized Additive Models）注入新的活力。 这使它们像随机森林和梯度提升树一样准确，并且还增强了它们的可懂度和可编辑性。

image

除了EBM之外，InterpretML还支持LIME，SHAP，线性模型，部分依赖，决策树和规则列表等方法。该软件包可以轻松比较和对比模型，以找到最适合您需求的模型。

安装

Python 3.5+ | Linux, Mac OS X, Windows

pip install numpy scipy pyscaffold
pip install -U interpret

实例1 回归任务-波士顿房价预测

import pandas as pd
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
​
boston = load_boston()
feature_names = list(boston.feature_names)
X, y = pd.DataFrame(boston.data, columns=feature_names), boston.target
​
seed = 1
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.20, random_state=seed)

探索数据集

from interpret import show
from interpret.data import Marginal
​
marginal = Marginal().explain_data(X_train, y_train, name = 'Train Data')
show(marginal)

很强大，比以前自己在做的繁琐EDA的时候便捷多了，marginal可以识别出变量的类型，比如连续变量或者类别型变量，可以计算出与Y的相关性系数等。

训练 Explainable Boosting Machine (EBM)

from interpret.glassbox import ExplainableBoostingRegressor, LinearRegression, RegressionTree
​
ebm = ExplainableBoostingRegressor(random_state=seed)
ebm.fit(X_train, y_train)
#Works on dataframes and numpy arrays

ExplainableBoostingRegressor(data_n_episodes=2000,
early_stopping_run_length=50,
early_stopping_tolerance=1e-05,
feature_names=['CRIM', 'ZN', 'INDUS', 'CHAS', 'NOX', 'RM', 'AGE', 'DIS', 'RAD', 'TAX', 'PTRATIO', 'B', 'LSTAT'],
feature_step_n_inner_bags=0,
feature_types=['continuous', 'continuous', 'continuous', 'categorical', 'continuous', 'continuous', 'continuous', 'continuous', 'continuous', 'continuous', 'continuous', 'continuous', 'continuous'],
holdout_size=0.15, holdout_split=0.15, interactions=0,
learning_rate=0.01, max_tree_splits=2,
min_cases_for_splits=2, n_estimators=16, n_jobs=-2,
random_state=1, schema=None, scoring=None,
training_step_episodes=1)

模型全局概览：模型总体上学到了什么

ebm_global = ebm.explain_global(name='EBM')
show(ebm_global)

可以学习到每个特征在不同密度下的贡献分数

局部解释：每个特征与预测的关系

ebm.explain_local(X_test[:5], y_test[:5], name='EBM')
show(ebm_local)

预测值与真实值比较下的不同特征重要性

评估EBM的性能

回归任务评估指标为RMSE=3.82，R2=0.85（越接近1性能越好），已经很不错

测试一些其他的可解释模型

LinearRegression, RegressionTree

from interpret.glassbox import LinearRegression, RegressionTree
lr = LinearRegression(random_state=seed)
lr.fit(X_train, y_train)
rt = RegressionTree(random_state=seed)
rt.fit(X_train, y_train)

使用DashBoard展现不同模型的性能

lr_perf = RegressionPerf(lr.predict).explain_perf(X_test, y_test, name='Linear Regression')
rt_perf = RegressionPerf(rt.predict).explain_perf(X_test, y_test, name='Regression Tree')
show(lr_perf)
show(rt_perf)
show(ebm_perf)

与线性回归、决策树模型作比较，还是EBM的性能强大

Glassbox：展示所有的模型都有全局和局部

lr_global = lr.explain_global(name='Linear Regression')
rt_global = rt.explain_global(name='Regression Tree')
show(lr_global)
show(rt_global)
show(ebm_global)

image.png

DashBoard仪表板：一次查看所有内容

show([marginal, lr_global, lr_perf, rt_global, rt_perf, ebm_global, ebm_perf])

完整代码请见：https://github.com/yanqiangmiffy/quincy-python-v2