通过安装graphviz和相应的插件，便能实现决策树的可视化输出，具体安装过程不细说。

＃ 设置graphviz路径

os．environ［＂PATH＂］ ＋＝ os．pathsep ＋ ＇C：／Program Files （x86）／Graphviz2．38／bin／＇

＃ 决策树的可视化

dot＿data ＝ tree．export＿graphviz（clf， out＿file＝None， feature＿names＝data．columns， class＿names＝［＇0＇， ＇1＇］， filled＝True）

graph ＝ pydotplus．graph＿from＿dot＿data（dot＿data）

Image（graph．create＿png（））

＃ 将决策树模型输出为图片

graph．write＿png（r＇pang．png＇）

＃ 将决策树模型输出为PDF

graph．write＿pdf（＇tree．pdf＇）

可视化结果如下。

可以看见决策树根节点以fico＿score ＜＝ 683．5为分割标准。

全体样本的基尼系数为0．483，在3284个样本中，被预测变量为0的有2671个，为1的有1839个。

使用scikit－learn提供的参数搜索进行调优（GridSearchCV）。

＃ 设置树的最大深度

max＿depth ＝ ［None， ］

＃ 设置树的最大叶节点数

max＿leaf＿nodes ＝ np．arange（5， 10， 1）

＃ 设置树的类标签权重

class＿weight ＝ ［｛0： 1， 1： 2｝， ｛0： 1， 1： 3｝］

＃ 设置参数网格param＿grid ＝ ｛＇max＿depth＇： max＿depth，

 ＇max＿leaf＿nodes＇： max＿leaf＿nodes，

＇class＿weight＇： class＿weight｝

＃ 对参数组合进行建模和效果验证

clf＿cv ＝ GridSearchCV（estimator＝clf，
                     param＿grid＝param＿grid，
                     cv＝5，
                     scoring＝＇roc＿auc＇）

＃ 输出网格搜索的决策树模型信息

print（clf＿cv．fit（train＿data， train＿target））

输出网格搜索的决策树模型信息。

使用得到的“最优”模型对测试集进行评估。

＃ 输出优化后的决策树模型的决策类评估指标

print（metrics．classification＿report（test＿target， clf＿cv．predict（test＿data）））

＃ 输出优化后的决策树模型的参数组合

print（clf＿cv．best＿params＿）

输出结果。

计算模型在不同阈值下的灵敏度和特异度指标，绘制ROC曲线。

＃ 使用模型进行预测

train＿est ＝ clf＿cv．predict（train＿data）

train＿est＿p ＝ clf＿cv．predict＿proba（train＿data）［：， 1］

test＿est ＝ clf＿cv．predict（test＿data）

test＿est＿p ＝ clf＿cv．predict＿proba（test＿data）［：， 1］

＃ 绘制ROC曲线

fpr＿test， tpr＿test， th＿test ＝ metrics．roc＿curve（test＿target， test＿est＿p）

fpr＿train， tpr＿train， th＿train ＝ metrics．roc＿curve（train＿target， train＿est＿p）

plt．figure（figsize＝［3， 3］）

plt．plot（fpr＿test， tpr＿test， ＇b－－＇）

plt．plot（fpr＿train， tpr＿train， ＇r－＇）

plt．title（＇ROC curve＇）

plt．show（）

＃ 计算AUC值

print（metrics．roc＿auc＿score（test＿target， test＿est＿p））

ROC曲线图如下，其中训练集的ROC曲线（实线）与测试集的ROC曲线（虚线）很接近，说明模型没有过拟合。

模型的ROC曲线下面积为0．7358，模型效果一般。