想了解决策树的原理，可以看我关于决策树理论的介绍

参数的介绍

小试牛刀

分类树：DecisionTreeClassifier

DecisionTreeClassifier 是能够在数据集上执行多分类的类。采用输入两个数组：数组X，用 [n_samples, n_features] 的方式来存放训练样本。整数值数组Y，用 [n_samples] 来保存训练样本的类标签:

Step1：安装Graphviz，graphviz和pydotplus包（如果已经安装Graphviz，请跳过第一步）

brew install Graphviz 
pip3 install graphviz
pip3 install pydotplus

Step2：

from sklearn import tree
from sklearn.datasets import load_iris
from IPython.display import Image
import pydotplus

# 使用iris数据
iris=load_iris()
# 生成决策分类树实例
clf = tree.DecisionTreeClassifier()
# 拟合iris数据
clf = clf.fit(iris.data, iris.target)
# 预测类别
clf.predict(iris.data[:1, :])
# 分别预测属于所有类别的可能性
clf.predict_proba(iris.data[:1, :])
# 可视化决策树
dot_data = tree.export_graphviz(clf, out_file=None,
                               feature_names=iris.feature_names,
                               class_names=iris.target_names,
                               filled=True, rounded=True,
                               special_characters=True)
graph = pydotplus.graph_from_dot_data(dot_data)
# 显示图片
Image(graph.create_png())

回归树：DecisionTreeRegressor

from sklearn.tree import DecisionTreeRegressor
import numpy as np 

# 生成一个随机数据集
rng = np.random.RandomState(1)
X = np.sort(5 * rng.rand(80, 1), axis=0)
y = np.sin(X).ravel()
y[::5] += 3 * (0.5 - rng.rand(16))

# 训练模型
tree1 = DecisionTreeRegressor(max_depth=2)
tree2 = DecisionTreeRegressor(max_depth=5)
tree1.fit(X, y)
tree2.fit(X, y)

# 预测
X_test = np.arange(0.0, 5.0, 0.01)[:, np.newaxis]
y1 = tree1.predict(X_test)
y2 = tree2.predict(X_test)

# 画出结果
plt.figure()
plt.scatter(X, y, s=20, edgecolors='black',
           c='darkorange', label='data')
plt.plot(X_test, y1, color="cornflowerblue",
         label="max_depth=2", linewidth=2)
plt.plot(X_test, y2, color="yellowgreen", label="max_depth=5", linewidth=2)
plt.xlabel("data")
plt.ylabel("target")
plt.title("Decision Tree Regression")
plt.legend()
plt.show()

一些trick

1. 样本数少而特征很多的数据生成的决策树容易过拟合，降维算法( PCA , ICA）可以更好地找到具有分辨性的特征，减少过拟合。
2. 通过可视化决策树，可以直观的了解特征对结果的影响
3. 从 max_depth=3 开始，观察决策树拟合情况，慢慢增加深度
4. 通过使用 min_samples_split 和 min_samples_leaf 来控制叶节点上的样本数量。过小的值生成的决策树容易过拟合，过大的值生成的决策树容易欠拟合。可以从 min_samples_leaf=5 开始慢慢增加。
5. 在训练模型前，注意观察样本的类别情况，如果类别分布非常不均匀，就要考虑用class_weight来限制模型过于偏向样本多的类别。
6. 所有的决策树内部使用 np.float32 数组 ，如果训练数据不是这种格式，将会复制数据集。如果输入的矩阵X为稀疏矩阵，建议在调用fit之前将矩阵X转换为稀疏的’csc_matrix’ ,在调用predict之前将 csr_matrix 稀疏。当特征在大多数样本中具有零值时，与密集矩阵相比，稀疏矩阵输入的训练时间可以快几个数量级。