决策树（decisiontree）是一种基本的分类与回归方法，这里主要介绍用于分类的决策树。决策树模式呈树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。学习时利用训练数据，根据损失函数最小化的原则建立决策树模型；预测时，对新的数据，利用决策树模型进行分类。
决策树学习通常包括3个步骤：特征选择、决策树的生成和决策树的剪枝。
特征选择在于选取对训练数据具有分类能力的特征，这样可以提高决策树学习的效率。通常特征选择的准则是信息增益（或信息增益比、基尼指数等），每次计算每个特征的信息增益，并比较它们的大小，选择信息增益最大（信息增益比最大、基尼指数最小）的特征。下面我们重点介绍一下特征选择的准则：信息增益。
首先定义信息论中广泛使用的一个度量标准——熵（entropy），它是表示随机变量不确定性的度量。熵越大，随机变量的不确定性就越大。而信息增益（informationalentropy）表示得知某一特征后使得信息的不确定性减少的程度。简单的说，一个属性的信息增益就是由于使用这个属性分割样例而导致的期望熵降低。信息增益、信息增益比和基尼指数的具体定义如下：
信息增益：特征A对训练数据集D的信息增益
，定义为集合D的经验熵
与特征A给定条件下D的经验条件熵
之差，即
信息增益比：特征A对训练数据集D的信息增益比
定义为其信息增益
与训练数据集D关于特征A的值的熵
之比，即
其中，
，n是特征A取值的个数。
基尼指数：分类问题中，假设有K个类，样本点属于第K类的概率为
，则概率分布的基尼指数定义为
从根结点开始，对结点计算所有可能的特征的信息增益，选择信息增益最大的特征作为结点的特征，由该特征的不同取值建立子结点，再对子结点递归地调用以上方法，构建决策树；直到所有特征的信息增均很小或没有特征可以选择为止，最后得到一个决策树。
决策树需要有停止条件来终止其生长的过程。一般来说最低的条件是：当该节点下面的所有记录都属于同一类，或者当所有的记录属性都具有相同的值时。这两种条件是停止决策树的必要条件，也是最低的条件。在实际运用中一般希望决策树提前停止生长，限定叶节点包含的最低数据量，以防止由于过度生长造成的过拟合问题。
决策树生成算法递归地产生决策树，直到不能继续下去为止。这样产生的树往往对训练数据的分类很准确，但对未知的测试数据的分类却没有那么准确，即出现过拟合现象。解决这个问题的办法是考虑决策树的复杂度，对已生成的决策树进行简化，这个过程称为剪枝。
决策树的剪枝往往通过极小化决策树整体的损失函数来实现。一般来说，损失函数可以进行如下的定义：
其中，T为任意子树，
为对训练数据的预测误差（如基尼指数），
为子树的叶结点个数，
为参数，
为参数是
时的子树T的整体损失，参数
权衡训练数据的拟合程度与模型的复杂度。对于固定的
，一定存在使损失函数
最小的子树，将其表示为
。当
大的时候，最优子树
偏小；当
小的时候，最优子树
偏大。
frompyspark.ml.linalgimportVector,Vectorsfrompyspark.sqlimportRowfrompyspark.mlimportPipelinefrompyspark.ml.featureimportIndexToString,StringIndexer,VectorIndexer2.读取数据，简要分析：读取文本文件，第一个map把每行的数据用“,”隔开，比如在我们的数据集中，每行被分成了5部分，前4部分是鸢尾花的4个特征，最后一部分是鸢尾花的分类；我们这里把特征存储在Vector中，创建一个Iris模式的RDD，然后转化成dataframe；然后把刚刚得到的数据注册成一个表iris，注册成这个表之后，我们就可以通过sql语句进行数据查询；选出我们需要的数据后，我们可以把结果打印出来查看一下数据。
//分别获取标签列和特征列，进行索引，并进行了重命名。labelIndexer=StringIndexer().setInputCol("label").setOutputCol("indexedLabel").fit(df)featureIndexer=VectorIndexer().setInputCol("features").setOutputCol("indexedFeatures").setMaxCategories(4).fit(df)//这里我们设置一个labelConverter，目的是把预测的类别重新转化成字符型的。labelConverter=IndexToString().setInputCol("prediction").setOutputCol("predictedLabel").setLabels(labelIndexer.labels)//接下来，我们把数据集随机分成训练集和测试集，其中训练集占70%。trainingData,testData=data.randomSplit([0.7,0.3])4.构建决策树分类模型：
evaluatorClassifier=MulticlassClassificationEvaluator().setLabelCol("indexedLabel").setPredictionCol("prediction").setMetricName("accuracy")accuracy=evaluatorClassifier.evaluate(predictionsClassifier)print("TestError="+str(1.0-accuracy))TestError=0.05882352941176472treeModelClassifier=modelClassifier.stages[2]print("Learnedclassificationtreemodel:\n"+str(treeModelClassifier.toDebugString))Learnedclassificationtreemodel:DecisionTreeClassificationModel(uid=DecisionTreeClassifier_4e57b26beacfd363271a)ofdepth3with7nodesIf(feature2<=1.9)Predict:2.0Else(feature2>1.9)If(feature3<=1.6)If(feature2<=4.9)Predict:0.0Else(feature2>4.9)Predict:1.0Else(feature3>1.6)Predict:1.0从上述结果可以看到模型的预测准确率为0.94以及训练的决策树模型结构。
6.构建决策树回归模型：
evaluatorRegressor=RegressionEvaluator().setLabelCol("indexedLabel").setPredictionCol("prediction").setMetricName("rmse")rmse=evaluatorRegressor.evaluate(predictionsRegressor)print("RootMeanSquaredError(RMSE)ontestdata="+str(rmse))RootMeanSquaredError(RMSE)ontestdata=0.24253562503633297treeModelRegressor=modelRegressor.stages[2]print("Learnedregressiontreemodel:\n"+str(treeModelRegressor.toDebugString))Learnedregressiontreemodel:DecisionTreeRegressionModel(uid=DecisionTreeRegressor_4325a44aff74cf6ff7b3)ofdepth3with7nodesIf(feature2<=1.9)Predict:2.0Else(feature2>1.9)If(feature3<=1.6)If(feature2<=4.9)Predict:0.0Else(feature2>4.9)Predict:1.0Else(feature3>1.6)Predict:1.0从上述结果可以看到模型的标准误差为0.75以及训练的决策树模型结构。