单地说，决策树算法相等于一个多级嵌套的选择结构，通过回答一系列问题来不停地选择树上的路径，最终到达一个表示某个结论或类别的叶子节点，例如有无贷款意向、能够承担的理财风险等级、根据高考时各科成绩填报最合适的学校和专业、一个人的诚信度、商场是否应该引进某种商品、预测明天是晴天还是阴天。
决策树属于有监督学习算法，需要根据已知样本来训练并得到一个可以工作的模型，然后再使用该模型对未知样本进行分类。
在决策树算法中，构造一棵完整的树并用来分类的计算量和空间复杂度都非常高，可以采用剪枝算法在保证模型性能的前提下删除不必要的分支。剪枝有预先剪枝和后剪枝两大类方法，预先剪枝是在树的生长过程中设定一个指标，当达到指标时就停止生长，当前节点为叶子节点不再分裂，适合大样本集的情况，但有可能会导致模型的误差比较大。后剪枝算法可以充分利用全部训练集的信息，但计算量要大很多，一般用于小样本的情况。
决策树常见的实现有ID3（Iterative Dichotomiser 3）、C4.5、C5.0和CART，ID3、C4.5、C5.0是属于分类树，CART属于分类回归树。其中ID3以信息论为基础，以信息熵和信息增益为衡量标准，从而实现对数据的归纳分类。ID3算法从根节点开始，在每个节点上计算所有可能的特征的信息增益，选择信息增益最大的一个特征作为该节点的特征并分裂创建子节点，不断递归这个过程直到完成决策树的构建。ID3适合二分类问题，且仅能处理离散属性。
决策树属于有监督学习算法，需要根据已知样本来训练并得到一个可以工作的模型，然后再使用该模型对未知样本进行分类。
在决策树算法中，构造一棵完整的树并用来分类的计算量和空间复杂度都非常高，可以采用剪枝算法在保证模型性能的前提下删除不必要的分支。剪枝有预先剪枝和后剪枝两大类方法，预先剪枝是在树的生长过程中设定一个指标，当达到指标时就停止生长，当前节点为叶子节点不再分裂，适合大样本集的情况，但有可能会导致模型的误差比较大。后剪枝算法可以充分利用全部训练集的信息，但计算量要大很多，一般用于小样本的情况。
决策树常见的实现有ID3（Iterative Dichotomiser 3）、C4.5、C5.0和CART，ID3、C4.5、C5.0是属于分类树，CART属于分类回归树。其中ID3以信息论为基础，以信息熵和信息增益为衡量标准，从而实现对数据的归纳分类。ID3算法从根节点开始，在每个节点上计算所有可能的特征的信息增益，选择信息增益最大的一个特征作为该节点的特征并分裂创建子节点，不断递归这个过程直到完成决策树的构建。ID3适合二分类问题，且仅能处理离散属性。
