C4.5算法

C4.5算法

1.什么时C4.5
C4.5算法是一种决策树学习算法，其目标是生成一棵能够最大化分类准确性的决策树。C4.5算法的核心是信息增益率（Entropy）和增益率（Gain Ratio）的度量方法来选择最优的特征进行分割。
2.C4.5算法的主要步骤
（1）计算数据集的熵（Entropy）：熵是衡量数据集纯度的一个指标，反映了数据集的分类不确定性。
（2）计算所有特征的信息增益：对于每个特征，计算它对数据集的划分能力，即信息增益。
（3）计算特征的增益率：对于每个特征，除以它的熵，得到增益率。
（4）选择最优特征：在所有特征中选择增益率最高的特征（5）作为决策树的分割点。
（6）根据最优特征的取值将数据集分割成子集：对于每个（7）特征值，将数据集分割成子集。
（8）对每个子集递归地应用上述步骤：对每个子集递归地构建决策树。
（9）重复步骤5和6，直到满足停止条件，如所有子集的纯度达到一定程度，或者达到树的最大深度限制。
3.总结
C4.5算法在实际应用中表现出色，因为它能够处理连续和离散特征，并且能够处理缺失值。