基于决策树思想的算法有三种:ID3，C4.5，编者注1。C4.5C4.5是RossQuinlan开发的生成决策树的算法，GBDT和XGBOOST在机器学习算法上有什么区别？昨天在阿里的采访中被问到，我简单说了一下，xgboost可以自动利用cpu的多线程，适当提高gradientboosting，添加剪枝，控制模型复杂度，添加注释，共享默认排序，按时间排序9个答案，xgboost和传统的gbdt有什么区别。

xgboost如何支持并行？看了陈天骐的文章和幻灯片，稍微发表一下自己的看法，但也不尽然。我欢迎讨论不合适的地方:传统GBDT使用CART作为基础分类器，xgboost也支持线性分类器。此时，xgboost相当于带有L1和L2正则项的逻辑回归(分类问题)或线性回归(回归问题)。传统的GBDT在优化中仅使用一阶导数信息，而xgboost使用代价函数的二阶泰勒展开，同时使用一阶和二阶导数。

统计方法统计方法是指对统计数据进行收集、整理、分析和解释，并对其所反映的问题作出一定结论的方法。统计方法是从微观结构研究物质宏观性质和规律的独特方法。统计方法是一种通用的数据分析方法，适用于所有学科，有数据的地方就会用到。随着对定量研究的日益重视，统计方法被应用到自然科学和社会科学的许多领域，统计学也发展成为由几个分支组成的学科体系。

什么是决策树？和线性回归一样，是一个模型，内部节点，叶子节点。为了实现分类，内部节点和叶节点通过有向线连接(分类规则)。决策树的目标是什么？决策树通过计算数据的复杂度，建立特征分类标准，确定最佳分类特征。以“熵”和“信息增益”为代表，基于决策树思想的三种算法:ID3，C4.5，

决策树构建过程中什么更重要？特征选择(根据熵变计算)，算法产生最重要的部分，决策树叶子节点分类比较纯粹，节点顺序排列规则:熵变:数据预处理:一般有两种改进思路:1、改变算法；2.调整参数，做好数据预处理:1 .做好特征选择；2.做好数据离散化、离群点处理和缺失填充分类器:在决策树中，从根到任一叶节点的最长路径的长度表示在相应算法排序中最差情况下的比较次数。

整理黑夜中的数据挖掘算法，主要引用自wiki和一些论坛。我把它发布在网上作为知识分享，但是我发现Latex的公式在转码到网页时丢失了，还没找到解决的办法，有空再回来补洞。编者按1，C4.5C4.5算法是RossQuinlan开发的用于生成决策树的算法[1]，是RossQuinlan之前开发的ID3算法的扩展。