前面一节我们学习了自适应增强算法（Adaptive Boosting / AdaBoost Algorithm），是一种提升算法 （Boosting Algorithm），而该算法家族中还有另一种重要的算法——梯度提升决策树1 （Gradient Boosted Decision Trees / GBDT），GBDT 及其变体算法在传统机器学习中有着广泛的应用，了解其背后的思想与原理对...

  前面一节我们学习了随机森林算法（Random Forest Algorithm），讲到了其中一种集成学习的方法——Bagging 算法，这一节我们来学习另一种集成学习的方法——提升算法)1 （Boosting Algorithm），同时介绍其中比较常见的算法——自适应增强算法2（Adaptive Boosting Algorithm / AdaBoost Algorithm）

  前面一节我们学习了一种简单高效的算法——决策树学习算法（Decision Tree Learning Algorithm），下面来介绍一种基于决策树的集成学习1 算法——随机森林算法2（Random Forest Algorithm）。

  在生活中，每次到饭点时都会在心里默念——“等下吃啥？”，可能今天工作的一天了不想走远了，这时我们会决定餐厅的距离不能超过两百米，再看看自己钱包里的二十块钱，决定吃的东西不能超过二十，最后点了份兰州拉面。从上面的例子中可以看到，我们今天吃兰州拉面都是由前面一系列的决策所决定的。

前面我们用两节介绍了两种支持向量机模型——硬间隔支持向量机、软间隔支持向量机，这两种模型可以统称为线性支持向量机，下面来介绍另一种支持向量机模型——非线性支持向量机1 （Non-Linear Support Vector Machine）。

前面一节我们介绍了一种最基础的支持向量机模型——硬间隔支持向量机，该模型能对线性可分的数据集进行分类，但现实中的数据集往往是线性不可分的，那么这一节我们来介绍支持向量机中的第二种——软间隔支持向量机1（Soft-margin Support Vector Machine），来解决上面说的数据集线性不可分的问题。

前面一节我们介绍了一种分类算法——朴素贝叶斯分类器算法，从概率分布的角度进行分类。下面我们会花几节来介绍另一种在分类问题中有着重要地位的算法——支持向量机1 （Support Vector Machine/SVM）。  SVM从基础到复杂可以分成三种分别为线性可分支持向量机（也就是硬间隔支持向量机）、线性支持向量机（软间隔支持向量机...

前面几节介绍了一类分类算法——线性判别分析、二次判别分析，接下来介绍另一类分类算法——朴素贝叶斯分类算法1 （Naive Bayes Classifier Algorithm/NB）。朴素贝叶斯分类算法在文本分类和自动医疗诊断的领域中有应用到。

前面两节介绍了线性判别分析在不同角度下的实现方式，一种是根据费舍尔“类内小、类间大”的角度，另一种则是从概率分布的角度。本节来介绍另一种判别分析——二次判别分析算法1（Quadratic Discriminant Analysis Algorithm/QDA）

前面一节介绍了基本的线性判别分析算法，最后留下了一个问题，我们在使用sklearn得到的结果与上一节中自己实现的结果不同，这一节就来看看sklearn中通过概率分布的角度是如何实现线性判别分析的。

前面学习了一种用回归的方式来做分类的算法——对数几率回归算法，下面再来学习另一种分类算法——线性判别分析算法1（Linear Discriminant Analysis Algorithm/LDA），该算法由罗纳德·艾尔默·费希尔在1936年提出，所以也被称为费希尔的线性鉴别方法（Fisher's linear discriminant）

前面介绍了对数几率回归算法，该算法叫做回归算法，但其实是用来处理分类问题，将数据集分为了两类，用0、1或者是-1、1来表示。现实中不仅仅有二分类问题，同时也有很多是例如识别手写数字0～9等这种多分类的问题，下面我们就来介绍下多分类的对数几率回归算法1（Multinomial Logistic Regression Algorithm）

接上一篇对数几率回归算法（一），其中介绍了优化对数几率回归代价函数的两种方法——梯度下降法（Gradient descent）与牛顿法（Newton's method）。但当使用一些第三方机器学习库时会发现，一般都不会简单的直接使用上述两种方法，而是用的是一些优化版本或是算法的变体。例如前面介绍的在 scikit-learn 中可选的求解器如...

  前面几节我们学习了标准线性回归，然后介绍了三种正则化的方法 - 岭回归、Lasso回归、弹性网络回归，这些线性模型解决的都是回归的问题。最开始还介绍了两种简单的算法-PLA与口袋算法，他们解决的是分类问题。  那么我们能使用回归的方式来解决分类问题么，答案是肯定的，这就是下面要介绍的模型 ...

前面学习了岭回归与Lasso回归两种正则化的方法，当多个特征存在相关时，Lasso回归可能只会随机选择其中一个，岭回归则会选择所有的特征。这时很容易的想到如果将这两种正则化的方法结合起来，就能够集合两种方法的优势，这种正则化后的算法就被称为弹性网络回归1 （Elastic Net Regression）

上一节我们学习了解决多重共线性的一种方法是对代价函数正则化，其中一种正则化的算法叫岭回归算法（Ridge Regression Algorithm）。下面我们来学习另一种正则化的算法 - Lasso回归算法)1（Lasso Regression Algorithm），LASSO的完整名称叫最小绝对值收敛和选择算子算法（least absolute shrinkage and selection opera...

前面一节我们学习了机器学习算法系列（三）- 标准线性回归算法（Standard Linear Regression Algorithm），最后求得标准线性回归的代价函数的解析解 w 为：

前面介绍了两种二元分类算法——感知器算法、口袋算法，这些算法解决的都是分类的问题，但是现实中更多的是例如预测某一地区的房价、银行该给某个人多少额度的信用卡、今天应该买卖多少股票等等这种最后得到一个具体数值结果的问题，这种类型的问题在机器学习中统一被称为回归问题。  回归分析在统计学中是研究多组变量间...

前面一节我们学习了机器学习算法系列（一）- 感知器学习算法（PLA），该算法可以将数据集完美的分成两种类型，但有一个前提条件就是假定数据集是线性可分的。  在实际收集数据的过程中，可能因为各种各样的原因（例如反垃圾邮件的例子中收集的邮件单词错误或者是人工分类错误，将不是垃圾邮件的误认为是垃圾邮件）使得数...

前面一节我们了解了机器学习算法系列（〇）- 基础知识，接下来正式开始机器学习算法的学习，首先我们从最简单的一个算法——感知器学习算法（Perceptron Learning Algorithm）开始。  我们在使用电子邮件时，应该注意到现代邮箱都有反垃圾邮件的功能，系统根据邮件的内容自动判断是否是垃圾邮件，节省了我们的时间，试想一...

人工智能（AI）在现代生活中起到越来越重要的地位，各种语音助手、旧电影颜色修复、淘宝京东等电商网站的智能推荐、拍照软件的智能美颜背景虚化等等功能背后都离不开人工智能的支持。  在搜索引擎搜索人工智能的时候会发现机器学习会被同时联想出来，机器学习作为人工智能的一个分支学科，就是为了解决人工智能中的各种...