文章来自公众号【机器学习炼丹术】，回复“炼丹”即可获得海量学习资料哦！本章节缕一缕PyTorch的动态图机制与Tensorflow的静态图机制（最新版的TF也支持动态图了似乎）。1 动态图的初步推导计算图是用来描述运算的有向无环图计算图有两个主要元素：结点（Node）和边（Edge）；结点表示数据 ，如向量、矩阵、张量;边表示运...

随机森林中仍有两个未解之谜（对我来说）。随机森林采用的bagging思想中怎么得到的62.3% 以及 随机森林和bagging的方法是否有区别。

BN于2015年由 Google 提出，Google在ICML论文中描述的非常清晰，即在每次SGD时，通过mini-batch来对相应的activation做规范化操作，使得结果（输出信号各个维度）的均值为0，方差为1。最后的“scale and shift”操作则是为了训练所需而“刻意”加入的BN能够有可能还原最初的输入，从而保证数据中有用信息的留存。

在2020年还在整理XGB的算法，其实已经有点过时了。不过，主要是为了扩大知识面和应付面试嘛。现在的大数据竞赛，XGB基本上已经全面被LGB模型取代了，这里主要是学习一下Boost算法。之前已经在其他博文中介绍了Adaboost算法和Gradient-boost算法，这篇文章讲解一下XGBoost。

每个人都相信它（正态分布）：实验工作者认为它是一个数学定理，数学研究者认为他是一个经验公式。----加布里埃尔·李普曼本文主要是为了之后讲解最小二乘法、岭回归等优化方法做个铺垫。1 生活中的正态分布生活中女性的身高，假设你有200个相亲对象，然后你老妈搜集了他们所有人的身高信息，然后以5cm为单位，来数一数每...

比较类排序：通过比较来决定元素间的相对次序，由于其时间复杂度不能突破O(nlogn)，因此也称为非线性时间比较类排序。非比较类排序：不通过比较来决定元素间的相对次序，它可以突破基于比较排序的时间下界，以线性时间运行，因此也称为线性时间非比较类排序。

文章转自【机器学习炼丹术】1 什么是过拟合过拟合就是在训练集上表现得非常好，在测试集上表现得不好。也就是我们俗称的泛化能力弱。过拟合无法避免，只能缓解，那么如何缓解呢？方法太多了。这篇文章一一介绍。2 数据集增强 Augmentation图像上，翻转，平移，缩放，旋转，镜像，增强对比度，增强亮度等诸多方式。我在下...

【要背住的知识】：用ReLU代替Sigmoid，用BN层，用残差结构解决梯度消失问题。梯度爆炸问题的话，可以用正则化来限制。sigmoid的导数是【0，0.25】.

线性回归(Linear Regression)是什么相比不用多说了。格式是这个样子的：$f_{w,b}(x)=\sum_i{w_ix_i}+b$

文章转自【机器学习炼丹术】基本概念首先，要背住的几个概念就是：accuracy,precision,recal, TP,FP,TN,FNTP:true positive。预测是正确的正样本FP:false positive。预测是错误的正样本TN：true negative。预测是正确的负样本FP:false positive。预测是错误的负样本通常我们会做出这样的一个混淆矩阵：左边的positive，n...

分类(classification)问题是数据挖掘领域中非常重要的一类问题，目前有琳琅满目的方法来完成分类。然而在真实的应用环境中，分类器(classifier)扮演的角色通常是识别数据中的“少数派”，比如：