人们不是每一秒都从头开始思考，就像你阅读本文时，不会从头去重新学习一个文字，人类的思维是有持续性的。传统的卷积神经网络没有记忆，不能解决这一个问题，循环神经网络(Recurrent Neural Networks)可以解决这一个问题，在循环神经网络中，通过循环可以解决没有记忆的问题，如下图：

我们在训练网络的时候经常会设置 batch_size，这个 batch_size 究竟是做什么用的，一万张图的数据集，应该设置为多大呢，设置为 1、10、100 或者是 10000 究竟有什么区别呢？

什么叫做主成分分析法，我们先看一张图椭圆的图，如果让你找一条线，使得椭圆上所有点在该线上映射的点最分散，保留下来的信息最多，你会怎么选择这条线？若是下图，会选择水平线，这是用一维的方式去尽可能多的表示二维的数据，那么多维的数据呢，是否可以用较低维的数据尽可能表示。

前言Sigmoid 函数（Logistic 函数）是神经网络中非常常用的激活函数，我们今天来深入了解一下 Sigmoid 函数。函数形式函数图像代码实现代码运行：Colab {代码...} 性质及问题函数值 S(x) 的值域为 (0, 1)，常用于二分类问题，函数平滑，易于求导。但是作为激活函数，其计算量大，反向传播求误差梯度时，求导有除法，容易...

本系列文章为《Deep Learning》读书笔记，可以参看原书一起阅读，效果更佳。从本文开始将继续学习本书的第二部分，将从第一部分介绍深度学习所需要的基础知识过渡到构建深度网络，是理论的应用与提高。

本系列文章为《Deep Learning》读书笔记，可以参看原书一起阅读，效果更佳。我们前面也介绍了一些构建机器学习或深度学习的一些内容，理解了其中部分原理和这么做的原因，接下来我们总结一下，跳出来从更高一点的方面去概括的看一看，也许会有不同的感觉。

在机器学习或深度学习中，模型的训练在一般都会被转换为求使得目标函数函数值最小的参数组合的优化问题，简而言之就是优化参数，梯度下降法是优化参数的一种方法。梯度是数学上面的概念，梯度的方向是某一点方向导数最大值的的方向，其向其反方向（负梯度）移动，就可以趋近于极小值。梯度下降算法用梯度乘以学习率（lea...

就是无监督的一种学习方法，太抽象，有一种定义（这种定义其实不够准确，无监督和监督之间界限模糊）是说如果训练集有标签的就是有监督学习，无标签的就是无监督，没有标签，意味着不知道结果。有监督学习算法可以知道一堆图片它们是狗的照片，无监督学习算法只能知道它们是一类，但这一类叫什么就不知道了。

很多的监督学习算法是基于估计概率分 布P(y|x) 的，假设参数服从高斯分布，我们可以使用最大似然估计找到对于有参分布族 P(y|x;θ) 最好的参数向量 θ，即用最大似然估计得到目标函数，优化这个目标函数。线性回归对应于高斯分布分布族，通过定义一族不同的概率分布，可将线性回归扩展到分类情况中。

Hexo 静态博客 完整支持特殊日子黑白悼念，愿生者坚强，逝者安息！ 方法 1 静态方法，直接在模板文件中添加 CSS 样式： {代码...} 方法 2 动态方法，可在 _config.yml 中进行配置多个日期： {代码...} 页面模板如 footer.ejs 中： {代码...} 创建 JS 文件 grieve.js 放到 js 文件夹下： {代码...} 最后 团结让我们的民族...

最大似然函数（MLE）和最大后验概率估计（MAP）是两种完全不同的估计方法，最大似然函数属于频率派统计（认为存在唯一真值 θ），最大后验估计属于贝叶斯统计（认为 θ 是一个随机变量，符合一定的概率分布），这是两种认识方法的差异。模型不变，概率是参数推数据，统计是数据推参数。

点估计：点估计指的是用样本数据估计总体的参数，估计的结果是一个点的数值，因此叫做点估计。这个定义非常宽泛，$\hat{\theta}_m=g(x_1, x_2, ..., x_m)$，其中几乎对 g 没有什么限制，只是说比较好的 g 会接近真实的 θ。

本文首发自公众号：RAIS ​前言 本系列文章为 《Deep Learning》 读书笔记，可以参看原书一起阅读，效果更佳。 超参数 参数：网络模型在训练过程中不断学习自动调节的变量，比如网络的权重和偏差； 超参数：控制模型、算法的参数，是架构层面的参数，一般不是通过算法学习出来的，比如学习率、迭代次数、激活函数和层数等...

本文首发自公众号：RAIS ​前言 本系列文章为 《Deep Learning》 读书笔记，可以参看原书一起阅读，效果更佳。 构建复杂的机器学习算法 上一篇文章中我们介绍了什么叫做机器学习算法极其具体的定义和所关心的问题，比较简单，接下来的文章我们将介绍一些设计学习算法的基本准则。 误差 泛化：机器学习的目的是在新的输入...

本系列文章为 《Deep Learning》 读书笔记，可以参看原书一起阅读，效果更佳。深度学习是机器学习的子集，因此想更深入的了解深度学习，需要对机器学习的一些基本原理。

机器学习算法需要大量的数字计算，并且这些计算包含有一些迭代拟合的过程，在这个计算过程中，由于计算机的局限，无法完全精确的表示，因此总是存在误差的，小的误差经过迭代次数的增多，或者多个误差的叠加，甚至会使得算法不可用，系统失效。

信息论是数学上一个分支，非常重要，包括你能看到这篇文章信息的传输信息论在其中都发挥了极其重要的作用，我就不赘述了，我们还是讨论更学术更专业性的知识。

机器学习中，往往需要大量处理不确定量，或者是随机量，这与我们传统所需要解决掉问题是大不一样的，因此我们在机器学习中往往很难给出一个百分百的预测或者判断，基于此种原因，较大的可能性往往就是所要达到的目标，概率论有用武之地了。

本系列文章是 Deep Learning 的读书笔记，本书是深度学习极其优秀的学习参考书，有一定难度，因此本系列文章需要搭配原书一起阅读，效果更佳，如果不看原书，则假设你具有大学高等数学一般水平。

最佳实践，顾名思义，就是做某事的最佳方法，当然，这里的最佳一定是绝大多数情况，但又不是百分百的情况，我们不必纠结这个问题，我们需要记住的是下面这些方法在深度学习实践中是非常好的做法。

我们之前讨论了卷积神经网络，从局部可以提取出特征，用于小猫小狗的图片识别处理，非常有效；也讨论了循环神经网络进行文本的处理，因为文本的顺序是顺序相关的。基于以上特点，我们把时间或者说文本的前后看做一个维度，那一段文本就是一个一维空间，相比图片的二维空间，变得更加简单了，那卷积神经网络是否可以处理...

在之前的讨论中，我们经常聊起过拟合的问题，我们一般判断训练的网络什么情况下算作训练完成，查看其精度和损失时，也都看的是其过拟合之前的数据，避免过拟合的一种方法是用 dropout 方法，随机清零的方式去实现，但是在循环神经网络中，这个问题就有点复杂了。

我们试想一个实际问题，春天到了，我们要买衣服了，同时，作为服装厂商，也要开始发布新的衣服了，如果你作为一个服装厂商的技术顾问，请你分析出什么样的衣服属于今年的流行趋势，你会怎么做？

​最近的股市震荡的有点厉害，跌的有点惨，面对如此情景，我波澜不惊，原因很简单，前几年我小试牛刀的时候我意识到了这不是我这种散户能玩得懂的，如今的我早已空仓。万物皆可 AI，如何用深度学习的方法去理解呢？当然，本篇不是一个指导买股票的文章，也不会用股票的数据信息去训练模型，我付不起这样的责任，也同样因...

同本文一起发布的另外一篇文章中，提到了 BlueDot 公司，这个公司致力于利用人工智能保护全球人民免受传染病的侵害，在本次疫情还没有引起强烈关注时，就提前一周发出预警，一周的时间，多么宝贵！

为什么需要微调模型？我们猜测和之前的实验，我们有这样的共识，数据量越少，网络的特征节点越多，会越容易导致过拟合，这当然不是我们所希望的，但对于那些预先训练好的模型，还有可能最终无法很好的完成所要做的工作，因此我们还需要对其更改，基于此原因，我们需要做的就是拿来一个训练好的模型，更改其中更加抽象的...

我们已经训练过几个神经网络了，识别手写数字，房价预测或者是区分猫和狗，那随之而来就有一个问题，这些训练出的网络怎么用，每个问题我都需要重新去训练网络吗？因为程序员都不太喜欢做重复的事情，因此答案肯定是已经有轮子了。

如果你不喜欢小猫和小狗，你可能不知道他们具体是哪一种品种，但是一般来说，你都能区分出这是猫还是狗，猫和狗的特征还是不一样的，那我们如何用机器学习的方法训练一个网络区分猫狗呢？

​无聊也是一种生产力，最近不止无聊，还心烦，这种情况我只会做三种事情会比较开心，和某人出去玩、打游戏或者是写代码，前两种由于现实情况没办法实现，我就只能采用第三种方法了，并且这种时候写代码总可以写点自己想做的东西。

​卷积神经网络这个词，应该在你开始学习人工智能不久后就听过了，那究竟什么叫卷积神经网络，今天我们就聊一聊这个问题。不用思考，左右两张图就是两只可爱的小狗狗，但是两张图中小狗狗所处的位置是不同的，左侧图片小狗在图片的左侧，右侧图片小狗在图片的右下方，这样如果去用图片特征识别出来的结果，两张图的特征很...