LSTM - 长短期记忆网络

2021-02-08
阅读 3 分钟
2k
人们不是每一秒都从头开始思考,就像你阅读本文时,不会从头去重新学习一个文字,人类的思维是有持续性的。传统的卷积神经网络没有记忆,不能解决这一个问题,循环神经网络(Recurrent Neural Networks)可以解决这一个问题,在循环神经网络中,通过循环可以解决没有记忆的问题,如下图:

三种梯度下降算法的区别(BGD, SGD, MBGD)

2021-01-21
阅读 2 分钟
3.5k
我们在训练网络的时候经常会设置 batch_size,这个 batch_size 究竟是做什么用的,一万张图的数据集,应该设置为多大呢,设置为 1、10、100 或者是 10000 究竟有什么区别呢?

数据降维:主成分分析法

2021-01-19
阅读 1 分钟
1.1k
什么叫做主成分分析法,我们先看一张图椭圆的图,如果让你找一条线,使得椭圆上所有点在该线上映射的点最分散,保留下来的信息最多,你会怎么选择这条线?若是下图,会选择水平线,这是用一维的方式去尽可能多的表示二维的数据,那么多维的数据呢,是否可以用较低维的数据尽可能表示。

深度前馈网络

2020-07-05
阅读 2 分钟
1.2k
本系列文章为《Deep Learning》读书笔记,可以参看原书一起阅读,效果更佳。从本文开始将继续学习本书的第二部分,将从第一部分介绍深度学习所需要的基础知识过渡到构建深度网络,是理论的应用与提高。

构建机器学习算法

2020-04-12
阅读 2 分钟
1.5k
本系列文章为《Deep Learning》读书笔记,可以参看原书一起阅读,效果更佳。我们前面也介绍了一些构建机器学习或深度学习的一些内容,理解了其中部分原理和这么做的原因,接下来我们总结一下,跳出来从更高一点的方面去概括的看一看,也许会有不同的感觉。

随机梯度下降

2020-04-10
阅读 1 分钟
2.2k
在机器学习或深度学习中,模型的训练在一般都会被转换为求使得目标函数函数值最小的参数组合的优化问题,简而言之就是优化参数,梯度下降法是优化参数的一种方法。梯度是数学上面的概念,梯度的方向是某一点方向导数最大值的的方向,其向其反方向(负梯度)移动,就可以趋近于极小值。梯度下降算法用梯度乘以学习率(lea...

无监督学习算法

2020-04-07
阅读 2 分钟
1.5k
就是无监督的一种学习方法,太抽象,有一种定义(这种定义其实不够准确,无监督和监督之间界限模糊)是说如果训练集有标签的就是有监督学习,无标签的就是无监督,没有标签,意味着不知道结果。有监督学习算法可以知道一堆图片它们是狗的照片,无监督学习算法只能知道它们是一类,但这一类叫什么就不知道了。

监督学习算法

2020-04-06
阅读 2 分钟
1.3k
很多的监督学习算法是基于估计概率分 布P(y|x) 的,假设参数服从高斯分布,我们可以使用最大似然估计找到对于有参分布族 P(y|x;θ) 最好的参数向量 θ,即用最大似然估计得到目标函数,优化这个目标函数。线性回归对应于高斯分布分布族,通过定义一族不同的概率分布,可将线性回归扩展到分类情况中。

最大似然估计与最大后验估计

2020-04-04
阅读 1 分钟
3.9k
最大似然函数(MLE)和最大后验概率估计(MAP)是两种完全不同的估计方法,最大似然函数属于频率派统计(认为存在唯一真值 θ),最大后验估计属于贝叶斯统计(认为 θ 是一个随机变量,符合一定的概率分布),这是两种认识方法的差异。模型不变,概率是参数推数据,统计是数据推参数。

估计、偏差和方差

2020-04-02
阅读 2 分钟
3.4k
点估计:点估计指的是用样本数据估计总体的参数,估计的结果是一个点的数值,因此叫做点估计。这个定义非常宽泛,$\hat{\theta}_m=g(x_1, x_2, ..., x_m)$,其中几乎对 g 没有什么限制,只是说比较好的 g 会接近真实的 θ。

超参数、验证集和K-折交叉验证

2020-04-02
阅读 2 分钟
3k
本文首发自公众号:RAIS ​前言 本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。 超参数 参数:网络模型在训练过程中不断学习自动调节的变量,比如网络的权重和偏差; 超参数:控制模型、算法的参数,是架构层面的参数,一般不是通过算法学习出来的,比如学习率、迭代次数、激活函数和层数等...

过拟合和欠拟合

2020-04-01
阅读 3 分钟
2.4k
本文首发自公众号:RAIS ​前言 本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。 构建复杂的机器学习算法 上一篇文章中我们介绍了什么叫做机器学习算法极其具体的定义和所关心的问题,比较简单,接下来的文章我们将介绍一些设计学习算法的基本准则。 误差 泛化:机器学习的目的是在新的输入...

机器学习算法

2020-03-31
阅读 2 分钟
2.1k
本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。深度学习是机器学习的子集,因此想更深入的了解深度学习,需要对机器学习的一些基本原理。

深度学习中的数值计算

2020-03-29
阅读 2 分钟
1.7k
机器学习算法需要大量的数字计算,并且这些计算包含有一些迭代拟合的过程,在这个计算过程中,由于计算机的局限,无法完全精确的表示,因此总是存在误差的,小的误差经过迭代次数的增多,或者多个误差的叠加,甚至会使得算法不可用,系统失效。

深度学习中的信息论

2020-03-28
阅读 2 分钟
1.7k
信息论是数学上一个分支,非常重要,包括你能看到这篇文章信息的传输信息论在其中都发挥了极其重要的作用,我就不赘述了,我们还是讨论更学术更专业性的知识。

【Deep Learning读书笔记】深度学习中的概率论

2020-03-27
阅读 3 分钟
2.8k
机器学习中,往往需要大量处理不确定量,或者是随机量,这与我们传统所需要解决掉问题是大不一样的,因此我们在机器学习中往往很难给出一个百分百的预测或者判断,基于此种原因,较大的可能性往往就是所要达到的目标,概率论有用武之地了。

深度学习最佳实践

2020-03-23
阅读 5 分钟
1.5k
最佳实践,顾名思义,就是做某事的最佳方法,当然,这里的最佳一定是绝大多数情况,但又不是百分百的情况,我们不必纠结这个问题,我们需要记住的是下面这些方法在深度学习实践中是非常好的做法。

卷积神经网络处理文本序列

2020-03-22
阅读 3 分钟
1.3k
我们之前讨论了卷积神经网络,从局部可以提取出特征,用于小猫小狗的图片识别处理,非常有效;也讨论了循环神经网络进行文本的处理,因为文本的顺序是顺序相关的。基于以上特点,我们把时间或者说文本的前后看做一个维度,那一段文本就是一个一维空间,相比图片的二维空间,变得更加简单了,那卷积神经网络是否可以处理...

再探循环神经网络

2020-03-22
阅读 2 分钟
1.5k
在之前的讨论中,我们经常聊起过拟合的问题,我们一般判断训练的网络什么情况下算作训练完成,查看其精度和损失时,也都看的是其过拟合之前的数据,避免过拟合的一种方法是用 dropout 方法,随机清零的方式去实现,但是在循环神经网络中,这个问题就有点复杂了。

现实比理论要复杂

2020-03-21
阅读 7 分钟
1.1k
我们试想一个实际问题,春天到了,我们要买衣服了,同时,作为服装厂商,也要开始发布新的衣服了,如果你作为一个服装厂商的技术顾问,请你分析出什么样的衣服属于今年的流行趋势,你会怎么做?

循环神经网络

2020-03-21
阅读 4 分钟
1.6k
​最近的股市震荡的有点厉害,跌的有点惨,面对如此情景,我波澜不惊,原因很简单,前几年我小试牛刀的时候我意识到了这不是我这种散户能玩得懂的,如今的我早已空仓。万物皆可 AI,如何用深度学习的方法去理解呢?当然,本篇不是一个指导买股票的文章,也不会用股票的数据信息去训练模型,我付不起这样的责任,也同样因...

AI:深度学习用于文本处理

2020-03-21
阅读 7 分钟
1.3k
同本文一起发布的另外一篇文章中,提到了 BlueDot 公司,这个公司致力于利用人工智能保护全球人民免受传染病的侵害,在本次疫情还没有引起强烈关注时,就提前一周发出预警,一周的时间,多么宝贵!

AI:拿来主义——预训练网络(二)

2020-03-21
阅读 4 分钟
1.9k
为什么需要微调模型?我们猜测和之前的实验,我们有这样的共识,数据量越少,网络的特征节点越多,会越容易导致过拟合,这当然不是我们所希望的,但对于那些预先训练好的模型,还有可能最终无法很好的完成所要做的工作,因此我们还需要对其更改,基于此原因,我们需要做的就是拿来一个训练好的模型,更改其中更加抽象的...

AI:拿来主义——预训练网络(一)

2020-03-20
阅读 5 分钟
1.4k
我们已经训练过几个神经网络了,识别手写数字,房价预测或者是区分猫和狗,那随之而来就有一个问题,这些训练出的网络怎么用,每个问题我都需要重新去训练网络吗?因为程序员都不太喜欢做重复的事情,因此答案肯定是已经有轮子了。

AI:是猫还是狗,这是个问题

2020-03-20
阅读 7 分钟
1.5k
如果你不喜欢小猫和小狗,你可能不知道他们具体是哪一种品种,但是一般来说,你都能区分出这是猫还是狗,猫和狗的特征还是不一样的,那我们如何用机器学习的方法训练一个网络区分猫狗呢?

卷积神经网络

2020-03-20
阅读 4 分钟
1.2k
​卷积神经网络这个词,应该在你开始学习人工智能不久后就听过了,那究竟什么叫卷积神经网络,今天我们就聊一聊这个问题。不用思考,左右两张图就是两只可爱的小狗狗,但是两张图中小狗狗所处的位置是不同的,左侧图片小狗在图片的左侧,右侧图片小狗在图片的右下方,这样如果去用图片特征识别出来的结果,两张图的特征很...

五个 Python 常用数据分析库

2020-03-20
阅读 2 分钟
1.2k
Python 是常用是数据分析工具,常用的数据分析库有很多,下面主要介绍如下五个分析库:NumPy、Pandas、SciPy、StatsModels、Matplotlib。

机器学习基础概论

2020-03-20
阅读 4 分钟
1.2k
本文将是一篇长文,是关于机器学习相关内容的一个总体叙述,会总结之前三个例子中的一些关键问题,读完此文将对机器学习有一个更加深刻和全面的认识,那么让我们开始吧。

预测房价:人工智能回归问题

2020-03-19
阅读 5 分钟
965
​我们之前提出了三个经典的问题,他们分别是: 二分类问题(电影评论好坏倾向性判断) 多分类问题(将新闻按照主题分类) 回归问题(根据房地产数据估算房地产价格) 我们解决了前两个问题,今天我们解决第三个问题,回归问题。 不管是二分类问题还是多分类问题,归结起来都是分类问题,而回归问题不一样,他是一种回归...

新闻分类:人工智能多分类问题

2020-03-19
阅读 4 分钟
1.1k
上一节我们提到了三个非常经典的问题,他们分别是: 二分类问题(电影评论好坏倾向性判断) 多分类问题(将新闻按照主题分类) 回归问题(根据房地产数据估算房地产价格) 上一篇中,我们介绍了其中的二分类问题,这一篇我们介绍其中的多分类问题。如果你没有阅读过上一篇,请先阅读上一篇,否则下文很多内容你会不知所...