[*]从编程实现角度学习Faster R-CNN（附极简实现）[[链接]] ([链接] (其实我感觉作者自己也没看懂, 拷贝了一份代码改了改, 中间有些原理也是瞎几把猜的)

Arthur Samuel：在进行特定编程的情况下，给予计算机学习能力的领域。Tom Mitchell：一个程序被认为能从经验E中学习，解决任务T，达到性能度量值P，当且仅当，有了经验E后，经过P评判，程序在处理T时的性能有所提升。

$$ \begin{gather*} \underset{t}{min} f(t) \; s.t.\; h_i(t)=0,i=1,\cdots,p \end{gather*} $$

期望: 反应了函数f(x)在某个分布P(x)下的平均表现, 记为: $E_{x \sim P}[f(x)]=\int{p(x)f(x)dx}$ 协方差: 反应两个变量之间线性相关的强度，记为$Cov(f(x),g(x))= E[(f(x)-E[f(x)])(g(x)-E(g(x)))]$关于协方差的特性:

编码 信息论研究目标: 用最少的编码表示传递信息. 举一个例子来感性认识一下: 假设两地互相通信，两地之间一直在传递A，B，C，D四类消息，那应该要选择什么样的编码方式才能尽可能少的使用资源呢？ 等长编码如果这四类消息的出现是等概率的，都为$\frac{1}{4}$，那么肯定应该采用等编码方式，也就是 信息 A B C D 编码 0...

随机变量(连续,离散): 对可能状态的描述, 在机器学习算法中，每个样本的特征取值，标签值都可以看作是一个随机变量，包括离散型随机变量和连续型随机变量概率分布: 用来指定每个状态的可能性, 对于离散型的概率分布，称为概率质量函数(Probability Mass Function, PMF)，对于连续性的变量，其概率分布叫做概率密度函数(P...

注: 本文总结得内容来源比较杂, 主要方便个人对知识的深度理解, 基本上看<深度学习>这本书中遇到的线性代数方面比较模糊的概念都会随时掌握并补充到下文中.

机器学习中的一个核心问题是设计不仅在训练集上误差小，而且在新样本上泛化能力好的算法。许多机器学习算法都需要采取相应的策略来减少测试误差，这些策略被统称为正则化。而神经网络由于其强大的表示能力经常遭遇过拟合，所以需要使用许多不同形式的正则化策略。

最近在写深度学习系列文章时遇到了一些瓶颈, 很多统计分析结果和函数激活图像都需要可视化显示, 但是不太擅长这方面的相关技术, 所以先暂停理论知识更新, 准备用2天时间, 掌握一下基于R的ggplot2的可视化分析技术.

一. 线性代数部分 1.1 基础概念 标量(scalar)一个标量就是一个单独的数，一般用小写的的变量名称表示。 向量(vector)一个向量就是一列数，这些数是有序排列的: $$ \begin{bmatrix} x_1\\ x_2\\ ...\\ x_5 \end{bmatrix} $$ 矩阵(matrices)矩阵是二维数组: $$ \begin{bmatrix} a_{11}& a_{12}& ...& a_{1n}&a...