深度学习-初识

深度学习这几年很火，所以，从今天起涉足深度学习，为未来学习，注本博文为慕课课程
学习笔记。

一、入门基本概念

机器学习简介

机器学习：无序数据转化为价值的方法
机器学习价值：从数据中抽取规律，并预测未来

机器学习应用举例：

分类问题：图像识别、垃圾邮件识别
回归问题：股价预测、房价预测
排序问题：点击率预估、推荐
生成问题：图像生成、图像风格转换、图像文字描述生成

机器学习应用流程

内容

数据处理（采集+去zao）
模型训练（特征+模型）
模型评估与优化（MSE、F1-score、AUC+调参）
模型应用（A/B测试）

深度学习简介

人工智能、机器学习、深度学习之间的关系

人工智能（AI）> 机器学习（Machine Learning）> 深度学习（Deep learning）

深度学习与机器学习关系

• 机器学习是实现人工智能的方法
• 深度学习是实现机器学习算法的技术

深度学习算法集合

• 卷积神经网络(CNN）
• 循化神经网络
• 自动编码器
• 稀疏编码
• 深度信念网络
• 深度学习+强化学习=深度强化学习

深度学习进展

• 1、图像分类
• 2、机器翻译
• 3、图像生成
• 4、字体生成
• 5、AlphaGo

二、神经网络

1、神经元

2、逻辑回归模型

神经元 -> 激活函数sigmoid -> 二元类逻辑斯蒂回归模型

神经元 -> 多输出

• W从向量扩展为矩阵
• 输出W*x则变成向量

多输出神经元 -> softmax -> 多分类逻辑斯蒂回归模型

目标函数

衡量对数据的拟合程度

梯度下降

梯度下降算法即为下山算法，找方向，然后走一步

三、Tensorflow基础

Tensorflow简介

Google Brain 第二代机器学习框架

计算图模型

• 命令式变成
• 声明式变成

TensorFlow 安装

TensorFlow 官方文档

TensorFlow 安装方法

基于 VirtualEnv 的安装

1.启动终端（即 shell）。您将在此 shell 中执行所有后续步骤。

2.通过发出以下命令安装 pip 和 Virtualenv：

# 在 Mac 上:
$ sudo easy_install pip  # 如果还没有安装 pip
$ sudo pip install --upgrade virtualenv

安装的时候报了这样的错误，什么原因呢？

解决方法：

升级pip到最新版本（至少9.0.3）

curl https://bootstrap.pypa.io/get-pip.py | python

原因是 Python.org sites 终止支持TLS1.0和1.1，TLS需要>=1.2

然后再重试，安装OK

3.通过发出以下某种格式的命令创建 Virtualenv 环境

$ virtualenv --system-site-packages targetDirectory # for Python 2.7
 $ virtualenv --system-site-packages -p python3 targetDirectory # for Python 3.n

其中 targetDirectory 表示 Virtualenv 树的顶层目录。我们的指令假定 targetDirectory 为 ~/tensorflow，但您可以选择任何目录。

这里我们选择python2.7版本

virtualenv --system-site-packages ~/workspace/tensorflow_env

4.通过发出下列其中一条命令激活 Virtualenv 环境：

$ cd targetDirectory
$ source ./bin/activate      # If using bash, sh, ksh, or zsh
$ source ./bin/activate.csh  # If using csh or tcsh 

执行上述 source 命令后，您的提示符应该会变成如下内容：

(targetDirectory)$ 

5.确保安装 pip 8.1 或更高版本：

(targetDirectory)$ easy_install -U pip

6.发出以下某个命令，将 TensorFlow 及其所需的所有软件包安装到活动 Virtualenv 环境中：

(targetDirectory)$ pip install --upgrade tensorflow      # for Python 2.7
 (targetDirectory)$ pip3 install --upgrade tensorflow     # for Python 3.n

如果安装失败，则试着先执行以下命令，然后再安装：

➜  tensorflow_env pip install --upgrade https://download.tensorflow.google.cn/mac/cpu/tensorflow-1.8.0-py2-none-any.whl

7.后续步骤
安装好 TensorFlow 后，请验证您的安装以确认安装的软件能否正常运行。

请注意，每次在新的 shell 中使用 TensorFlow 时，您都必须激活 Virtualenv 环境。如果 Virtualenv 环境当前未处于活动状态（即提示符不是 (targetDirectory)），请调用以下某个命令：

$ cd targetDirectory
$ source ./bin/activate      # If using bash, sh, ksh, or zsh
$ source ./bin/activate.csh  # If using csh or tcsh 

您的提示符将变成如下所示，这表示您的 tensorflow 环境已处于活动状态：

 (targetDirectory)$ 

当 Virtualenv 环境处于活动状态时，您就可以从该 shell 运行 TensorFlow 程序了。

用完 TensorFlow 后，可以通过发出以下命令来停用此环境：

 (targetDirectory)$ deactivate 

提示符将恢复为您的默认提示符（由 PS1 所定义）。

本机器激活命令：

$ cd ~/workspace/tensorflow_env
$ source ./bin/activate

使用Docker安装tensorflow

$ docker run -it -p 8888:8888 tensorflow/tensorflow

Go to your browser on http://localhost:8888/

http://127.0.0.1:8888/tree
http://(c7efe77f377a or 127.0.0.1):8888/?token=4e15bae9e2e6b657a0fb9346d31b61752feb3097b398fce2

多层神经网络的TensorFlow实战

1、神经元的TensorFlow实现