【机器学习】嘿马机器学习（科学计算库）第12篇：Pandas,学习目标【附代码文档】

本教程的知识点为：机器学习（常用科学计算库的使用）基础定位 机器学习概述 机器学习概述 1.5 机器学习算法分类 1 监督学习 机器学习概述 1.7 Azure机器学习模型搭建实验 Azure平台简介 Matplotlib 3.2 基础绘图功能 — 以折线图为例 1 完善原始折线图 — 给图形添加辅助功能 Matplotlib 3.3 常见图形绘制 1 常见图形种类及意义 Numpy 4.2 N维数组-ndarray 1 ndarray的属性 Numpy 4.4 ndarray运算 问题 Pandas 5.1Pandas介绍 1 Pandas介绍 Pandas 5.3 基本数据操作 1 索引操作 Pandas 5.6 文件读取与存储 1 CSV Pandas 5.8 高级处理-数据离散化 1 为什么要离散化 Pandas 5.12 案例 1 需求

完整笔记资料代码：https://gitee.com/yinuo112/AI/tree/master/机器学习/嘿马机器学...

感兴趣的小伙伴可以自取哦~

---

全套教程部分目录：

![]()

---

部分文件图片：

Pandas

学习目标

• 了解Numpy与Pandas的不同
• 说明Pandas的Series与Dataframe两种结构的区别
• 了解Pandas的MultiIndex与panel结构
• 应用Pandas实现基本数据操作
• 应用Pandas实现数据的合并
• 应用crosstab和pivot_table实现交叉表与透视表
• 应用groupby和聚合函数实现数据的分组与聚合
• 了解Pandas的plot画图功能
• 应用Pandas实现数据的读取和存储

5.12 案例

学习目标

• 目标

  • 无

---

1 需求

现在我们有一组从2006年到2016年1000部最流行的电影数据

数据来源：[

• 问题1：我们想知道这些电影数据中评分的平均分，导演的人数等信息，我们应该怎么获取？
• 问题2：对于这一组电影数据，如果我们想rating，runtime的分布情况，应该如何呈现数据？
• 问题3：对于这一组电影数据，如果我们希望统计电影分类(genre)的情况，应该如何处理数据？

2 实现

首先获取导入包，获取数据

%matplotlib inline
import pandas  as pd 
import numpy as np
from matplotlib import pyplot as plt

  
  
#文件的路径
  
  
path = "./data/IMDB-Movie-Data.csv"
  
  
#读取文件
  
  
df = pd.read_csv(path)

2.1 问题一：

我们想知道这些电影数据中评分的平均分，导演的人数等信息，我们应该怎么获取？

• 得出评分的平均分

使用mean函数

df["Rating"].mean()

• 得出导演人数信息

求出唯一值，然后进行形状获取

  
  
## 导演的人数
  
  
  
  
# df["Director"].unique().shape[0]
  
  
np.unique(df["Director"]).shape[0]

644

2.2 问题二：

对于这一组电影数据，如果我们想Rating，Runtime (Minutes)的分布情况，应该如何呈现数据？

• 直接呈现，以直方图的形式

选择分数列数据，进行plot

df["Rating"].plot(kind='hist',figsize=(20,8))

• Rating进行分布展示

进行绘制直方图

plt.figure(figsize=(20,8),dpi=80)
plt.hist(df["Rating"].values,bins=20)
plt.show()

修改刻度的间隔

  
  
# 求出最大最小值
  
  
max_ = df["Rating"].max()
min_ = df["Rating"].min()

  
  
# 生成刻度列表
  
  
t1 = np.linspace(min_,max_,num=21)

  
  
# [ 1.9    2.255  2.61   2.965  3.32   3.675  4.03   4.385  4.74   5.095  5.45   5.805  6.16   6.515  6.87   7.225  7.58   7.935  8.29   8.645  9.   ]
  
  

  
  
# 修改刻度
  
  
plt.xticks(t1)

  
  
# 添加网格
  
  
plt.grid()

• Runtime (Minutes)进行分布展示

进行绘制直方图

plt.figure(figsize=(20,8),dpi=80)
plt.hist(df["Runtime (Minutes)"].values,bins=20)
plt.show()

修改间隔

  
  
# 求出最大最小值
  
  
max_ = df["Runtime (Minutes)"].max()
min_ = df["Runtime (Minutes)"].min()

  
  
# # 生成刻度列表
  
  
t1 = np.linspace(min_,max_,num=21)

  
  
# 修改刻度
  
  
plt.xticks(np.linspace(min_,max_,num=21))

  
  
# 添加网格
  
  
plt.grid()

2.3 问题三：

对于这一组电影数据，如果我们希望统计电影分类(genre)的情况，应该如何处理数据？

• 思路分析

  • 思路

    • 1、创建一个全为0的dataframe，列索引置为电影的分类，temp_df
    • 2、遍历每一部电影，temp_df中把分类出现的列的值置为1
    • 3、求和
• 1、创建一个全为0的dataframe，列索引置为电影的分类，temp_df

  
  
# 进行字符串分割
  
  
temp_list = [i.split(",") for i in df["Genre"]]
  
  
# 获取电影的分类
  
  
genre_list = np.unique([i for j in temp_list for i in j]) 

  
  
# 增加新的列
  
  
temp_df = pd.DataFrame(np.zeros([df.shape[0],genre_list.shape[0]]),columns=genre_list)

• 2、遍历每一部电影，temp_df中把分类出现的列的值置为1

for i in range(1000):
    #temp_list[i] ['Action','Adventure','Animation']
    temp_df.ix[i,temp_list[i]]=1
print(temp_df.sum().sort_values())

• 3、求和,绘图

temp_df.sum().sort_values(ascending=False).plot(kind="bar",figsize=(20,8),fontsize=20,colormap="cool")


Musical        5.0
Western        7.0
War           13.0
Music         16.0
Sport         18.0
History       29.0
Animation     49.0
Family        51.0
Biography     81.0
Fantasy      101.0
Mystery      106.0
Horror       119.0
Sci-Fi       120.0
Romance      141.0
Crime        150.0
Thriller     195.0
Adventure    259.0
Comedy       279.0
Action       303.0
Drama        513.0
dtype: float64

拓展阅读

完整机器学习项目的流程（拓展阅读）

1 抽象成数学问题

明确问题是进行机器学习的第一步。机器学习的训练过程通常都是一件非常耗时的事情，胡乱尝试时间成本是非常高的。

这里的抽象成数学问题，指的明确我们可以获得什么样的数据，抽象出的问题，是一个分类还是回归或者是聚类的问题。

2 获取数据

数据决定了机器学习结果的上限，而算法只是尽可能逼近这个上限。

数据要有代表性，否则必然会过拟合。

而且对于分类问题，数据偏斜不能过于严重，不同类别的数据数量不要有数量级的差距。

而且还要对数据的量级有一个评估，多少个样本，多少个特征，可以估算出其对内存的消耗程度，判断训练过程中内存是否能够放得下。如果放不下就得考虑改进算法或者使用一些降维的技巧了。如果数据量实在太大，那就要考虑分布式了。

3 特征预处理与特征选择

良好的数据要能够提取出良好的特征才能真正发挥作用。

特征预处理、数据清洗是很关键的步骤，往往能够使得算法的效果和性能得到显著提高。归一化、离散化、因子化、缺失值处理、去除共线性等，数据挖掘过程中很多时间就花在它们上面。这些工作简单可复制，收益稳定可预期，是机器学习的基础必备步骤。

筛选出显著特征、摒弃非显著特征，需要机器学习工程师反复理解业务。这对很多结果有决定性的影响。特征选择好了，非常简单的算法也能得出良好、稳定的结果。这需要运用特征有效性分析的相关技术，如相关系数、卡方检验、平均互信息、条件熵、后验概率、逻辑回归权重等方法。

4 训练模型与调优

直到这一步才用到我们上面说的算法进行训练。现在很多算法都能够封装成黑盒供人使用。但是真正考验水平的是调整这些算法的（超）参数，使得结果变得更加优良。这需要我们对算法的原理有深入的理解。理解越深入，就越能发现问题的症结，提出良好的调优方案。

5 模型诊断

如何确定模型调优的方向与思路呢？这就需要对模型进行诊断的技术。

过拟合、欠拟合 判断是模型诊断中至关重要的一步。常见的方法如交叉验证，绘制学习曲线等。过拟合的基本调优思路是增加数据量，降低模型复杂度。欠拟合的基本调优思路是提高特征数量和质量，增加模型复杂度。

误差分析 也是机器学习至关重要的步骤。通过观察误差样本全面分析产生误差的原因:是参数的问题还是算法选择的问题，是特征的问题还是数据本身的问题……

诊断后的模型需要进行调优，调优后的新模型需要重新进行诊断，这是一个反复迭代不断逼近的过程，需要不断地尝试， 进而达到最优状态。

6 模型融合

一般来说，模型融合后都能使得效果有一定提升。而且效果很好。

工程上，主要提升算法准确度的方法是分别在模型的前端（特征清洗和预处理，不同的采样模式）与后端（模型融合）上下功夫。因为他们比较标准可复制，效果比较稳定。而直接调参的工作不会很多，毕竟大量数据训练起来太慢了，而且效果难以保证。

7 上线运行

这一部分内容主要跟工程实现的相关性比较大。工程上是结果导向，模型在线上运行的效果直接决定模型的成败。 不单纯包括其准确程度、误差等情况，还包括其运行的速度(时间复杂度)、资源消耗程度（空间复杂度）、稳定性是否可接受。

这些工作流程主要是工程实践上总结出的一些经验。并不是每个项目都包含完整的一个流程。这里的部分只是一个指导性的说明，只有大家自己多实践，多积累项目经验，才会有自己更深刻的认识。

独立同分布IID(independent and identically distributed)

1.独立同分布(i.i.d.)

在概率统计理论中，如果变量序列或者其他随机变量有相同的概率分布，并且互相独立，那么这些随机变量是独立同分布。

在西瓜书中解释是：输入空间中的所有样本服从一个隐含未知的分布，训练数据所有样本都是独立地从这个分布上采样而得。

2.简单解释 — 独立、同分布、独立同分布

（1）独立：每次抽样之间没有关系，不会相互影响

举例：给一个骰子，每次抛骰子抛到几就是几，这是独立；如果我要抛骰子两次之和大于8，那么第一次和第二次抛就不独立，因为第二次抛的结果和第一次相关。

（2）同分布：每次抽样，样本服从同一个分布

举例：给一个骰子，每次抛骰子得到任意点数的概率都是六分之一，这个就是同分布

（3）独立同分布：i.i.d.，每次抽样之间独立而且同分布

3.机器学习领域的重要假设

IID独立同分布即假设训练数据和测试数据是满足相同分布的，它是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。

4.目前发展

机器学习并不总要求独立同分布，在不少问题中要求样本数据采样自同一个分布是因为希望用训练数据集得到的模型可以合理的用于测试数据集，使用独立同分布假设能够解释得通。

目前一些机器学习内容已经不再囿于独立同分布假设下，一些问题会假设样本没有同分布。