【机器学习】嘿马机器学习（科学计算库）第7篇：Numpy,学习目标【附代码文档】

本教程的知识点为：机器学习（常用科学计算库的使用）基础定位 机器学习概述 机器学习概述 1.5 机器学习算法分类 1 监督学习 机器学习概述 1.7 Azure机器学习模型搭建实验 Azure平台简介 Matplotlib 3.2 基础绘图功能 — 以折线图为例 1 完善原始折线图 — 给图形添加辅助功能 Matplotlib 3.3 常见图形绘制 1 常见图形种类及意义 Numpy 4.2 N维数组-ndarray 1 ndarray的属性 Numpy 4.4 ndarray运算 问题 Pandas 5.1Pandas介绍 1 Pandas介绍 Pandas 5.3 基本数据操作 1 索引操作 Pandas 5.6 文件读取与存储 1 CSV Pandas 5.8 高级处理-数据离散化 1 为什么要离散化 Pandas 5.12 案例 1 需求

完整笔记资料代码：https://gitee.com/yinuo112/AI/tree/master/机器学习/嘿马机器学...

感兴趣的小伙伴可以自取哦~

---

全套教程部分目录：

---

部分文件图片：

Numpy

学习目标

• 了解Numpy运算速度上的优势
• 知道数组的属性，形状、类型
• 应用Numpy实现数组的基本操作
• 应用随机数组的创建实现正态分布应用
• 应用Numpy实现数组的逻辑运算
• 应用Numpy实现数组的统计运算
• 应用Numpy实现数组之间的运算

4.4 ndarray运算

学习目标

• 目标

  • 应用数组的通用判断函数
  • 应用np.where实现数组的三元运算

---

问题

如果想要操作符合某一条件的数据，应该怎么做？

1 逻辑运算

  
  
# 生成10名同学，5门功课的数据
  
  
>>> score = np.random.randint(40, 100, (10, 5))

  
  
# 取出最后4名同学的成绩，用于逻辑判断
  
  
>>> test_score = score[6:, 0:5]

  
  
# 逻辑判断, 如果成绩大于60就标记为True 否则为False
  
  
>>> test_score > 60
array([[ True,  True,  True, False,  True],
       [ True,  True,  True, False,  True],
       [ True,  True, False, False,  True],
       [False,  True,  True,  True,  True]])

  
  
# BOOL赋值, 将满足条件的设置为指定的值-布尔索引
  
  
>>> test_score[test_score > 60] = 1
>>> test_score
array([[ 1,  1,  1, 52,  1],
       [ 1,  1,  1, 59,  1],
       [ 1,  1, 44, 44,  1],
       [59,  1,  1,  1,  1]])

2 通用判断函数

• np.all()

  
  
# 判断前两名同学的成绩[0:2, :]是否全及格
  
  
>>> np.all(score[0:2, :] > 60)
False

• np.any()

  
  
# 判断前两名同学的成绩[0:2, :]是否有大于90分的
  
  
>>> np.any(score[0:2, :] > 80)
True

3 np.where（三元运算符）

通过使用np.where能够进行更加复杂的运算

• np.where()

  
  
# 判断前四名学生,前四门中，成绩中大于60的置为1，否则为0
  
  
temp = score[:4, :4]
np.where(temp > 60, 1, 0)

• 复合逻辑需要结合np.logical_and和np.logical_or使用

  
  
# 判断前四名学生,前四门中，成绩中大于60且小于90的换为1，否则为0
  
  
np.where(np.logical_and(temp > 60, temp < 90), 1, 0)

  
  
# 判断前四名学生,前四门中，成绩中大于90或小于60的换为1，否则为0
  
  
np.where(np.logical_or(temp > 90, temp < 60), 1, 0)

4 统计运算

如果想要知道学生成绩最大的分数，或者做小分数应该怎么做？

4.1 统计指标

在数据挖掘/机器学习领域，统计指标的值也是我们分析问题的一种方式。常用的指标如下：

• min(a, axis)

  • Return the minimum of an array or minimum along an axis.

• max(a, axis])

  • Return the maximum of an array or maximum along an axis.

• median(a, axis)

  • Compute the median along the specified axis.

• mean(a, axis, dtype)

  • Compute the arithmetic mean along the specified axis.

• std(a, axis, dtype)

  • Compute the standard deviation along the specified axis.

• var(a, axis, dtype)

  • Compute the variance along the specified axis.

4.2 案例：学生成绩统计运算

进行统计的时候，axis 轴的取值并不一定，Numpy中不同的API轴的值都不一样，在这里，axis 0代表列, axis 1代表行去进行统计

  
  
# 接下来对于前四名学生,进行一些统计运算
  
  
  
  
# 指定列 去统计
  
  
temp = score[:4, 0:5]
print("前四名学生,各科成绩的最大分：{}".format(np.max(temp, axis=0)))
print("前四名学生,各科成绩的最小分：{}".format(np.min(temp, axis=0)))
print("前四名学生,各科成绩波动情况：{}".format(np.std(temp, axis=0)))
print("前四名学生,各科成绩的平均分：{}".format(np.mean(temp, axis=0)))

结果：

前四名学生,各科成绩的最大分：[96 97 72 98 89]
前四名学生,各科成绩的最小分：[55 57 45 76 77]
前四名学生,各科成绩波动情况：[16.25576821 14.92271758 10.40432602  8.0311892   4.32290412]
前四名学生,各科成绩的平均分：[78.5  75.75 62.5  85.   82.25]

如果需要统计出某科最高分对应的是哪个同学？

• np.argmax(temp, axis=)
• np.argmin(temp, axis=)

print("前四名学生，各科成绩最高分对应的学生下标：{}".format(np.argmax(temp, axis=0)))

结果：

前四名学生，各科成绩最高分对应的学生下标：[0 2 0 0 1]

5 小结

• 逻辑运算【知道】

  • 直接进行大于,小于的判断
  • 合适之后,可以直接进行赋值

• 通用判断函数【知道】

  • np.all()
  • np.any()

• 统计运算【掌握】

  • np.max()
  • np.min()
  • np.median()
  • np.mean()
  • np.std()
  • np.var()
  • np.argmax(axis=) — 最大元素对应的下标
  • np.argmin(axis=) — 最小元素对应的下标

4.5 数组间运算

学习目标

• 目标

  • 知道数组与数之间的运算
  • 知道数组与数组之间的运算
  • 说明数组间运算的广播机制

---

1 数组与数的运算

arr = np.array([[1, 2, 3, 2, 1, 4], [5, 6, 1, 2, 3, 1]])
arr + 1
arr / 2

  
  
# 可以对比python列表的运算，看出区别
  
  
a = [1, 2, 3, 4, 5]
a * 3

2 数组与数组的运算

arr1 = np.array([[1, 2, 3, 2, 1, 4], [5, 6, 1, 2, 3, 1]])
arr2 = np.array([[1, 2, 3, 4], [3, 4, 5, 6]])

上面这个能进行运算吗，结果是不行的！

2.1 广播机制

数组在进行矢量化运算时，要求数组的形状是相等的。当形状不相等的数组执行算术运算的时候，就会出现广播机制，该机制会对数组进行扩展，使数组的shape属性值一样，这样，就可以进行矢量化运算了。下面通过一个例子进行说明：

arr1 = np.array([[0],[1],[2],[3]])
arr1.shape
  
  
# (4, 1)
  
  

arr2 = np.array([1,2,3])
arr2.shape
  
  
# (3,)
  
  

arr1+arr2
  
  
# 结果是：
  
  
array([[1, 2, 3],
       [2, 3, 4],
       [3, 4, 5],
       [4, 5, 6]])

上述代码中，数组arr1是4行1列，arr2是1行3列。这两个数组要进行相加，按照广播机制会对数组arr1和arr2都进行扩展，使得数组arr1和arr2都变成4行3列。

下面通过一张图来描述广播机制扩展数组的过程：

这句话乃是理解广播的核心。广播主要发生在两种情况，一种是两个数组的维数不相等，但是它们的后缘维度的轴长相符，另外一种是有一方的长度为1。

广播机制实现了时两个或两个以上数组的运算，即使这些数组的shape不是完全相同的，只需要满足如下任意一个条件即可。

• 如果两个数组的后缘维度（trailing dimension，即从末尾开始算起的维度）的轴长度相符，
• 或其中的一方的长度为1。

广播会在缺失和（或）长度为1的维度上进行。

广播机制需要扩展维度小的数组，使得它与维度最大的数组的shape值相同，以便使用元素级函数或者运算符进行运算。

如果是下面这样，则不匹配：

A  (1d array): 10
B  (1d array): 12
A  (2d array):      2 x 1
B  (3d array):  8 x 4 x 3

思考：下面两个ndarray是否能够进行运算？

arr1 = np.array([[1, 2, 3, 2, 1, 4], [5, 6, 1, 2, 3, 1]])
arr2 = np.array([[1], [3]])

3 小结

• 数组运算,满足广播机制,就OK【知道】

  • 1.维度相等
  • 2.shape(其中对应的地方为1,也是可以的)

Numpy

学习目标

• 了解Numpy运算速度上的优势
• 知道数组的属性，形状、类型
• 应用Numpy实现数组的基本操作
• 应用随机数组的创建实现正态分布应用
• 应用Numpy实现数组的逻辑运算
• 应用Numpy实现数组的统计运算
• 应用Numpy实现数组之间的运算

4.6 数学：矩阵

学习目标

• 目标

  • 知道什么是矩阵和向量
  • 知道矩阵的加法,乘法
  • 知道矩阵的逆和转置
  • 应用np.matmul、np.dot实现矩阵运算

---

1 矩阵和向量

1.1 矩阵

矩阵，英文matrix，和array的区别矩阵必须是2维的，但是array可以是多维的。

如图:这个是 3×2 矩阵，即 3 行 2 列，如 m 为行，n 为列，那么 m×n 即 3×2<span class="katex-display"><span class="katex"><span class="katex-mathml"><math><semantics><mrow><mrow><mo fence="true">[</mo><mtable><mtr><mtd><mrow><mn>1</mn></mrow></mtd><mtd><mrow><mn>2</mn></mrow></mtd></mtr><mtr><mtd><mrow><mn>3</mn></mrow></mtd><mtd><mrow><mn>4</mn></mrow></mtd></mtr><mtr><mtd><mrow><mn>5</mn></mrow></mtd><mtd><mrow><mn>6</mn></mrow></mtd></mtr></mtable><mo fence="true">]</mo></mrow></mrow><annotation encoding="application/x-tex">\left[ \begin{matrix} 1 & 2 \ 3 & 4 \ 5 & 6 \end{matrix} \right]</annotation></semantics></math></span><span aria-hidden="true" class="katex-html"><span class="strut" style="height:2.05002em;"></span><span class="strut bottom" style="height:3.60004em;vertical-align:-1.55002em;"></span><span class="base displaystyle textstyle uncramped"><span class="minner displaystyle textstyle uncramped"><span class="mopen style-wrap reset-textstyle textstyle uncramped"><span class="delimsizing mult"><span class="vlist"><span style="top:0.9049999999999999em;"><span class="fontsize-ensurer reset-size5 size5"><span style="font-size:0em;">​</span></span><span class="delimsizinginner delim-size4"><span>⎣</span></span></span><span style="top:-0.89502em;"><span class="fontsize-ensurer reset-size5 size5"><span style="font-size:0em;">​</span></span><span class="delimsizinginner delim-size4"><span>⎡</span></span></span><span class="baseline-fix"><span class="fontsize-ensurer reset-size5 size5"><span style="font-size:0em;">​</span></span>​</span></span></span></span><span class="mord"><span class="mtable"><span class="col-align-c"><span class="vlist"><span style="top:-1.2099999999999997em;"><span class="fontsize-ensurer reset-size5 size5"><span style="font-size:0em;">​</span></span><span class="mord displaystyle textstyle uncramped"><span class="mord mathrm">1</span></span></span><span style="top:-0.0