我们在上一篇介绍了 NumPy，本篇介绍 pandas。
pandas入门
Pandas 是基于Numpy构建的，让以NumPy为中心的应用变的更加简单。
pandas的数据结构介绍
Series
由一组数据（各种 NumPy 数据类型）和一组索引组成：
Values 和 index 属性：
给所创建的Series带有一个可以对各个数据点进行标记的索引：
与普通NumPy数组相比，可以通过索引的方式选取Series中的单个或一组值：
可将Series看成是一个定长的有序字典，它是索引值到数据值的一个映射（它可以用在许多原本需要字典参数的函数中）。
如果数据被存放在一个 python 字典中，可以直接通过这个字典来创建Series：
如果只传入一个字典，则结果Series中的索引就是原字典的键（有序排列），上面的states。
Series最重要的一个功能是在算数运算中自动对齐不同索引的数据：
Series对象本身及其索引都有一个name属性：
Series的索引可以通过赋值的方式就地修改：
DataFrame
是一个表格型的数据结构。既有行索引也有列索引。DataFrame中面向行和面向列的操作基本是平衡的。DataFrame中的数据是以一个或多个二维块存放的。用层次化索引，将其表示为更高维度的数据。
构建 DataFrame：直接传入一个由等长列表或 NumPy 数组组成的字典。
会自动加上索引，但指定列序列，则按指定顺序进行排列：
和Series一样，如果传入的列在数据中找不到，就会产生NA值：
通过赋值的方式进行修改：
通过类似字典标记的方式或属性的方式，可以将DataFrame的列获取为一个Series：
行也可以通过位置或名称的方式进行获取，比如用索引字段ix。
将列表或数组赋值给某个列时，其长度必须跟DataFrame的长度相匹配。如果赋值的是一个Series，就会精确匹配DataFrame的索引，所有的空位都将被填上缺失值：
给不存在的列赋值会创建出一个新列，关键字del用于删除列：
通过索引方式返回的列是相应数据的视图，并不是副本，对返回的Series做的任何修改都会反映到源DataFrame上，通过series的copy方法即可显式地复制列。
另一种常见的数据形式是嵌套字典，如果将它传给DataFrame，解释为——外层字典的键作为列，内层键作为行索引。
对结果进行转置：
指定索引按序列：
由Series组成的字典差不多也是一样的用法：
设置了DataFrame的index和columns的 name 属性，这些信息也会被显示，values 属性以二维ndarray的形式返回DataFrame中的数据：
如果DataFrame各列的数据类型不同，值数组的数据类型就会选用能兼容所有列的数据类型（如 dtype = object）。
索引对象
pandas的索引对象，管理轴标签和其他元数据（如轴名称等）。
构建Series或DataFrame时，所用到的任何数组或其他序列的标签都会被转换成一个Index，且Index对象是不可修改的：
Index的功能类似一个固定大小的集合：
基本功能
重新索引
方法 reindex：创建一个适应新索引的新对象。
调用该Series的reindex将会根据新索引进行重排。如果某个索引值当前不存在，就引入缺失值。
对于时间序列这样的有序数据，重新索引时可能需要做一些差值处理：
对于DataFrame ，reindex可以修改行、列索引，或两个都修改。如果仅传入一列，则会重新索引行：
使用columns关键字可重新索引列：
同时对行、列进行索引：
ix标签索引功能：
丢弃制定轴上的项
drop方法返回的是一个在指定轴上删除了指定值的新对象：
对于DataFrame，可以删除任意轴上的索引值：
索引、选取和过滤
Series索引的工作方式类似于NumPy数组的索引，但Series的索引值不只是整数：
利用标签的切片运算，其包含闭区间（与普通 python 切片运算不同）：
对DataFrame进行索引就是获取一个列：
或多个列：
这种索引方式的特殊情况：通过切片或布尔型数组选取行。
另一种用法是通过布尔型DataFrame进行索引（在语法上更像 ndarray）：
专门的索引字段 ix，是一种重新索引的简单手段：
算术运算和数据对齐
pandas最重要的一个功能是对不同索引的对象进行算术运算。
对不同的索引对，取并集：
自动的数据对齐操作在不重叠的索引出引入了NA值，即一方有的索引，另一方没有，运算后该处索引的值为缺失值。
对DataFrame，对齐操作会同时发生在行和列上。
在算术方法中填充值
对运算后的NA值处填充一个特殊值（比如 0）：
否则 e 列都是NaN值。
类似，在对Series和 DataFrame 重新索引时，也可以指定一个填充值：
用这几个特定字的，叫算术方法：add/ sub/ div/ mul ，即：加／减／除／乘。
DataFrame 和 Series 之间的运算
计算一个二维数组与其某行之间的差：
这个就叫做广播，下面的每行都做这个运算了。
默认情况下，DataFrame和Series之间的算术运算会将Series的索引匹配到DataFrame的列，然后沿着行一直向下广播：
得到
做加法 frame+series2，找不到的值就并集为NaN。
如果你希望匹配行，且在列上广播，则必须使用算术运算方法：
传入的轴号就是希望匹配的轴。
函数的应用和映射
NumPy的ufuncs可用于操作pandas对象，以abs为例：
DataFrame 的 apply 方法：将函数应用到各列或行所形成的一维数组上：
许多最为常见的数据统计功能都被封装为DataFrame的方法，无需使用apply方法。
除标量值外，传递给apply的函数还可以返回由多个值组成的Series：
用 applymap 得到frame中各个浮点值的格式化字符串：
Series有一个用于应用元素级函数的 map 方法：
排序和排名
sort_index方法：返回一个已排序的新对象
对于DataFrame，可以根据任意一个轴上的索引进行排序：
指定了axis=1，是对列进行排序。
默认按升序，降序用ascending=False：
对Series进行排序，可用方法sort_values()：
在排序时，任何缺失值默认都会被放到Series末尾。
在DataFrame上，用by根据列的值进行排序：
根据多个列：
rank方法：默认情况下，rank是通过“为各组分配一个平均排名”的方式破坏平级关系的。
根据值在原数据中出现的顺序给出排名：
按降序进行排名：
DataFrame可以在行或列上计算排名：
带有重复值的轴索引
虽然许多pandas函数都要求标签唯一（如 reindex），但这不是强制性的。
带有重复索引的Series：
索引的is_unique属性可以判断它的值是否唯一。
带有重复索引的DataFrame：
在Pandas中，DataFrame.ix[i]和DataFrame.iloc[i]都可以选取DataFrame中第i行的数据，那么这两个命令的区别在哪里呢？
ix可以通过行号和行标签进行索引，而iloc只能通过行号索引，即ix可以看做是loc和iloc的综合。
汇总和计算描述统计
pandas对象拥有一组常用的数学和统计方法：用于从Series中提取单个值，或从DataFrame的行或列中提取一个Series。
跟Numpy数组方法相比，它们都是基于没有缺失数据的假设而构建的。
传入 axis=1 将会按行进行求和运算：
NA值会自动被排除，如 1.40+NaN=1.40, NaN+NaN=0.00。
通过skipna选项可以禁用该功能：（得到 1.40+NaN=NaN, NaN+NaN=NaN）
返回间接统计（输出了值所在的行名）：
累计型的（样本值的累计和）：
一次性产生多个汇总统计：
对于非数值型数据，describe会产生另外一种汇总统计：
相关系数与协方差
Series和DataFrame：
-
corr方法： 相关系数 -
cov方法：协方差
DataFrame的corrwith方法：计算其列或行跟另一个Series或DataFrame之间的相关系数。传入一个DataFrame计算按列名配对的相关系数，传入axis=1即可按行进行计算。
唯一值、值计数以及成员资格
从一维Series的值中抽取信息。
unique函数：得到Series中的唯一值数组
value_counts：用于计算一个Series中各值出现的频率：
Series按降序排列。value_counts是一个顶级pandas方法，可用于任何数组或序列。
isin：用于判断矢量化集合的成员资格，可用于选取Series或DataFrame列中数据的子集：
处理缺失数据
pandas的设计目标之一就是让缺失数据的处理任务尽量轻松。
pandas使用浮点值 NaN(Not a Number) 表示浮点和非浮点数组中的缺失数据。它只是一个便于被检测出来的标记而已。
python 内置的None值也会被当做NA处理（如 string_data[0]=None）。
滤掉缺失数据
对于一个Series, dropna返回一个仅含非空数据和索引值的Series：
通过布尔型索引也可以达到这个目的：
对于DataFrame对象，dropna默认丢弃任何含有缺失值的行：
丢弃全为NA的那些行，axis=1则丢弃列：
只想留下一部分参数，用thresh参数：
thresh=3：保留至少 3 个非空值的行，即一行中有 3 个值是非空的就保留.
填充缺失数据
fillna方法：通过一个常数调用fillna就会将缺失值替换为那个常数值。
通过一个字典调用fillna，可以实现对不同的列填充不同的值：
fillna默认会返回新对象（副本），但也可以对现有对象进行就地修改：
插值方法（对 reindx 有效的也可用于 fillna）：
你可以用fillna实现许多别的功能，比如传入Series的平均值或中位数：
层次化索引
在一个轴上用多个（2 个以上）索引级别，即以低维度形式处理高维度数据。
MultiIndex 索引的 Series 的格式化输出形式：
选取数据子集：
在“内层”中进行选取：
层次化索引在数据重塑和基于分组的操作中很重要。比如说，上面的数据可以通过其 unstack 方法被重新安排到一个DataFrame中，它的逆运算是 stack：
对于一个DataFrame，每条轴都可以有分层索引：
各层都可以有名字（可以是字符串，也可以是别的 Python 对象）。
注意⚠️不要将索引名称跟轴标签混为一谈。
有了分部的列索引，可以轻松选取列分组。
可以单独创建 MultiIndex 然后复用。上面的DataFrame中的分级列可以这样创建：
重排分级顺序
重新调整某条轴上各级别的顺序，或根据指定级别上的值对数据进行排序。
swaplevel：接受两个级别编号或名称，返回一个互换了级别的新对象，数据不发生改变：
sortlevel：根据单个级别中的值对数据进行排序（得到的最终结果是有序的）
根据级别汇总统计
level选项：用于指定在某条轴上求和的级别。
如下所示，分别根据行或列上的级别来对行、对列进行求和：
使用DataFrame的列
将DataFrame的一个或多个列当做行索引来用，或将行索引变成DataFrame的列：
set_index函数：将其一个或多个列转换为行索引，并创建一个新的DataFrame。
默认情况下，那些列会从DataFrame中移除，也可以将其保留下来：
reset_index：将层次化索引的级别转移到列里面（和 set_index 相反）
不足之处，欢迎指正。
python
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用。你还可以使用@来通知其他用户。