pandas简单操作

由于需要用到pandas处理一些简单数据，记录一下使用的函数和思路：

1、pandas读取csv数据
csv是gb2312编码，之前pandas一直没有代码提示，不知道怎么制定read_csv的编码方式，于是用open函数指定gb2312编码打开后，再把结果送入padnas，这样能解决不能解析的编码问题。

with open("金匮名医验案精选（900多则）.csv","r", encoding="gb2312") as f:
    df = pd.read_csv(f)

后来发现，可以直接在read_csv()中指定编码方式：

df = pd.read_csv('xxy_yang.csv', encoding="gbk")

2、pandas行列读取操作
两个主要方法：按照index索引操作df.iloc()，按照行、列名进行操作的df.loc()
对于这个一个数据表：

import pandas as pd
data = {'人名':    ['小明', '小红', '张三', '李四'],
        '出生年份': ['2000', '2001', '2002', '2003'],
        '高考分数':  ['630', '590', '600', '520'],
        '月薪':     ['5200', '3900', '4500', '3500']}
df = pd.DataFrame(data, columns=['人名', '出生年份', '高考分数', '月薪', '年终奖'],
                  index=['one', 'two', 'three', 'four'])
df['年终奖'] = ['9800', '9200', '9500', '9000']
print("行索引：{}".format(list(df.index)))
print("列索引：{}".format(list(df.columns)))
print(df.index[1:3])
print(df.columns[1])
print(df.columns[1:3])
print(df)

运行结果为：

按照index索引操作df.iloc()例如：

df.iloc[1, 3]          # 按坐标取（第二行第四列）
df.iloc[[1], [3]]      # 按坐标取（第二行第四列）
df.iloc[:, 1]          # 按位置取（任意行第二列）
df.iloc[:, [1, 3]]     # 按位置取不连续列数据（任意行第二列，第四列）
df['人名']
df.人名

按行、列名操作如：

print(df.loc['two'])
print(df.loc['two', '人名'])
print(df.loc['two':'three'])
print(df.loc[['one', 'three']])
print(df.loc[['one', 'three'], ['人名', '出生年份']])

参考文献：pandas读取行列数据-详细介绍(连续&不连续)https://blog.csdn.net/in546/a...

3、去重

drop_duplicates(subset=[‘comment’], keep=‘first’, inplace=True)

参数：

subset： 列表的形式填写要进行去重的列名，默认为 None ，表示根据所有列进行。
keep： 可选参数有三个：first、 last、 False， 默认值 first。其中，
（1）first 表示： 保留第一次出现的重复行，删除后面的重复行。
（2）last 表示： 删除重复项，保留最后一次出现。
（3）False 表示： 删除所有重复项。
inplace：默认为 False ，删除重复项后返回副本。True，直接在原数据上删除重复项。

例如，需要对下面数据取出来然后按照“方剂”列去重，

with open("伤寒金匮方剂及中药.csv","r", encoding="utf-8") as f:
    df = pd.read_csv(f)
df = df.iloc[:,[0,1]]
print(len(df))
df.drop_duplicates(subset=["方剂"],keep="first", inplace=True)
print(len(df))
print(df)

最后输出结果：

参考文献：pandas根据某列去重https://blog.csdn.net/qq_4396...

4、将去重后的数据写入csv备用
使用to_csv()，指定编码，写入方式和open函数非常类似。

5、DataFrame的query()方法

    df = pd.read_csv("伤寒金匮方剂及中药_已去重.csv", encoding="utf-8")
    print(df.query("方剂 == '桂枝汤'"))
    print(df.query("方剂.str.contains('桂枝汤')"))
    fangji = '桂枝汤'
    df = df.query("方剂.str.startswith('{}')".format(fangji)) #等价于下面语句
    #df = df.query("方剂.str.startswith(@fangji)")
    print(df)
    print(len(df.index) == 0)