CSVKIT——处理csv文件的瑞士军刀

统计和数据处理都离不开csv文件，一般来说，操作csv都是依赖第三方软件，如Excel、Matlab这样的；也可以自己编程，用Python、Perl等等，直接操作文件比较麻烦。

但对简单的处理，用大体量的软件或是写一段代码有点杀鸡用牛刀的感觉，这时，csvkit就有用武之地。

开始

安装csvkit

安装csvkit很简单：

pip3 install csvkit

我的系统是Python3.6，所以用pip3来安装，如果还在用Python2.7，就用pip install csvkit来进行安装。

为了方便后面的测试和解释，建议从官方下载测试样本文件：

curl -L -O  https://raw.githubusercontent.com/wireservice/csvkit/master/examples/realdata/ne_1033_data.xlsx

in2csv：Excel的杀手

下载的样本文件是一个Excel文件，谁愿意为了仅仅看两行数据而等待Excel漫长的启动界面呢？所以首先要将它转换为csv文件，转换也不用打开Excel，一条命令：

in2csv ne_1033_data.xlsx > data.csv

>是shell的重定向符，如果不重定向，in2csv会将转换之后的内容输出到控制台显示，现在我希望能保存为csv文件便于后续的操作，所以就将内容输出定向到data.csv文件中。

接下来看看data.csv的内容吧：

cat data.csv

csv文件内容有了，如果用cat的方式来看，既不方便也不美观，接下来我们用另一个工具查看

csvlook：数据潜望镜

这个文件有多少行呢，用cat data.csv | wc -l看了一下，有1037行，所以一屏肯定是看不完的，需要分页查看，而分页功能在类Unix系统上有现成的less可用。

csvlook data.csv | less -S

这样的显示就好多了，还可以方向键滚动查看，q退出，/搜索，等一系列less专用操作。

csvcut：数据手术刀

既然名字中带了一个cut，聪明的你肯定猜到了它的用途，不过放心，所有的操作都不会修改输入（原始文件），只会影响输出。

先看看这个数据有哪些列

csvcut -n data.csv

可以看到，总共有14列，在输出信息中，前面的数字是数字索引位置，默认是从1开始计数，后面的是列名称，我想只看感兴趣的几列数据(在这里我为了演示，只显示4行数据，所以加了head进行输出行数限定)：

csvcut -c 2,5,6 data.csv | head -n 5

可以看到既可以用数字作为索引，也可以用列名称作为索引，所以上面的指令和下面这个指令是等价的

csvcut -c county,item_name,quantity data.csv | head -n 5

用管道进行组合

上面的输出不错，能否再显示得美观一点呢？答案是肯定的，将命令用管道组合起来就行了

csvcut -c county,item_name,quantity data.csv | csvlook | head

|管道是类Unix平台上的强大能力，如果不关心中间结果，甚至可以从头到尾都用管道进行连接，例如上面的命令改成如下方式，也是一样的结果

in2csv ne_1033_data.xlsx | csvcut -c county,item_name,quantity | csvlook | head

这样就省去了生成data.csv文件的中间过程。

数据分析

csvstat：无代码亦统计

使用csvlook和csvcut查看数据的切片只是探索数据的开始，在实践中，通常还需要一些计算和统计，csvstat的设计灵感来自编程语言 “R”的summary()统计，它可以统计汇总一个CSV文件中的数据列。

csvcut -c county,acquisition_cost,ship_date data.csv | csvstat

不知道你有没有统计学基础？如果有的话，应该一目了然，唯一值、最小值、最大值、总计、均值、中位值、标准差……，大部分情况下够用了:)

csvgrep：找到需要的数据

仅仅按照列的方式过滤还是比较弱，还需要按照内容进行过滤，这时csvgrep就派上用场，例如，我们只想看兰开斯特的数据。

csvcut -c county,item_name,total_cost data.csv | csvgrep -c county -m LANCASTER | csvlook

csvgrep还支持正则表达式，关于正则表达式的讨论有点超出本篇范围，有兴趣可以查看系统工具grep的手册。

csvsort：秩序

前面显示出来的内容都很少，实际中往往都有成千上万行，所以排序功能很重要，我们试一下用csvsort对total_cost列进行递减顺序：

csvcut -c county,item_name,total_cost data.csv | csvgrep -c county -m LANCASTER | csvsort -c total_cost -r | csvlook

宝刀屠龙

csvjoin：关联数据

在上面的数据中，有各个地区的武器装备信息，接下来想了解一个问题——装备有武器的地区中，哪里的人口最少？

原来的数据表不包含人口数量，所以下载一个包含人口信息的数据：

curl -L -O https://raw.githubusercontent.com/wireservice/csvkit/master/examples/realdata/acs2012_5yr_population.csv

两个数据表都包含fips字段，我们可以用这个字段来连接两个数据：

csvjoin -c fips data.csv acs2012_5yr_population.csv > joined.csv
csvcut -c county,item_name,total_population joined.csv | csvsort -c total_population | csvlook | head

csvstack：合并数据

数据经常会分散在不同地方，这时希望将一堆的csv文件合并成一个数据文件，csvstack可以帮助达成这个目标，一般来说csvstack需要同列同名的数据才可以合并。但是你知道，有时候即使两个csv文件有稍微的不同，也可以通过csvcut的列选择来获得同列同名的数据表。

# 获得堪萨斯州的测试数据
curl -L -O https://raw.githubusercontent.com/wireservice/csvkit/master/examples/realdata/ks_1033_data.csv
# 使用相同的文件名命名规则
in2csv ne_1033_data.xlsx > ne_1033_data.csv
# 合并两个文件到region.csv中
csvstack ne_1033_data.csv ks_1033_data.csv > region.csv
# 查看部分列的统计信息
csvstat -c state,acquisition_cost region.csv

csvsql, sql2csv：必杀技

有时，仅仅命令行是不够的，需要用SQL来进行数据的操作，csvsql和sql2csv就提供了数据库和csv之间的桥梁。

例如，我想将现在的csv文件转为数据库表

csvsql -i sqlite joined.csv

当然，我们可以一步到位，直接创建一个本地数据库：

csvsql --db sqlite:///leso.db --insert joined.csv

接下来，就可以利用数据库软件对这个数据库进行常规的SQL查询，当然也可以用CSVKIT提供的小工具sql2csv来进行查询。

sql2csv --db sqlite:///leso.db --query "select * from joined where total_population<1000;" | csvcut -c state,county,total_population | csvlook

如果SQL查询使用不频繁，何不直接在csv上执行SQL查询呢？

csvsql --query "select county,item_name,quantity from joined where quantity == 5;" joined.csv 2>/dev/null | csvlook

总结

由于我经常做数据处理的计算，所以磁盘上总是有大量的csv文件，用普通的文本编辑器打开非常缓慢不说，还不方便查询和检视，有了这套工具确实方便了很多。此外，它对中文的处理也还行，文件设置为UTF-8编码就好。