大数据项目1之大CSV文件切割

0.实验环境

1. 待切割CSV文件大小：1.5G（字段有中文有英文）
2. 所介绍的两个软件的下载地址：CSVSplitter和CSVed打包下载地址

1.CSVSplitter

本次实验使用的就是这个神器，优势有两个：

1. 可以转换CSV里面的中文字段（转换之后的中文编码为GBK）
2. 可以切割1.5G的大CSV文件

将1.5G的csv文件切割之后使用pandas的read_csv方法顺利导入，然后怒插到mysql中。

2.CSVed

这个神器本次没有用，但是看起来很厉害，如果下回有机会可以尝试一下。