自定义Scrapy的ItemExporter

2shou

Scrapy提供了定制输出格式的功能,包括JSON/CSV等,其实对于文本,分隔符不带Key的格式仍然是最好处理的。
虽然可以修改CSV_DELIMITER让CsvItemExporter输出符合需求的格式,但是对HTML总是存在编码转换的问题让我头疼不已。
索性继承BaseItemExporter实现了一个真正称心如意的定制版ItemExporter。
ItemExporter的代码不多,但必须配合自定义的StorePipeline使用。
客观们想要什么样的格式,就到format_output的函数里恣意妄为吧。
小2拜谢:custom_pipeline.py

来自:建造者说

阅读 2.2k

码农咖啡馆
在这里交流大数据、后台技术、程序员职业与创业的那些事

希望做一个建造者

1.2k 声望
644 粉丝
0 条评论

希望做一个建造者

1.2k 声望
644 粉丝
文章目录
宣传栏