python,网页table导出

Question

用的是python，单位内网，现有一个网页，网页包含一个20000*34的巨型表格，这样的网页有几百个。我想把网页里的table导出到本地，尝试用逐行逐个单元格遍历的方式，虽然能做，但是真是龟速。请问有没有什么库能实现这个功能？t
able导出到 list 或者直接导出到 csv XLS都行，关键就是怎么样快速导出。
谢谢

Answer 1

只能提供个思路哈:
读取网页:aiohttp 和 asyncio并发读取
导出:使用多进程multiprocessing的pool

Answer 2

可以搜索下scrapy
网址:
https://scrapy.org/