基于asyncio、aiohttp、xpath的异步爬虫

2018-08-17
阅读 7 分钟
4.4k
该爬虫实现了以下功能:1.读取csv文件中的爬取规则,根据规则爬取数据;代码中添加了对3个网站的不同提取规则,如有需要,还可以继续添加;2.将爬取到的数据保存到mysql数据库中。