保存数据到MySql数据库——我用scrapy写爬虫(二)

2017-10-26
阅读 9 分钟
13.6k
创建Spider,上一篇我们已经创建了ImoocSpider,我们做一下修改,可以连续下一页爬取。scrapyDemo/spiders目录下的ImoocSpider类:

快速上手——我用scrapy写爬虫(一)

2017-10-17
阅读 6 分钟
8.6k
用python写爬虫的人很多,python的爬虫框架也很多,诸如pyspider 和 scrapy,笔者还是笔记倾向于scrapy,本文就用python写一个小爬虫demo。本文适用于有一定python基础的,并且对爬虫有一定了解的开发者。