Python 爬虫

Question

新手学习爬虫

有没有系统性的资料或者教程？

因为网上的资料都是针对性的，但我希望系统性的全面学习这方面的知识。

各位大神有没有推荐？

Answer 1

学习scrapy或BeautifulSoup的使用，不知道scrapy现在支不支持python3，但BeautifulSoup是肯定支持3的，这两个东东能满足你爬虫的一些基本需求了。

要是需要往大了做，会遇着一些比较恶心的东西，例如所谓的爬虫，反爬虫，反反爬虫……这些东西就是另外一个故事了。

如果有兴趣的话，请移步知乎，参考一下别人的答案点这里

Answer 2

你想做什么 通用爬虫有现成的可以用 其余的都是解决各种恶心的东西
准确点说难点不在爬虫上 爬虫大了有规模了是难点 然后页面解析 各种识别参数模拟登陆这种才是真正要学的地方
另外有个经验 优先爬移动版
我知道有个scrapy 但是我们做项目的时候还是自己写了绝大多数框架 因为要做动态页面

Answer 3

scrapy满足你一切需求。开源。