新手学习爬虫
有没有系统性的资料或者教程?
因为网上的资料都是针对性的,但我希望系统性的全面学习这方面的知识。
各位大神有没有推荐?
你想做什么 通用爬虫有现成的可以用 其余的都是解决各种恶心的东西
准确点说难点不在爬虫上 爬虫大了有规模了是难点 然后页面解析 各种识别参数模拟登陆这种才是真正要学的地方
另外有个经验 优先爬移动版
我知道有个scrapy 但是我们做项目的时候还是自己写了绝大多数框架 因为要做动态页面
4 回答4.4k 阅读✓ 已解决
4 回答3.8k 阅读✓ 已解决
1 回答2.8k 阅读✓ 已解决
3 回答2.1k 阅读✓ 已解决
1 回答4.5k 阅读✓ 已解决
1 回答3.8k 阅读✓ 已解决
1 回答2.8k 阅读✓ 已解决
学习scrapy或BeautifulSoup的使用,不知道scrapy现在支不支持python3,但BeautifulSoup是肯定支持3的,这两个东东能满足你爬虫的一些基本需求了。
要是需要往大了做,会遇着一些比较恶心的东西,例如所谓的爬虫,反爬虫,反反爬虫……这些东西就是另外一个故事了。
如果有兴趣的话,请移步知乎,参考一下别人的答案点这里