Python 爬虫

新手学习爬虫

有没有系统性的资料或者教程?

因为网上的资料都是针对性的,但我希望系统性的全面学习这方面的知识。

各位大神有没有推荐?

阅读 4.5k
3 个回答

学习scrapyBeautifulSoup的使用,不知道scrapy现在支不支持python3,但BeautifulSoup是肯定支持3的,这两个东东能满足你爬虫的一些基本需求了。

要是需要往大了做,会遇着一些比较恶心的东西,例如所谓的爬虫,反爬虫,反反爬虫……这些东西就是另外一个故事了。

如果有兴趣的话,请移步知乎,参考一下别人的答案点这里

你想做什么 通用爬虫有现成的可以用 其余的都是解决各种恶心的东西
准确点说难点不在爬虫上 爬虫大了有规模了是难点 然后页面解析 各种识别参数模拟登陆这种才是真正要学的地方
另外有个经验 优先爬移动版
我知道有个scrapy 但是我们做项目的时候还是自己写了绝大多数框架 因为要做动态页面

scrapy满足你一切需求。开源。

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题