学爬虫,需要理论与实践相结合,Python生态中的爬虫库多如牛毛,urllib、urllib2、requests、beautifulsoup、scrapy、pyspider都是爬虫相关的库,但是如果没有理论知识,纯粹地学习如何使用这些API如何调用是不会有提升的。所以,在学习这些库的同时,需要去系统的学习爬虫的相关原理。你需要懂的技术包括但不限于Python编程语言、HTTP协议(TCP/IP协议栈)、数据库、Linux等知识Python入门:《A Byte of Python》HTTP入门:《图解HTTP》数据库入门:《MySQL必知必会》Linux入门:《快乐的 Linux 命令行》正则入门:《精通正则表达式 》还有一本专门讲爬虫的书:《用Python写网络爬虫》爬虫入门阶段:《Python3 网络爬虫开发实战》第一版、第二版,作者崔庆才反爬套路总结:《Python3 反爬虫原理与绕过实战》,作者韦世东数据产品+数据产品思维:《爬虫实战:从数据到产品》,作者贺思聪爬虫逆向进阶:《反爬虫AST原理与还原混淆实战》,作者李岳阳,卓斌;
学爬虫,需要理论与实践相结合,Python生态中的爬虫库多如牛毛,urllib、urllib2、requests、beautifulsoup、scrapy、pyspider都是爬虫相关的库,但是如果没有理论知识,纯粹地学习如何使用这些API如何调用是不会有提升的。所以,在学习这些库的同时,需要去系统的学习爬虫的相关原理。
你需要懂的技术包括但不限于Python编程语言、HTTP协议(TCP/IP协议栈)、数据库、Linux等知识
爬虫入门阶段: