首先,希望你要爬取的网站的反爬虫技术比较落后,那么建议你看看这篇文章——使用 beautifulsoup 4 抓取网页内容实例。其次,如果爬取的网站用的js技术比较多,那么建议你用 selenium2 + phantomjs。.....如果你想爬取淘宝之类的网站,我也不会,我曾经爬取过,用了第二种方法,就高兴了一分钟,然后就爬取不到了。如果你有结果,记得告诉我一声。
首先,希望你要爬取的网站的反爬虫技术比较落后,那么建议你看看这篇文章——使用 beautifulsoup 4 抓取网页内容实例。
其次,如果爬取的网站用的js技术比较多,那么建议你用 selenium2 + phantomjs。
.....
如果你想爬取淘宝之类的网站,我也不会,我曾经爬取过,用了第二种方法,就高兴了一分钟,然后就爬取不到了。如果你有结果,记得告诉我一声。