Scrapy框架get() 、getall() 、extract() 、extract_first()的区别

2019-03-18
阅读 4 分钟
26.9k
看官方文档(链接附在文末),看到了关于get()、get()方法的使用,查阅网络没有资料,那就自己记录一下。y( ˙ᴗ. )耶~y( ˙ᴗ. )耶~y( ˙ᴗ. )耶~y( ˙ᴗ. )耶~y( ˙ᴗ. )耶~y( ˙ᴗ. )耶~y( ˙ᴗ. )耶~y( ˙ᴗ. )耶~y( ˙ᴗ. )耶~先说结论:对于scrapy.selector.unified.SelectorList对象,getall()==extract(),get()==extract_first()对...

Scrapy中的Reponse和它的子类(TextResponse、HtmlResponse、XmlResponse)

2019-03-10
阅读 4 分钟
12.9k
因为网站是动态渲染的,所以选择scrapy对接selenium(scrapy抓取网页的方式和requests库相似,都是直接模拟HTTP请求,而Scrapy也不能抓取JavaScript动态渲染的网页。)