这是原始的HTML代码,我尝试抓取li标签下的内容,但是每次尝试都是为空,不知道是否是我的xpath语法有问题,麻烦懂得大虾帮我指点一下,谢谢
<li id="result_0" class="s-result-item celwidget " data-asin="B018FJSCTS">
<div class="s-item-container" style="height: 446px;">
<div class="a-row sx-badge-region"></div>
<div class="a-row a-spacing-base">
<div class="a-row a-spacing-mini">
<div class="a-row a-spacing-mini">
<div class="a-row a-spacing-top-mini a-spacing-mini">
<div class="a-row a-spacing-mini">
<div class="a-row a-spacing-none">
</div>
</li>
def parse(self,response):
sel = Selector(response)
# sites =sel.xpath('//li[@class="s-result-item"]').extract()
sites =sel.xpath('//li[@class="s-result-item celwidget "]').extract()
使用scrapy shell命令进行调试。
对于sel.xpath('//li[@class="s-result-item celwidget "]').extract()
返回的是一个列表,可改成
sel.xpath('//li[@class="s-result-item celwidget "]').extract()[0]试试