scrapy 通过xpath helper插件可以获取到数据 在程序中却获取为[] 空

代码 如下:

class SeriesSpider(scrapy.Spider):

name = "series"
allowed_domains = ['sohu.com']

def start_requests(self):
    yield Request('http://audi.auto.sohu.com',
                  meta={'brand_id': 191},
                  callback=self.parse)

def parse(self, response):
    brand_id = response.meta['brand_id']
    sel = Selector(response)
    serieses = sel.xpath('//*[@id="myTable111"]/tbody/tr/td[@class="bg"]/a')

    print serieses.extract()
    
阅读 4k
1 个回答

已找到问题原因,要获取的内容是js里的;

暂时还没有想到好的方法怎么去获取这些数据!

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进