scrapy 在抓取数据的时候 cookie 传递的不一样

    self.co_headers = {"Referer": "https://rong.36kr.com/list/detail&?sortField=HOT_SCORE",
                               "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"
                , "Host": "rong.36kr.com", "cookie": self.cookie_str, ":authorit": "rong.36kr.com"}
            
 这是headers 和cookie 放在一起的

self.headers = {"Referer": "https://rong.36kr.com/list/detail&?sortField=HOT_SCORE",
                        "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"
            , "Host": "rong.36kr.com"}
            
 这个是单独的header
cookie 单独通过字典给他传过去
cookies=cookie,headers=headers这样才可以
scrapy 在传递cookie的时候 有时候把cookie 写到co_header 里面 有时候把headers 和cookie 单独列出来,这是为啥?有人知道吗?
阅读 1.5k
1 个回答

没区别吧。主要看cookies格式。scrapy发送请求也是通过requests这个库。headers里面coookies=‘{}={};{}={}’格式,单独拎出来的话cookies={}是一个字典而已,最后都会转化成cookiejar接受的格式而已。

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题