目标网址是weixin.sougou.com,我用浏览器打开的时候,可以看到里面的cookie
IPLOC=CN3100; SUID=392E34313108990A000000005A6E8617; SUV=1517192727982335; ABTEST=0|1517192730|v1; weixinIndexVisited=1; SUIR=565E5B41707513909AD33A1D70375FC3; SMYUV=1517210627888683; SNUID=E3F5EEEBDADFB93C8AA173AFDB9D411E; JSESSIONID=aaaL-gYd8sTx3-YrDqCew
然后我用scrapy去请求,设置meta={'cookiejar':1},查看request的cookie发现
b'ABTEST=0|1517278509|v1; SUID=392E34311E24940A000000005A6FD52D; IPLOC=CN3100'
我看response里面也没有set_cookie
也就是只有一部分的字段,那怎么用scrapy完整的获取cookie字段呢,在setting里面吧default headers设置成为了目前电脑浏览器。
session