pyspider使用crawl获取不到正确的内容?

我在使用pyspider拉取一个接口的数据的时候,发现json解析后的数据为空,然后检查了下源码,发现获取到的数据是一串错误的编码,我紧接着又尝试用requests.get获取了一次,出乎意料的是,获取到的数据是正常的。
详情见下图:

阅读 1.4k
1 个回答

问题已解决,经过多次测试,发现,如果加上请求头,数据就会各种乱,有时候还会得到乱码,去掉请求头就好了。

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
宣传栏