在控制台 Network 面板可以看到的返回数据,用爬虫爬出来后那个字段就没有了,可以破解吗?

试着爬微博的数据,有一个 since_id 字段是爬下一页要用的,在控制台能看到,但是用代码发起请求获取回来的数据就没有这个字段了,其他字段都有,就这个字段没有,所以只能爬一页的数据...这是新浪的防爬手段吗,破解方法难吗?

阅读 2.1k
1 个回答

用seleniumselenium或者splash

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进