0

当构建一个爬虫请求时,requests.post中的date元素如何确定

requests.post(url, data=post_data) #伪代码

这个post_data在爬取不同网站时其中的内容不一样,这个内容应该如何确定?

1个回答

0

用post提交表需要确认服务器需要的数据项,然后组成json对。

requests.post(url=url, data=data)

我觉得楼主说的是data的提交。


一般用浏览器的开发者工具确认网页请求时候的方法,cookie,请求头等等
也就是说data也可以在这里找到
模拟一次提交表的过程,就可以看到提交的参数项了

clipboard.png

clipboard.png

requests.post(headers=headers,params=json.dumps(payload),url=url)

嗯嗯嗯,用的payload。我错了。。。

2

F12开发者工具了解一下

十八 · 5月18日

展开评论

撰写答案

Planets