0

我有一个网站,现在用 POST 模拟查询爬取数据,数据可能好几页。
奇怪的是,我发现 formdata 居然有一个 totalPage 字段(这个 totalPage 是查询结果的页数,不是整个数据库的页数)!!!
问题是我没 POST 怎么知道结果有多少页???

2019-04-12 提问
1

silly question.

WestFarmer · 4月12日

添加评论
4 个回答
0

已采纳

如果totalPage是必须的,建议先去把totalPage爬到,然后就可以用它来爬你要的网页了

1

不奇怪,当填入“防火门”点击检索时,打开了一个新页面(也就是第一页的查询结果),仔细看这个请求,formdata 中是不包含 totalPage 这几个字段的。这时看页面返回的html代码,其中包含了 301(也就是“防火门”产品的页数)。当进行下一页或其他翻页操作时,就会把这个301带过去。至于为什么要带这个参数,个人认为,是前端偶然带了上去。

千年虫 · 4月12日

展开评论
0

总页数可以通过总条数/每页条数得到

0

你抓包看看真实浏览器是怎么设定这个参数的

0

这个可以在服务器端根据session来记录返回的,不一定需要客户端处理。
此外如果需要传递,可能有默认值或者初始值,比如0值表示返回所有等等。
这个需要具体看api接口啦。

撰写答案

推广链接