爬虫时网页源代码和页面内容不一致，和F12中的ELEMENT也不一致，怎么办？

Question

在爬取58同城工作页面的申请人数和浏览人数时，网页源代码总是显示0人，但页面数据在实时更新，更新的内容和F12中的elements内容是一致的，请问这种情况应该如何爬到申请和浏览人数？
网页地址：https://bj.58.com/zpyiyuanyiliao/27988291906488x.shtml?psid=1...
网页页面：

网页源代码：

Answer 1

https://statisticszp.58.com/position/totalcount/?infoId=27988...

请求这个地址：

{
  deliveryCount: 1141,
  commentCount: 0,
  infoCount: 4,
  resumeReadPercent: 0,
  referUrl: "",
  nextUrl: "null"
}

Answer 2

数据是由 JavaScript 执行后填入的。
配合使用 selenium 或者 puppeteer 等无头浏览器，等 JS 执行完毕再获取数据就行了。

Answer 3

加个等待时间就可以了。或者你干脆分析接口不得了。

Answer 4

查看网页源代码 只是最初的内容（最初返回的Doc）
后边都是<sricpt>标签引入的js改的
比较简单的方法是用selenium 或者 puppeteer 或者 tampermonkey（具体用啥得看你现在会啥了），就是稍微慢点
分析请求接口估计是非常难（得对前端和反爬非常了解）