如何快速查找动态网页里的内容?

Question

比如 我知道一个网页中 有"论文阅读.rar" 这个文件 是通过连串 ajax请求 (具体表现为 鼠标点击) 最后显示出来的
我只知道有这个文件 但是不知道 如何找到
怎么快速找到这个文件
用python的selenium 可以吗 具体怎么使用

我并不是想要构造爬虫 举个例子 我们可以在静态页面中 通过ctr+f 这个功能找到某个文本 如果有的话 则会跳转到匹配处
但是动态页面这样不行 所以我想要得是在动态页面达到类似的效果

Answer 1

selenium可以，安装对应浏览器驱（Webdriver），之后具体就像你说的通过调用打开页面api->找到对应按钮api->点击按钮api，等到页面上出现你想要的元素了，再通过api获取即可；具体参考selenium官方文档：https://www.selenium.dev/zh-cn/documentation/webdriver/gettin...

而往往selenium 不是首选，动态内容往往是前端构造请求发出的，很容易捕获，捕获到你需要的api之后通过python来构造这个请求再发出，对响应进行解析即可获取到对应的内容。
这里推荐大名鼎鼎的scrapy：https://scrapy.org/

本文参与了SegmentFault 思否面试闯关挑战赛，欢迎正在阅读的你也加入。