python爬虫静态页面爬取

通常python爬取静态网站之后, 可以使用xpath或者css选择器去匹配元素, 但是如果html元素是由js获取数据之后动态构成的该如何处理, 打开页面源代码

clipboard.png
获取的数据都是在这个ul下的, ul下的li是有js动态构成

clipboard.png

这些数据改如何去匹配

阅读 979
评论 2018-04-18 提问
    2 个回答

    需要执行js。。。
    可以试试用webdriver

    评论 赞赏

      可以用selenium模拟浏览器加载完js然后再去匹配。

      评论 赞赏
        撰写回答

        登录后参与交流、获取后续更新提醒