python 有哪些库可以模拟chrome对html的修改

Question

抓取数据时遇到个很麻烦的问题,就算没有javascript的影响,urllib获得的代码和chrome中的代码也不一样,在chrome中获取的xpath没法直接用.
比如chrome在table底下加了tbody

Answer 1

selenium，直接操作Chrome
【Python 笔记】selenium 简介

Answer 2

设置一下user agent看看

Answer 3

首先, 这是一个 XY 问题, 如果有一个库可以模拟chrome, 那它就是 chrome. (python 的鸭子)

如果你是问 table 下加了 tbody, 试试 html5lib, 它建树尽量模仿了 html5 的行为标准来修正节点.