需要从 selenium 服务器转储带有元素 id 的整个 DOM 树

Question

我一直在使用 python selenium 进行 web 自动化测试。自动化的关键部分是为 HTML 页面中的用户可见对象找到正确的元素。以下 API 大部分时间都有效，但并非一直有效。

 find_element_by_xxx,  xxx can be id, name, xpath, tag_name etc.

当 HTML 页面太复杂时，我想搜索 dom 树。想知道是否可以要求 selenium 服务器序列化整个 DOM（具有可用于通过 webdriver 服务器执行操作的元素 id）。客户端（python 脚本）可以执行自己的搜索算法来找到正确的元素。

请注意，python selenium 可以通过以下方式获取整个 html 页面

drv.page_source

但是，从 selenium 服务器的角度来看，解析它并没有给出内部元素 id，因此没有用。

EDIT1： 对其进行解释以使其更清楚（感谢@alecxe）：这里需要的是selenium服务器中所有DOM元素（保留其DOM结构）的序列化表示，该序列化表示可以发送到客户端（一个 python selenium 测试应用程序），它可以进行自己的搜索。

原文由 packetie 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

尝试：

 find_elements_by_xpath("//*")

这应该匹配文档中的所有元素。

更新（以匹配问题改进）：

使用 javascript 并将 DOM 作为字符串返回：

 execute_script("return document.documentElement.outerHTML")

原文由 David K. Hess 发布，翻译遵循 CC BY-SA 3.0 许可协议

Answer 2

问题

好的，所以在某些情况下，您可能需要在客户端（Python）端而不是在服务器（浏览器）端对页面执行一些实质性处理。例如，如果你有某种已经用 Python 编写的机器学习系统，它需要在对它们执行操作之前分析整个页面，那么尽管可以用一堆 find_element 调用来完成它，这变得非常昂贵，因为每次调用都是客户端和服务器之间的往返。重写它以在浏览器中工作可能太昂贵了。

为什么 Selenium 的标识符不会这样做

但是，我没有看到一种 有效 的方法来将 DOM 与 Selenium 自己的标识符 一起 序列化。 Selenium 根据需要创建这些标识符，当您调用 find_element 或从 execute_script 调用返回 DOM 节点时（或传递给回调 execute_async_script 给脚本）。但是，如果您调用 find_element 来获取每个元素的标识符，那么您就回到了原点。我可以想象用所需信息装饰浏览器中的 DOM，但没有公共 API 来请求某种预分配 WebElement id。事实上，这些标识符被设计为不透明的，因此即使解决方案设法以某种方式获取所需信息，我也会担心跨浏览器的可行性和持续支持。

一个解法

然而，有一种方法可以获得适用于双方的寻址系统：XPath。思路是在客户端把DOM序列化解析成一棵树，然后得到你感兴趣的节点的XPath，用它来得到对应的WebElement。因此，如果您必须执行数十次客户端-服务器往返以确定需要执行单击的单个元素，那么您可以将其减少为页面源的初始查询加上单个 find_element 使用您需要的 XPath 调用。

这是一个超级简单的概念证明。它获取谷歌首页的主要输入字段。

 from StringIO import StringIO

from selenium import webdriver
import lxml.etree

#
# Make sure that your chromedriver is in your PATH, and use the following line...
#
driver = webdriver.Chrome()
#
# ... or, you can put the path inside the call like this:
# driver = webdriver.Chrome("/path/to/chromedriver")
#

parser = lxml.etree.HTMLParser()

driver.get("http://google.com")

# We get this element only for the sake of illustration, for the tests later.
input_from_find = driver.find_element_by_id("gbqfq")
input_from_find.send_keys("foo")

html = driver.execute_script("return document.documentElement.outerHTML")
tree = lxml.etree.parse(StringIO(html), parser)

# Find our element in the tree.
field = tree.find("//*[@id='gbqfq']")
# Get the XPath that will uniquely select it.
path = tree.getpath(field)

# Use the XPath to get the element from the browser.
input_from_xpath = driver.find_element_by_xpath(path)

print "Equal?", input_from_xpath == input_from_find
# In JavaScript we would not call ``getAttribute`` but Selenium treats
# a query on the ``value`` attribute as special, so this works.
print "Value:", input_from_xpath.get_attribute("value")

driver.quit()

笔记：

1. 上面的代码没有使用 driver.page_source 因为 Selenium 的文档声明不能保证它返回的内容的新鲜度。它可以是当前 DOM 的状态，也可以是页面首次加载时 DOM 的状态。

2. 该解决方案遇到的问题与 find_element 遇到的有关动态内容的问题完全相同。如果在进行分析时 DOM 发生变化，那么您正在处理 DOM 的陈旧表示。

3. 如果您在执行分析时必须生成 JavaScript 事件，并且这些事件会更改 DOM，那么您需要再次获取 DOM。 （这与前一点类似，但使用 find_element 调用的解决方案可以想象通过仔细排序调用顺序来避免我在 这 一点上谈论的问题。）

4. lxml 的树可能在 结构 上与 DOM 树不同，从 lxml 获得的 XPath 不寻址 DOM 中的相应元素。什么 lxml 处理的是浏览器传递给它的 HTML 的清理序列化视图。因此， 只要编写代码来防止我在第 2 点和第 3 点中提到的问题，我认为这不太可能发生，但并非不可能。

原文由 Louis 发布，翻译遵循 CC BY-SA 3.0 许可协议