基于Python＋uiautomation的windowsGUI自动化测试概述

1 前言

一直使用Python做自动化测试，近期遇到了要对桌面端软件即windowsGUI进行自动化测试。Python的GUI自动化测试工具有很多，但是都有不同的侧重点。本次会详细说明为啥选择uiautomation来做测试。

2 PythonGUI工具

2.1 常用的PythonGUI编程工具

详情参考：https://blog.csdn.net/NoamaNelson/article/details/113678356

工具	官网	简介
wxPython	https://www.wxpython.org/	wxPython 是 Python 语言的一套优秀的 GUI 图形库，允许 Python 程序员很方便的创建完整的、功能键全的 GUI 用户界面
Kivy	https://kivy.org/#home	vy是一个开源工具包能够让使用相同源代码创建的程序能跨平台运行。它主要关注创新型用户界面开发，如：多点触摸应用程序。Kivy还提供一个多点触摸鼠标模拟器。当前支持的平台包括：Linux、Windows、Mac OS X和Android
Flexx	https://flexx.readthedocs.io/...	Flexx 是一个纯 Python 工具包，用来创建图形化界面应用程序。其使用 Web 技术进行界面的渲染。你可以用 Flexx 来创建桌面应用，同时也可以导出一个应用到独立的 HTML 文档。因为使用纯 Python 开发，所以 Flexx 是跨平台的。
PyQt	https://www.riverbankcomputin...	PyQt是Qt库的Python版本。PyQt3支持Qt1到Qt3。 PyQt4支持Qt4。它的首次发布也是在1998年，但是当时它叫 PyKDE，因为开始的时候SIP和PyQt没有分开。PyQt是用SIP写的。PyQt 提供 GPL版和商业版
Tkinter	https://docs.python.org/zh-cn...	Tkinter（也叫Tk接口）是Tk图形用户界面工具包标准的Python接口。Tk是一个轻量级的跨平台图形用户界面（GUI）开发工具。Tk和Tkinter可以运行在大多数的Unix平台、Windows、和Macintosh系统
Pywin32	https://pypi.org/project/pywi...	Windows Pywin32允许你像VC一样的形式来使用PYTHON开发win32应用
PyGTK	https://iowiki.com/pygtk/pygt...	PyGTK让你用Python轻松创建具有图形用户界面的程序.底层的GTK+提供了各式的可视元素和功能,如果需要,你能开发在GNOME桌面系统运行的功能完整的软件
pyui4win	域名停更	pyui4win是一个开源的采用自绘技术的界面库。支持C++和python，用它可以很容易实现QQ和360安全卫士这样的绚丽界面。而且，pyui4win有所见即所得界面设计器，让C++开发人员和python开发人员直接用

2.2 常用PythonGUI自动化测试工具

详细对比参考：https://blog.csdn.net/m0_37602827/article/details/108308991

工具	官网	简介
pywinauto	https://pypi.org/project/pywi...	主要使用到 Application 类，用于应用程序管理（打开与关闭应用等）、窗口管理（最小化、最大化、关闭窗口）
Pywin32	https://pypi.org/project/pywi...	包含 win32gui、win32api、win32con 3个子模块，用于窗口管理（定位窗口、显示和关闭窗口、获取窗口位置等）
pyautogui	https://pyautogui.readthedocs...	屏幕控制（截屏等）、鼠标控制（移动鼠标、单击、双击、右击、拖拽等）、键盘控制（编辑、按键等）

2.3 说明

经过前边的介绍，我们主要是用例进行自动化测试的，所有pythonGUi编程的一些工具就用不到了。而常用的那三种pythonGUI自动化测试工具，有支持的平台有限，所以经过一番折腾，看到大神使用uiautomation，经过验证该工具很不错，用起来也方便。

3 uiautomation简介

3.1 作者博客

https://www.cnblogs.com/Yinkaisheng/p/3444132.html

3.2 uiautomation信息获取

3.3 大体内容

uiautomation是作者业余时间开发的供自己使用的一个python模块；
所以安装的时候直接：

pip install uiautomation

UIAutomation实现的自动化支持微软提供的各种界面开发框架，如Win32, MFC, Windows Forms, WPF, Metro App, IE;
另外Qt, Firefox, Chrome实现了UI Automation Provider，也支持UIAutomation;
作者用Python和C++对UIAutomation做了一层封装，方便我自己的使用，可以快速开发自动化脚本；
UIAutomation支持平台包括Windows XP(SP3),Windows Vista, Windows 7, Windows 8、8.1、10；

4 uiautomation使用方法

4.1 常用方法

1、WindowContrl(searchDepth,ClassName,SubName) # 查找窗口中的程序，如果有中文则需用Unicode;可用window.Exists(maxSearchSeconds)来判断此窗口是否存在；

2、EditControl(searchFromControl) # 查找编辑位置，找到后可用DoubleClick()来改变电脑的focus;edit.SetValue(“string”)输入值；

3、Win32API.SendKeys(“string”) # 如果已在编辑位置，则可用此方法来输入值，{Ctrl}为ctrl键，其他类似；{@ 8}格式可输入8个@，对于数字也可实现此功能，但对于字母不能…;

4、MenuItemControl(searchFromControl,Name) # 查找菜单按钮；

5、ComboBoxControl(searchFromControl,AutomationI) # 查找下拉框，然后在此基础上用Select(“name”)方法来选择需要的选项；

6、BottonControl(searchFromControl,Name,SubName) # 查找按钮；

7、automation.FindControl(firefoxWindow, lambda c:(isinstance(c, automation.EditControl) or isinstance(c, automation.ComboBoxControl)) and c.Name == 'Enter your search term') # 按条件搜索handle

4.2 句柄常用操作

Click() # 点击；

RighClik() # 右键点击；

SendKeys() # 发送字符；

SetValue() # 传值，一般对EditControl用；

4.3 windows程序常用操作

subprocess.Popen(‘Name’) # 用进程打开程序；

window.Close() # 关闭窗口；

window.SetActive() # 使用；

window.SetTopMost() # 设置为顶层

window.ShowWindow(uiautomation.ShowWindow.Maximize) # 窗口最大化

window.CaptureToImage(‘Notepad.png’) # 截图

uiautomation.Win32API.PressKey(uiautomation.Keys.VK_CONTROL) # 按住Ctrl键

uiautomation.Win32API.ReleaseKey(uiautomation.Keys.VK_CONTROL) # 释放Ctrl键

automation.GetConsoleWindow() # return console window that runs python，打开控制台

automation.Logger.ColorfulWriteLine(’\nI will open <Color=Green>Notepad and <Color=Yellow>automate it. Please wait for a while.’) # 控制台传值（彩色字体），普通传值用WriteLine；

automation.ShowDesktop() # 显示桌面；

4.4 句柄的抓取

直接运行automation模块枚举窗口时，支持下列参数（从doc窗口运行automation.py程序）：

-t intValue 延迟枚举时间，单位秒

-r 从树的根部枚举，如果不指定，从当前窗口枚举

-d intValue 枚举控件树的的深度，如果不指定，枚举整个树

-f 从焦点控件枚举，如果不指定，从当前窗口枚举

-c 从光标下的控件枚举，如果不指定，从当前窗口枚举

-a 获取光标下控件及其所有父控件

-n 显示控件的完整Name, 如果不指定，只显示前30个字符

-m 显示控件更多属性，默认只显示控件的四个属性

示例：

automation.pyc –t3， 3秒后枚举当前窗口所有控件

automation.pyc –d2 –t3， 3秒后枚举当前窗口前三层控件

automation.pyc –r –d1 –t0 -n， 0秒后从根部枚举前两层控件，并显示控件完整名称

automation.pyc –c –t3， 3秒后显示鼠标光标下面的控件信息

5 控件定位

使用Inspect.exe工具进行控件识别和定位

网上下载该软件，双击打开，如下：
设置定位控件高亮显示
示例：比如打开计算器后，识别控件的信息如下

6 项目示例

6.1 示例说明

1.打开本地计算器软件；
2.输入2+8计算结果
3.进行断言结果的准确性

6.2 示例代码

# -*- coding:utf-8 -*-

import unittest
import logging
import time
import uiautomation
import os

# @unittest.skip("跳过")
class TestFaultTree(unittest.TestCase):
    def setUp(self) -> None:
        # 初始化
        os.system("calc")  # 打开计算器
        time.sleep(2)
        self.calc = uiautomation.WindowControl(Name="计算器")
        self.calc_list = ["二", "加", "八", "等于"]
        self.result = "10"


    def tearDown(self) -> None:
        time.sleep(1)
        self.calc.ButtonControl(Name="关闭 计算器").Click()


    def test_toolbar(self):

        time.sleep(1)
        for i in range(0, len(self.calc_list)):
            self.calc.ButtonControl(Name=self.calc_list[i]).Click()
            time.sleep(0.5)

        calc_result = self.calc.TextControl(foundIndex=3).Name
        print("计算器运行结果为：", calc_result)
        print("预期结果为：", self.result)
        self.assertIn(self.result, calc_result)

if __name__ == "__main__":
    unittest.main()

7 示例效果

在这里插入图片描述

8 预告

会出一个系列文章主要讲解如何搭建windowsGUI自动化测试框架从0到1，基于Python+Unittest+UIautomation+HtmlTestRunner的架构