Python实现macOS中简单的自动操作

工作中有套系统有一项操作要进行反复的简单操作，基本就是按钮点击。最近在学习python，就想着能不能写个脚本做这件事情。

基本思路就是利用pyautogui库识别屏幕中的按钮并进行一系列点击操作，因为个人知识薄弱，前前后后折腾好久，踩了好多坑，故特此记录。

---

其中最麻烦的就是关于要操作的应用窗口的激活。如果要操作的窗口没有获得焦点，则脚本无法进行点击操作。激活应用获得窗口焦点这些操作只能通过操作系统完成。对于macOS，如下的代码可以实现：

from Cocoa import NSRunningApplication, NSApplicationActivateIgnoringOtherApps
#激活应用获取焦点,pid为应用的进程编号
pid = 12505
app = NSRunningApplication.runningApplicationWithProcessIdentifier_(pid)
app.activateWithOptions_(NSApplicationActivateIgnoringOtherApps)

Cocoa安装pyobjc-framework-cocoa包后可导入。pyobjc是一个实现通过python调用macOS API的库。因为我对macOS下的开发完全不了解，所以看见这个库的时候基本是一头雾水。pyobjc中的API和macOS中Objective-C的API基本一一对应。

---

解决了窗口焦点获得的问题，接下来另一个坑就是按钮查找定位的问题。

我有一个按钮，通过pyautogui.locateCenterOnScreen('btn.png')获得的结果是(x=1947, y=1405)，然后我用该位置调用pyautogui.click(x=1947, y=1405)进行点击，发现鼠标已经超出了屏幕。

我的屏幕的分辨率是2560 x 1600，但通过pyautogui.size()获得的屏幕大小是1440 x 900，通过pyautogui.screenshot()截图整个屏幕获得的图像大小是2880 x 1800。

结合按钮在屏幕中的大致位置，我发现pyautogui.locateCenterOnScreen调用时使用的屏幕大小是2880 x 1800，而pyautogui.click调用时使用的屏幕大小是1440 x 900。所以，要正确的点击按钮，就要对位置坐标进行换算：

location = pyautogui.locateCenterOnScreen('btn.png')
screen = pyautogui.size()
x = int(location.x * screen.width / 2880)
y = int(location.y * screen.height / 1800)
pyautogui.click(x=x, y=y)

这样就能点击按钮正确的位置了，剩下的就是用pyautogui库进行的常规的操作。

---

使用pyautogui的麻烦的一点就是每个按钮要单独截图，而且还要保证应用窗口和截图时的大小一致，从而可以识别出按钮的位置。尝试过使用ocr技术直接通过按钮的文本信息识别按钮位置后进行操作，通过几天的尝试，始终没有找到有效的方法。如果有对这方面了解的朋友，请不吝赐教 。

以上就是我学习python中的一次应用记录。