Python--界面UI控制，模拟键鼠操作的模块pyautogui（超详细用法）

一、简介

PyAutoGUI是一个Python 第三方库，需要pip install 安装 。它允许我们通过编程方式模拟鼠标和键盘的操作，窗口操作，以及界面的截图匹配。由于它是照搬人的操作，底层没有套牢在Windows系统，所以它可以跨平台。

二、安装

通过pip命令可以轻松安装PyAutoGUI

pip install pyautogui -i https://pypi.tuna.tsinghua.edu.cn/simple

三、主要功能

• 鼠标操作：PyAutoGUI可以模拟鼠标移动、点击、拖拽等操作，可以控制鼠标的位置和点击的坐标。
• 键盘操作：PyAutoGUI可以模拟键盘按键和组合键的操作，如按下和释放按键、输入文本等。
• 屏幕操作：PyAutoGUI集成了pyscreeze模块，可以直接调用函数截屏、查找指定图像的位置等
• 延时控制：PyAutoGUI可以控制鼠标和键盘操作的延时，以确保操作的正确性和稳定性。
• 窗口控制：PyautoGUI集成了pygetwindow模块，可以直接调用函数获取窗口信息、控制窗口大小、移动、关闭等

3.1、基础功能

获取鼠标当前位置

1. import pyautogui
2. print(pyautogui.position()) # Point(x=1964, y=1338)

获取屏幕大小 

1. import pyautogui
2. print(pyautogui.size()) # Size(width=3840, height=2160)

判断坐标是否在屏幕中

1. import pyautogui
2. print(pyautogui.onScreen(200, 200))
3. print(pyautogui.onScreen(2000, 4000))

3.2、GUI控制功能

自动防故障功能

默认这项功能为True，意味着：当鼠标的指针在屏幕的最坐上方，程序会报错；目的是为了防止程序无法停止；

1. import pyautogui
2. print(pyautogui.FAILSAFE)
3. pyautogui.FAILSAFE = False
4. print(pyautogui.FAILSAFE)

停顿功能

这个停顿只是在用pyautogui控制鼠标和键盘时生效，如果是执行一般功能的命令，则该停顿不生效

1. import pyautogui
2. pyautogui.PAUSE = 5
3. pyautogui.moveTo(200, 200, duration=1);pyautogui.moveTo(2000, 1000, duration=1)

3.3、鼠标控制功能

 控制移动鼠标

        移动到指定位置

1. import pyautogui
2. pyautogui.moveTo(100,300,duration=1)  #（100,300）是坐标， duration 的作用是设置移动时间，单位秒，所有的gui函数都有这个参数，而且都是可选参数 相对移动，按方向移动

         相对移动，按方向移动

1. import pyautogui
2. pyautogui.moveRel(100,500,duration=4)  # 第一个参数是左右移动像素值，第二个是上下移动像素值

控制鼠标点击

        单击鼠标

1. import pyautogui
2. pyautogui.click(10,10)  # 鼠标点击指定位置，默认左键
3. pyautogui.click(10,10,button='left')  # 单击左键
4. pyautogui.click(1000,300,button='right')  # 单击右键
5. pyautogui.click(1000,300,button='middle')  # 单击中间

        双击鼠标

1. import pyautogui
2. pyautogui.doubleClick(10,10)  # 指定位置，双击左键
3. pyautogui.rightClick(10,10)  # 指定位置，双击右键
4. pyautogui.middleClick(10,10)  # 指定位置，双击中键

        按下和释放分解：点击&释放

1. import pyautogui
2. pyautogui.mouseDown()
3. pyautogui.mouseUp() # 两句命令相当于pyautogui.press()
5. pyautogui.mouseDown(button='right') # 按下右键
6. pyautogui.mouseUp(button='right', x=100, y=200) # 移动到（100,200），释放右键

控制鼠标拖动

        拖动到指定位置

1. import pyautogui
2. pyautogui.dragTo(100,300,duration=1)  # 将鼠标拖动到指定的坐标

        拖动到相对位置，按方向拖动

1. import pyautogui
2. pyautogui.dragRel(100,500,duration=4)  # 第一个参数是左右移动像素值，第二个是上下移动像素值， 向右拖动100px，向下拖动500px, 这个过程持续 4 秒钟

控制鼠标滚动

        控制鼠标滚动的函数是scroll()， 传入一个整数的参数，说明向上或向下滚动多少个单位；单位根据操作系统不同而不同

1. import pyautogui
2. pyautogui.scroll(300)  # scroll up 300 "clicks"
3. pyautogui.scroll(10) # scroll up 10 "clicks"
4. pyautogui.scroll(10, x=100, y=100) # move mouse cursor to 100, 200, then scroll up 10 "clicks"

补间/缓动函数（import Pytweening）

        指示鼠标移动到目标位置时的进度，可以使鼠标移动变得更漂亮

3.4、键盘控制功能

按键

1. import pyautogui
2. pyautogui.press('enter')   # 按enter键，并释放
3. pyautogui.press('f1')
4. pyautogui.press(['left', 'left', 'left'])
5. pyautogui.press('left', presses=3)  # 可以设置按键次数

组合按键，按下&释放

例如：要在按住 Shift 键的同时按向左箭头键

1. import pyautogui
2. pyautogui.keyDown('shift')  # 按下shift键
3. pyautogui.press('left')  # 按左键，并释放
4. pyautogui.keyUp('shift')   # 释放shift键

输入字符串

1. import pyautogui
2. pyautogui.write('Hello world!', interval=0.25) # interval 每个字符输入间隔时间

hold()上下文管理器

1. import pyautogui
2. with pyautogui.hold('shift'):
3. pyautogui.press(['left','left','left'])

热键hotkey()函数

hotkey()可以传递多个按键字符串，这些按键字符串将按顺序按下，然后按相反的顺序释放。

1. import pyautogui
2. pyautogui.hotkey('ctrl', 'shift', 'esc)
3. # 相当于以下代码
4. # pyautogui.keyDown('ctrl')
5. # pyautogui.keyDown('shift')
6. # pyautogui.keyDown('esc')
7. # pyautogui.keyUp('esc')
8. # pyautogui.keyUp('shift')
9. # pyautogui.keyUp('ctrl')

3.5、消息框功能

警报框

1. import pyautogui
2. pyautogui.alert(text='This is an alert box', title='Test', button='OK')   # 显示一个简单的消息框，其中包含文本和一个“确定”按钮。返回button键的值。

确认框/选择框

1. import pyautogui
2. pyautogui.confirm('选择一项', buttons=['A', 'B', 'C'])
3. pyautogui.confirm(text='', title='', buttons=['OK', 'N']) # 显示一个选择框，有多个按键，返回按键的值

提示输入框

1. import pyautogui
2. pyautogui.prompt(text='', title='' , default='')
3. # 显示带有文本输入的消息框以及“确定”和“取消”按钮。返回输入的文本，如果单击“取消”，则返回None

密码输入框

1. import pyautogui
2. pyautogui.password(text='', title='', default='', mask='*’)
3. # 显示带有文本输入的消息框以及“确定”和“取消”按钮。键入的字符显示为*。返回输入的文本，如果单击“取消”，则返回None

3.6 桌面截图，图片匹配，像素点RGB信息

源码，从源码中可看到，引用了PyScreeze模块、Pillow模块，这两个模块会在安装pyautogui模块时一起安装。

引用的方法是红色框住的这些

截图功能

1. import pyautogui
2. pyautogui.screenshot("C:\\Users\\XX\\test.png")  
3. # 全屏截图，传递一个文件名字符串会将截图保存到一个文件中，并将其作为一个Image对象返回。
5. pyautogui.screenshot("C:\\Users\\XX\\test.png", region=(0, 0, 300, 400))     
6. # 非全屏截图，可选的region关键字参数。可以传递一个包含要捕获区域的左、顶、宽、高的四个整数元组

图片匹配

1. import pyautogui
2. pyautogui.locateAll(needleImage, haystackImage, grayscale=None, region=None)
3. # # 返回一个生成器，用tuple转换一下生成器，得到一个元组，元组中的每个元素是BOX类的实例对象，未匹配到则返回空元组
5. pyautogui.locate(needleImage, haystackImage)
6. # 返回值就是上图的b[0]，即BOX类的一个实例对象，如果未匹配则报异常
8. pyautogui.locateAllOnScreen(needleImage, minSearchTime)
9. # 与locateAll()相比第二个参数变成了minSearchTime，可以理解最小匹配时间，会在这个时间中一直从当前界面找needleImage图，直至找到返回，返回值与pyautogui.locateAll一样，是返回一个生成器
11. pyautogui.locateOnScreen(needleImage, minSearchTime)
12. # 返回值是BOX类的一个实例对象，如果未匹配则报异常
14. pyautogui.locateCenterOnScreen(needleImage)
15. # 匹配失败返回异常，匹配成功返回一个Point类的一个实例，实例属性x, y坐标，匹配到的图片中心点
17. pyautogui.locateOnWindow(image, title)
18. # 里面使用了pygetwindow模块，匹配title的UI界面中是否包含image，返回值同pyautogui.locateOnScreen

像素点RGB信息

1. import pyautogui
2. pyautogui.center((10, 10, 6, 8))
3. # Point(x=13, y=14)
4. # 返回一个Point类的一个实例，tuple转换后为一个元组
6. pyautogui.pix(x, y)
7. # 返回屏幕像素在x, y处的颜色作为RGB元组，每种颜色表示从0到255。(x,y)像素点的（r, g, b）
9. pyautogui.pixelMatchesColor(x, y, (r, g, b))
10. pyautogui.pixelMatchesColor(200,500, (60,63,65))
11. # 返回True or False，即像素点的颜色匹配是否一致

3.7、窗口控制功能

PyautoGUI集成了pygetwindow模块，可以直接调用函数获取窗口信息、控制窗口大小、移动、关闭等

获得窗口对象

        获得当前活动(聚焦)窗口的对象

1. import pyautogui
2. pyautogui.getActiveWindow()  # 返回当前活动(聚焦)窗口的对象

        获得所有可见窗口的窗口对象列表

1. import pyautogui
2. pyautogui.getAllWindows()  # 返回所有可见窗口的窗口对象列表

        获得当前活动(聚焦)窗口的标题

1. import pyautogui
2. pyautogui.getActiveWindowTitle()   # 返回当前活动(聚焦)窗口的标题

        获得所有可见窗口的标题字符串列表

1. import pyautogui
2. pyautogui.getAllTitles()  # 返回所有可见窗口的标题字符串列表

        获得标题文本中包含字符'ibox'的窗口对象列表

1. import pyautogui
2. pyautogui.getWindowsWithTitle(“ibox”)   # 返回标题文本中包含子字符'ibox'的窗口对象列表。

        获得包含坐标点的窗口对象列表

1. import pyautogui
2. pyautogui.getWindowsAt(2000, 2000)   # 返回一个窗口对象列表，这些窗口包含坐标(2000, 2000)

控制窗口

        窗口对象的属性

1. import pyautogui
2. win = pyautogui.getWindowsWithTitle('Untitled')[0] # win是title是'Untitled'的窗口对象
4. # 窗口对象的属性
5. win.size #（132,100）返回元组，窗口大小
6. win.width # 返回int，窗口的宽度
7. win.height # 返回int，窗口的高度
8. win.topleft # （10,10）返回元组，窗口最左上角坐标
9. win.bottomright # （200,200）返回元组，窗口最右下角坐标
10. win.top # 返回int，窗口上边缘的y坐标值
11. win.left # 返回int，窗口左边缘的x坐标值
12. win.isMaximized # 返回bool，窗口是否是最大窗口
13. win.isMinimized # 返回bool，窗口是否是最小窗口

        窗口对象的方法

1. import pyautogui
2. win = pyautogui.getWindowsWithTitle('Untitled')[0] # win是title是'Untitled'的窗口对象
4. # 窗口对象的方法
5. win.maximize() # 窗口最大化
6. win.minimize() # 窗口最大化
7. win.restore() # 恢复窗口大小
8. win.resize(200,200) # 窗口x轴增加200，y轴增加200
9. win.resizeTo(200,200) # 窗口变化至x轴宽度200，y轴宽度200
10. win.move(10, 10) # 窗口相对当前位置x轴移动10，y轴移动10
11. win.moveTo(10, 10) # 窗口移动至10，y轴移动至10，左上角坐标（10,10）

四、应用

       自动化测试

        可以模拟用户的操作，用于自动化测  试各种软件和系统的功能。  

       数据采集和处理

        可以帮助自动化从网页或应用程序中采集数据，并进行处理和分析。

       软件演示和教程录制

        可以用于自动化演示软件的功能和操作，录制教程视频等。  

       游戏辅助工具

        可以用来制作游戏辅助工具，自动化完成一些重复性操作。

五、官方文档

       Pyautogui

        https://pyautogui.readthedocs.io/en/latest/msgbox.html  

       Pygetwindow  

        https://pygetwindow.readthedocs.io/en/latest/#  

       Pillow/PIL  

        https://pillow.readthedocs.io/en/latest/#    

       Pyscreeze  

        https://github.com/asweigart/pyscreeze