自动操作工具 (键鼠 图像识别 浏览器 excel 解压缩 YOLO AI自动化 )

iiopol

完整视图 流程视图

插入     游览器模式选择元素
链接:https://pan.baidu.com/s/1Ku4qtDV1m6cjIfs6qNJJHQ?pwd=4jgj 提取码:4jgj

AutomationOperation 自动化操作工具

AutomationOperation 是一款面向 Windows 桌面、浏览器和识别任务的自动化操作软件（主界面：AutomationOperation.exe）。用户通过“模板/流程”配置操作节点，让软件按顺序自动执行鼠标、键盘、图像识别、OCR、浏览器、文件处理、窗口控制、变量计算和流程判断等操作，适合把重复性工作做成可复用的自动化流程。

软件同时提供 AI 模板生成能力：可以根据自然语言描述生成自动化模板。

功能概览

AI 模板生成

• 支持根据中文任务描述生成自动化模板 JSON，适合快速搭建常见流程
• 操作目录，覆盖鼠标、键盘、识别、浏览器、文件、流程控制、变量等常用节点
• 支持参考模板和字段说明，帮助 AI 正确生成枚举值、变量字段、识别参数和流程跳转结构
• 适合生成批量处理、识别后分支、循环等待、浏览器表单处理、文件重命名等自动化配置

自动化模板

• 鼠标：移动/单击/双击/拖动/滚轮（支持 Ctrl/Shift/Alt + 滚轮、左键按下/弹起、点击次数与点击后延时）；坐标支持固定或变量输入
• 键盘：文本输入/特殊按键（支持只按下/只释放）；文本可来自变量；前台模式可选“输入前点击”
• 识别：
  • 图片识别：单图/多图（最多 5 张），支持全屏/指定区域、并行搜索、随机点击点、结果写入布尔变量
  • 颜色识别：单色/多色（最多 10 个），支持区域框选与取色放大镜（显示 HEX/RGB、方向键微调、回车/左键确认）
  • 文字识别：OCR（PaddleOCR），支持全屏/区域；可“识别点击”或“OCR 读取”；结果可复制到剪贴板或存入变量，并可输出布尔结果
  • YOLO 检测：支持目标检测类任务，可用于识别屏幕中的指定对象并把结果写入变量
  • 二维码识别：支持从屏幕或指定区域读取二维码内容，结果可用于后续输入、判断或输出
  • 控件识别：支持识别界面控件信息，适合配合点击、等待、条件判断等步骤
• 等待与延迟：延迟（固定/随机/变量时间，单位毫秒，最小 1ms）；等待条件（程序/文件/窗口/图片/文字/颜色等，支持超时/检查间隔/无限等待；图片等待支持灰度与屏幕变化跳帧优化，支持后台等待）
• 文件与程序：打开文件/文件夹；启动程序；文件名修改（单文件/批量、通配符与子目录、模板变量）；剪贴板读写；浏览文件；压缩/解压（zip/7z/rar，可选密码/分卷/删除源文件）；Python 模块调用
• 浏览器：浏览器管理（Edge/Chromium/Firefox/WebKit，有头/无头、窗口大小、登录复用）；页面跳转、元素点击、输入/读取、截图；支持浏览器验证码字段、智能选择器拾取
• 屏幕截图：全屏/区域/窗口截图，保存到指定目录；支持文件名模板（如 screenshot_{yyyyMMdd_HHmmss}.png）、覆盖或自动重命名；支持 GDI / DXGI / PrintWindow（PrintWindow 需先绑定窗口）
• 窗口与辅助：获取鼠标位置、移动窗口、激活窗口、提醒提示，适合自动化流程执行前的准备和收尾

录制与选点

• 录制：录制鼠标（含滚轮与修饰键）、键盘输入（自动转换为特殊按键）、截图/图片识别（默认 Shift+Q 或按钮）
• 坐标模式：
  • 绝对坐标：屏幕坐标
  • 相对坐标：相对当前鼠标位置的偏移
  • 窗口坐标：相对目标窗口客户区坐标（用于后台点击）
• 工具：适配多屏幕选点；快速截图、拾取颜色、框选区域；截图支持 GDI / DXGI / PrintWindow（适配 DPI 缩放与后台识别），选点/截图时隐藏主界面

运行与控制

• 执行模式：前台（SendInput）/ 后台（SendMessage）/ 驱动键鼠（罗技 G HUB，需安装驱动并加载 AutomationGHUB.driver.dll）
• 循环：循环/无限循环、最长执行时间；内循环（开始/结束/跳出）可在两个节点之间重复执行 N 次（N 可固定或来自变量），支持无限循环；可将“当前迭代次数”写入变量，并支持布尔变量条件跳出；
• 失败与错误处理：识别/等待等步骤可设置失败后处理（停止/继续/跳转序号/进入下一个循环/执行其他配置/等待确认）；可选择“报错后停止/继续”
• 快捷控制：暂停/继续（默认 F6）、单步执行（默认 F10）、取消执行、强制退出；多套流程可各自配置热键（最多 10 个）
• 托盘与定时：托盘菜单一键执行/取消、开机自启开关、定时器状态显示；支持多个时间段定时执行并每日重置

配置与界面

• 配置管理：保存/另存为、新建/清除；配置名可修改；支持从不同文件夹加载；标题显示当前执行配置
• 操作列表：拖拽排序；Ctrl/Ctrl+Alt + 方向键调整顺序；右键插入；复制粘贴（模板或文本）；Shift/Ctrl 多选；分页显示（每页最多 25）
• 通知与安全：toast/气泡提示、提醒铃声；同目录单实例运行避免重复打开

后台模式说明

• 后台模式通过窗口绑定（句柄/标题/进程/类名/窗口组）定位目标窗口；步骤可继承窗口信息，尽量不抢占前台焦点。
• 后台点击必须使用窗口坐标；可通过选点或录制绑定句柄，执行时优先句柄，失效后回退到标题/进程/类名。
• 句柄只在当前会话有效，重启后需重新绑定；多窗口建议分别绑定句柄或使用窗口组。
• 后台识别可选 DXGI/PrintWindow；可在设置中的“后台图片测试”先验证目标窗口是否能被后台识别。

变量系统

变量用于“把数据存起来并在步骤间传递”，让流程更通用：比如坐标/文本/次数可改成变量，识别结果可写入变量用于判断与跳转。

变量类型

• 类型：字符串 / 数值 / 布尔 / 列表（如一组文件名）
• 字符串变量支持多行文本；全局变量和当前配置变量的字符串值会按原文保存，空格和换行不会被自动删除
• 列表变量使用换行、逗号或竖线分隔；如果需要完整保留换行，请使用字符串变量

变量在哪里用

• 鼠标：坐标可选“变量坐标”，用于动态点击/移动/拖动
• 键盘：输入文本可来自变量（如把 OCR/浏览器读取到的内容再输入）
• 识别：图片识别/多图识别可把成功/失败写入布尔变量；文字识别可把 OCR 内容存入变量
• 循环：内循环次数可来自数值变量；内循环可把“当前迭代次数”写入变量；内循环跳出可读取布尔变量作为条件
• 浏览器：页面跳转，元素输入/输出 等可结合变量实现动态 URL、动态表单，爬取内容。

变量读取（把外部数据读进来）

• 变量读取(文本)：读取 txt等文件内容，支持设置编码、是否去除首尾空白
• 变量读取(Excel)：读取单元格/范围/工作表/行/列；单元格地址、行号、列标识支持“固定/变量”；输出为文本（换行分行、\t 分列，方便再输出到 Excel）
• 变量读取(文件名)：读取文件夹内文件名列表，支持过滤器、是否包含子文件夹、是否去除扩展名；输出为列表变量

变量操作（对变量做计算与处理）

• 变量操作：支持加减乘除、数学表达式、字符串拼接/替换、大小写转换、字符串分割等
• 数学表达式支持变量引用：${变量名}，例如 ${price}*${count}+10
• 支持列表变量按索引取值，索引可固定或来自数值变量（适合配合内循环遍历列表）

变量输出（把变量写出去）

• 变量输出：输出到剪贴板、文本文件（覆盖/追加、编码）、Excel（换行分行、\t 分列；可选工作表/起始单元格/追加模式）、命名管道（JSON）

命名管道输出说明

• 输出目标选择 命名管道，管道名称可用默认值：AutomationOperation.VariableOutput
• 输出内容为 UTF-8 JSON，每次连接发送 1 行（末尾换行），格式如下：

{"type":"字符串","value":"hello world"}

• 字段说明：
  • type：变量类型（如 字符串、数值、布尔值、列表、空值）
  • value：变量转字符串后的值（例如列表会以英文逗号拼接）

• 必装组件：Microsoft Visual C++ 2015-2022 Redistributable (x64)（vc_redist.x64.exe）。 （windowsdesktop-runtime-10.0.x-win-x64）

• 适用场景

• 重复性办公操作：批量点击、输入、复制粘贴、窗口切换
• 浏览器自动化：网页表单、页面读取、网页截图、验证码字段处理、批量检索
• 识别驱动流程：OCR、文字识别、图片识别、YOLO 目标检测、二维码识别、控件识别
• 批量文件处理：读取文件名、重命名、压缩、解压、生成结果文件
• 复杂流程控制：识别失败跳转、循环等待、条件分支、变量计算、执行其他配置
• 定时和后台任务：托盘运行、热键执行、定时执行、后台窗口识别和后台点击

iiopol

1.43版本
1.主界面右边菜单控件任务可以按住 ctrl  +方向键 上下调整顺序。
2.增加了录制功能
鼠标的单击 双击 和拖动
键盘的输入（录制识别后全部转换为特殊按键 ）
图片的识别 （截屏操作录制时按下默认的shift Q 或者点击界面按钮）
1.53 版本   无文字识别版本
  1.配置名可以更改 可以直接在设置界面修改文件名 按保存配置按钮保存 ，或者可以游览打开其他配置。
  2.加入颜色识别 可以选定框选区域 ，可以打开确认颜色界面 有放大镜显示 右上角显示具体颜色 和rgb值  可以按方向键微调 按enter或者鼠标左键确认颜色 。
  3.对于界面主题 左侧菜单颜色的调整。
  4.加入窗口坐标 鼠标可以选择三种方式 绝对坐标 相对坐标和窗口坐标 （在录制前需要选择是窗口坐标还是绝对坐标）
1.54 版本文字识别版本
  1.加入文字识别 ocr ,使用PaddleOCR ，加入这个文件比较大。  
  2.文字识别可以全屏或者框选区域内
1.55 版本
1.加入后台点击 （后台点击必须使用窗口坐标）
2.修复录制 选择窗口坐标 一些bug。
1.57  1.完善后台点击 无遮挡 最小化也能后台点击。  2.图像识别 加入指定区域。
1.58   优化主界面截图   录制时截图  框选  拾取颜色 在不同缩放下的窗口显示。。
1.59  
1.修改窗口坐标模式下 可以选点 或者 录制时 绑定窗口获得句柄。句柄只在完整视图模式下显示。
执行时优先 句柄，句柄失效会退回找窗口 程序等。重新打开软件后句柄就失效了，失效句柄需要重新绑定 选点 或者手动输入。
游览器 多窗口模式下 必须句柄对应，单一软件可以不考虑句柄。  
2.修改文字识别模式下 文本框留空为 识别文字，识别到文字复制到剪贴板 并且显示在主界面
1.60 版本
1. 入 在 键盘输入 特殊按键 图片识别 颜色识别 和文字识别  加入窗口绑定 可以 选择 句柄自动绑定或 手动输入。
2. 重构设置界面，一些参数配置保存在一个文件。
3.在设置 自动化执行模式 后台模式 有图片测试 可以选择目标窗口 后台是否能够识别到图片 ，后续才能 图片识别 颜色识别 和文字识别
4. 循环设置等 移入设置界面 的主界面设置中。
5.主界面设置 加入是否选择操作说明编辑框 。选上在主界面能看到可以添加说明内容。
6.加入每一次模板执行 是否执行 选择框， 取消勾选为在全部执行下 跳过执行，取消勾选 此模板会变暗。
1.61
1.颜色识别 文字识别 图像识别 不点击 改为移动，且修复 双击 不点击 无效bug。
2.优化 单击 移动 等 在不是窗口坐标下 的 模板显示
3.修复 等待条件 下 文本框不显示 bug
4.增加 设置界面中 窗口句柄一键绑定，在主界面中已存在或增加的句柄默认 设置界面中选择的句柄
1.62
1.修复设置快捷键时执行bug
2.主界面增加选择配置按钮
3.循环等设置放回主界面
4.修复图片左键双击 保存无效bug
5.设置 配置1 2 3 的加载逻辑 改变
现在可以 把配置放入不同的文件夹后 再打开加载
修改配置文件名后 按保存当前配置 可以直接保存新的文件名
6.当前全部执行的配置文件名 会在标题中显示。
1.63 优化取消 增加10ms延迟，取消循环执行固定1s延迟，修复快捷键取消失败问题。
1.64
1. 在设置-主界面设置 加入错误处理 ，可以选择是否报错后停止运行 ，不选择 为报错后继续运行
2.等待条件 中优化  等待图片出现
1.65 1.修复选择报错后停止 ，单步执行闪退问题
2.修复选择相对点坐标 选点时，只显示绝对点坐标问题。
1.7.2
1.等待中加入 无限等待 实则为超时时间 很长。
2.加入浏览器模式 包括 浏览器管理 、页面跳转、 浏览器点击 、浏览器输入 、 浏览器截图
浏览器管理：打开关闭游览器 选择有头 还是无头模式 等
浏览器点击：可以根据选择器类型如css path ID 等选择元素 ，可以选择点击方式 左键 右键 等
浏览器输入：选择元素，留空读取元素内容 并且复制到剪贴板 ，有内容时 输入到元素中
3.在浏览器点击浏览器输入 模板中加入智能选择器，需要先使用浏览器管理 打开edge （不要选无头模式），再导航到想导航的页面，点击选择器 ，那么就可以浏览页面 点击想要点击的元素，结束后会自动选择 选择器类型。
当然选择器 可能会有问题，可以先测试一下，不行打开F12 或者右键检测 选择复制-复制元素-复制selector（css） 或者其他 。
1.7.3 1.修改win7 下dpi感知调用SetProcessDPIAware() 2.修改键盘输入，去除输入前 点击。
1.8.2
1.主界面能够拖动左侧菜单并且可以滚动方式 插入内容（方式1 选择需要插入位置 先点一下插入位置的模板 再从左侧拖入内容）（方式2  按住ctrl +上下 调整内容顺序）（ 方式3 更改内容 可以拖动 并且滚轮调节 最好是边缘处滚动）
2.配置快捷键设置中可以 动态添加快捷键 最多添加10个快捷键。
3.加入强制关闭程序，防止 想取消取消不掉情况。
4.托盘菜单的调整。 并且配置设置中可以设置 是否显示在托盘菜单。
1.8.3 等待 图片出现 中 加入后台等待，解决区域等待图片出现bug。优化等待 图片出现 加入灰度优化，并使用哈希比较 检测屏幕是否变化 未变化跳过检测 。
1.8.4 主界面加入 保存/另存为 按钮。 主界面设置中加入 执行完后 是否启用下一个配置。
1.8.5 1.固定延迟缩小到1ms。 2.加入新建 和清除配置按钮
1.8.6 增加三个浏览器选择。Chromium 浏览器  Firefox 浏览器  WebKit 浏览器
1.9.1
1.鼠标滚轮功能加入，包括ctrl+滚轮、shift+滚轮等
2.更新滚轮的录制内容，包括ctrl+滚轮、shift+滚轮等
3.鼠标单击操作中加入 左键按下、 左键弹起
4.图像识别 颜色识别 中加入  左键按下、 左键弹起。 操作流程 可以先用 图像识别中  左键按下  后一步用  图像识别、颜色识别、鼠标单击操作  的 左键弹起
1.9.2  图片识别 颜色识别 文字识别中失败处理方式 可以有更多选择 1.停止 2.继续 3.跳转到序列号 4.进入下一个循环 5.等待确认选择
1.9.3
1.添加多图片识别  最多添加5张图片 ，有三种执行测试，1.按优先级顺序 点击 找到一个就成功,并点击 2.并行查找，点击 找到一个就成功,并点击。3.按优先级顺序 查找所有图片，并点击所有图片， 若任一未找到 ，报失败处理。
2.单击 点击后延时 添加提示信息，建议 500ms之后，防止重复点击触发双击事件。
1.9.4
1.增加移动窗口模板，要后台点击不影响前台可以用移动窗口 要用了再移动回界面，需要可移动窗口状态。
2.修改保存配置 如果是空白配置也能保存。
3.修复bug，如果是text 界面拖动 会闪退问题。
4.修改移动 如果移动坐标和当前坐标一致，不发生移动。
5.后台点击前 锁定当前前台窗口 将目标窗口置于Z轴底层 欺骗窗口状态（让它认为自己是激活的）。 最有效的应该是移动出显示区域。
1.9.5  1.前台模式 键盘输入 加个输入前是否点击。 2.前后台模式切换 界面立即更新。
1.9.6 1.优化插入线 ，使其更稳定 在上下模板移动 不闪烁。2.超时时间设置 text改变时 值立即变化。3. 加载配置后 再保存，为该配置保存（原为 保存为默认配置）。
2.0.0
1.选点 时隐藏主界面。
2.并行图片查找 进行优化。
3.识别图片 多图识别 可以选择是否使用随机点  随机点有两种选择 中心点+ 随机偏移 ，或者截图矩形 内缩区域内随机。
4.添加失败处理 注释 ，设置界面优先级更高。
5.左侧菜单 右键 可以序列号插入
2.0.1  特殊按键 修改 加入只按下 和只释放。（可以按住不放一段时间后再释放）
2.0.2 修复图片识别 在循环执行下 会闪退问题。
2.1.0
1. 优化保存和加载配置， 对多序号（50+）进行分批异步保存和加载，显示保存和加载 进度条在标题栏中。
2. 图片识别 和等待图片中 加入Base64 保存, 可以选择 文件存储 还是Base64编码方式。
3.对于图片识别 多图识别 等待图片 加入一些报错信息。文件不存在 路径为空 可以更明显显示。
4.修复图片识别 等待选择界面
5.win7 下弹窗改用传统气泡 win10用toast通知
2.1.1 取消录制的预加载 和定时保存，可能引发内存泄露
2.1.2 设置界面中加入 日志保存相关设置。更新 日志保存相关内容。
2.1.3 浏览器打开加入可设置窗口大小，窗口可最大化，或者自己设置宽度和高度。
2.1.4  1.快捷键注册失败报错。2.加入更多的日志报错信息。
2.2.0  1.增加多颜色识别。2.修复多图片识别保存bug。
2.2.1  1.添加更多的日志内容。2.图片识别 颜色识别可选是否并行搜索。
2.2.2  移动方式加入贝塞尔曲线 模仿真实移动。移动 点击 双击 拖动 ，且图片识别 颜色识别 文字识别。
2.2.3 1.等待操作 失败条件也加入和图片识别失败一样5种选择。
2. 同目录下只能打开一个软件。 防止失开多个。
2.2.4 1.加载配置可以选择 是否清除覆盖原配置文件 不清除可以一直添加 2.每页最多显示25模板 可以分页显示。3.修复录制结束后弹窗问题。
2.2.5  1.等待条件中加入图片未出现。2.可以复制粘贴配置通过 ctrl +c/ctrl +v. 3.设置界面中加入全部执行过程中 模块间运行延时 ，最小1ms。4.左侧菜单右键添加插入界面 位置靠近所在鼠标位置。5.alt +滚轮可以 快速滚动操作列表

2.3.0 1. ctrl +alt+ ↑/↓ 模板列表一次移动 10 个序号
2.加入单步执行 默认f10：对当前选中的操作执行一次 ，并选中顺序顺延。
3.删除设置界面中的执行链 ，在主界面加入处理操作  可以选择停止、跳转、下一个循环、执行其他配置、等待选择。
4.主界面菜单的颜色 布局优化。
5.加入变量管理系统，需要首先在设置界面中添加变量。 读取存入变量 可以通过变量读取  文字识别 浏览器输入 ，可以通过变量操作  修改变量（加减乘除、数学表达式、拼接、替换等），可以通过文字识别点击 键盘输入 浏览器输出 输出变量。
2.3.1  加入 变量读取（excel） 可以读取单个单元格， 读取指定范围，读取整个工作表，读取指定行或列
2.3.2 修复一些bug。优化文字识别。
2.3.3 1.延迟操作修改 加入变量时间。2.加入内循环操作，可以内循环开始 -结束 之间的模板按循环次数重复执行。
2.4.0   1.流程内操作修改为 内循环开始 结束 跳出(跳出条件为布尔型变量).
2.图片识别 和文字识别 的结果输出 加入布尔型变量输出。
3.加入列表变量，读取文件名 -输出到列表。
4.变量操作中支持变量列表，根据内循环开始  输出变量数值a-   变量操作- 列表b索引 数值a -   内循环结束，支持列表的循环操作。
5.加入文件名修改 支持手动输入 和变量输入。
2.4.1 1.修改文字识别报错信息。2.图片识别单次识别，删除原循环识别，循环识别 可以使用等待条件-图片识别。
2.4.2 1.添加多图识别 输出结果到变量。
2.  后台图片识别 添加DXGI方式。原printWindow还是 DXGI可以在自动化执行模式-后台图片测试中选择

2.5.0
1.参考 https://github.com/ChengWeiJian03/MouseControl  加入驱动鼠标
2.excel变量读取可以使用变量列 行 变量单元格。
3.可以使用变量操作 字符串转列表
2.5.1
1.加入屏幕截图 DXGI 、GDI、PrintWindow截图。  
2.修复内循环开始  无法刷新出变量问题。
3.等待条件中加入 等待文字出现 和等待文字 消失。
2.5.2 1.浏览器页面跳转 加入变量 URL
2.字符串拼接 修改 ，可以两段拼接 都可以设置源变量或固定文本。
3.重新编译 AutomationGHUB.driver.dll。4.Excel读取单元格转网址实例.json 已放入测试
2.5.3  1.浏览器管理中加入 登录复用 。2.简化视图下 最简化 只剩下序号 模板名 说明编辑框 是否执行复选框。3.增加shift /Ctrl 左键 可多选，选中后可以按 CTRL+C / CTRL+V 复制粘贴
2.5.4  处理操作  执行其他配置 修改为   执行其他配置 跳回  执行其他配置不跳回。
2.5.5 加入暂停/继续按钮，默认快捷键F6，可以在设置界面中更改。
2.6.0 加入后台模式下快捷键使用 多进程模式。
2.7.0 1.修改可以同一程序多窗口后台绑定。2.新增绑定窗口组，可以多配置绑定同一个句柄。（或者可以根据优先级，未找到句柄查找进程名 +标题 或类名）。
3.等待条件中新增等待颜色出现。
4.加入程序打开。
2.8.0 1.新增解压可以解压 .7z .rar .zip压缩文件。若有分卷 ，可以使用文件过滤如 *.7z.* ,.
2. 压缩可以压缩 .7z  .zip格式，分卷设密码 只能7z。
3. 增加点击次数设定，需要注意过快点击可能无法取消。
4. 鼠标操作中增加变量坐标。
5.多图绑定跟随。
2.9.0
1. 修复选点在扩展屏不法选点问题。2.可以复制粘贴不仅是模板而且可以是文本。3.增加变量输出 剪贴板 txt excel。  4.加入双击右键。
2.9.1  加入提醒，可以选择铃声和toast弹窗。
2.9.3  1.加入支持后台模式下Base64编码图片 图片识别。2.修复后台识别 图片识别 文字识别的一些bug。  3.修复长时间 延时时间不准确问题。用“目标结束时间 + 实际耗时”循环W等待。4.修复屏幕截图模板的一些bug。
5.优化后台输入 放宽可输入控件判断，后台输入前强制焦点。 6.加入快速点击面板，可在设置-配置-执行快捷键 中 勾选托盘显示，托盘会置顶显示，可以设置托盘图标， 关联格式是：.ico、.png、.jpg、.jpeg、.bmp、.gif。适合32-48大小.

3.0.0 1.美化右侧模板下右键菜单。2. 加入右侧 右键 可移动到指定序号。3. 加入事件面板视图。面板视图下，右键选择打开详细或者双击模板 可查看详细面板。
3.0.1 1.键盘输入改为剪贴板粘贴和逐字输入。并可选择是否输入前点击。2.定时设置中加入重复选择 可以选择星期一到星期五。或者选择轮班时间。
3.修改解压文件使用不同解压引擎。更新7z.dll
4.等待条件中-等待图片消失加入不同消失模式，原无即成功。加入有-无，和无-有-无。
3.1.2 1.修改模板 ，加入内容折叠。2.修改图片识别模板。3.加入识别二维码模板，可以选择图片还是屏幕。4.文字识别加入旋转后识别。5.加入等待屏幕/窗口变化模板。
6.加入条件判断模板。可以用布尔型变量判断进入依据。7.变量操作加入变量比较。可以输出布尔型变量。8.事件面板画布中加入鼠标中键移动。9.打开和保存快捷键配置判断是否有占用。
10.快捷键配置托盘显示名称改为悬浮面板显示，可以用右键隐藏设置等。11.设置中加入UI组件
3.1.3 1.设置中增加选项是否启动软件时 OCR预热。2.增加截图快捷键。可以在快捷键简单截图，截图功能加入文字识别和放大镜功能，可以在截图框选后按方向键微调最后的位置。 3.主界面设置中加入选项是否时间设置应用到其他配置。
3.1.4  1.修改UI组件，增加运行状态看板。 2. 修复游览器智能选择器，登录后不法智能选择的问题。 3. 修改运行时图标。
3.1.5 加入变量操作-获取长度
3.2.0 1.更新了截图下的图标 2. 增加了控件识别，可以 图形捕获控件 或2s 自动捕获控件 ，捕获和点击使用 UIAutomation  ，某些应用无法捕获和点击。3.等待选择界面设置成可移动。
4. 重新用cmake 编译了 PaddleOCR 和OpenCv,并且修改了下原程序，修改了下文字识别中 所用模型 改为 PaddleOCR PP-OCRv5_server_rec_infer和PP-OCRv5_server_det_infer ，这两个模型放入inference文件夹。
   重新编译了下paddle_inference ，使其AMD CPU 也可以用MKLDNN，和可以使用英伟达的GPU。GPU测试 为 cuda12.5-cudnn9.5.1，若要使用显卡驱动需要支持 CUDA 12.x ，且下载OCR_GPU（放在百度网盘可以不下载cuda 和cudnn）。原先的文字识别已经不可用，需要重新下载。
3.2.1 修复无法ocr问题。
3.2.2 修复远程控制端截屏无法显示问题。  新加入两个模型yt_PP-OCRv5_mobile   和PP-OCRv5_mobile（官方），对于PP-OCRv5_server模型更快，但精度 识别率差点，在inference文件夹中 server>pp-v5_mobile >yt-v5_mobile 。如果要用yt-v5_mobile 需要把inference文件夹中的其他模型删除或移动到其他地方。
3.2.3 加入UIA事件等待，监控按钮等控件有无点击等，  UIA事件等待和控件识别都是使用使用UIAutomation 。
3.2.4  1.OCR设置中加入CPU兼容模式 ，在inference文件夹中可以直接选择三种模型。2.等待操作   延时，等待条件 ，UIA事件等待， 等待屏幕/窗口 都可以全部执行后暂停。 单步执行和全部执行不冲突。 3.截图修改。
3.3.0 1.截图优化。2.OCR可以选择CPU线程数。3.等待条件中等待图片出现和消失移出， 单独一个等待图片模板。4.屏幕截图中增加路径输出到变量。
5.变量操作中增加设置变量和表达式操作。
6.变量输出 中增加一个输出选项 命名通道。输出内容为 UTF-8 JSON 格式为{"type":"字符串","value":"hello world"}  
7.多图识别中增加 等待多图先出现后点击先消失的图片。
8.增加一个模板 摄像头读取。可以采集图片到输出变量。
9.图片识别 识别二维码 文字识别都增加图片来源，图片路径可以来自于变量。

3.3.1
1.优化 PaddleOCR。（需重新下载相关dll和OCR_CPU）对比以前编译的版本速度大大加快。2.OCR模型可以选择radpid （需下载rapidocr_models）。
3.加入激活窗口模板。剪贴板（文件）模板。4.浏览器操作中加入等待元素模板，和浏览器验证码识别模板，可以识别验证文字验证码（根据选择OCR模型精度，要精准请选择Server模型）和滑块验证码。
3.4.0  1.新增等待条件 输出到变量 等待图片 结果输出到变量2.优化变量系统。
3.新增参考模板，参考模板中为现有模板组合，相关参数仍需自己设置
  微信发送消息，微信发送文件
  txt每行读取输出
  等待多图消失。
  滑动验证码测试
  excel列读取转网址搜索
4.修改完整视图和 简化图，完整视图下单模板也可以折叠显示。
5.优化键盘输入。
6.优化滑动式验证码。7.等待条件中加入等待窗口出现。8.修复处理操作单步执行bug。
3.4.1 1.完整视图 和简视图，名称修改为 列表视图， 列表视图全部折叠，事件面板视图修改为流程图视图。2. 增加列视图折叠下报错信息。
3.5.0 1.文本识别分为 OCR读取 模板 和文本识别模板，OCR读取中输出格式分为原始格式和纯文本格式。
2.图片 颜色 文本 OCR等加入窗口框选，窗口框选为窗口坐标系。使用原有的选点（绑定句柄等） + 框选。
3.折叠视图下 加入进度条。
4.浏览器管理中可以选择 本地chrome浏览器。
5.浏览器管理中新增浏览器接管 操作类型。参考模板中加入 接管打开示例。
6.优化浏览器，加入UserAgent 且隐藏 Playwright 的自动化特征。
7.优化定时启动。
8.框选和截图 框选后可以拖动和缩放。
3.5.1 1.浏览器输入/输出 ，浏览器等待元素，浏览器点击，浏览器验证码加入失败处理。2.启用全局异常钩子
3.5.2 修复窗口框选读取配置异常bug。
3.6.0 1.剪贴板(文件)改为剪贴板，可以选择是文本还是文件，剪贴板内容 输出到txt，选用剪贴板 文本模式。2.键盘输入加入说明。
3.框选UI界面统一为一个输入框，格式为x,y,宽,高。4.修复OCR复制到变量bug（主界面的设置变量）。
5.可以在设置 录制设置中 设置快捷键停止（原Esc退出已停用）
6.加入浏览器选择框下拉，智能选择器选择时左键可以继续点击，右键或ENTER为确认选择。
3.7.0 1.rapidocr优化。 2.OCR读取等加入相对鼠标位置框选。3.设置配置变量和全局变量改为 配置变量按钮点击后 左侧变量中心修改。原"设置变量" 改为 "改变变量"。删除了设置中的设置变量。4.加入二维码定位预览。
3.7.1 1. 优化变量配置，修复全部执行变量名消失bug。2.对于一些模板输出到当前配置的变量空白问题修复。3.增加获取鼠标位置模板 只能存入变量。4.变量读取(文件名)增加输出完整路径。5.EXCEL文件读取支持像文本读取那样 {变量名}。变量内容需要是绝对路径。
3.7.2 修复一些bug。
3.8.0  1.修复一些bug。2.键盘 鼠标操作等加入 {变量名}。3.支持变量框选，如屏幕框选 可以改为{x},{y}, 100,200 这样。
3.8.1 1.修复框选bug 图片识别 多图 多颜色 二维码  OCR读取等框选。2.UI组件更紧凑，改为全部位置可移动，原为只有顶层位置可以拖动下移动位置。3.多图 多颜色 取消后等待多线程全部执行完毕，修改等待条件中的清理缓存。4.兼容老配置的变量坐标等。
3.8.2  优化程序，兼容老版本配置图片识别等框选读取。
3.8.3 1.修复配置跳回图片识别路径空白bug。2.增加OCRAPI调用 paddle 申请API调用 使用PP-OCRV5，需填入API_URL  和TOKEN https://aistudio.baidu.com/paddleocr。
3.8.4 1.跳转配置后全局变量跳到其他配置时，变量中心全局变量跟着刷新改变。2.多图识别支持 Base64
3.9.0 设置中增加Python库管理。 增加python模块调用。
3.9.1 1.增加说明标签跳转，优先级更高。2.加入条件处理，成功和失败不同的处理分支。3.文件名修改模板修复bug，增加单文件和批量多文件名修改，参考模板中增加单文件和批量多文件名说明。4。等待图片识别中 增加坐标变量输出。5.批量关联配置（窗口绑定组）改为多组映射。
3.9.2 1.标签跳转优化。2.文字识别 等 输出结果 重置。
3.9.3  修复跳转bug，优化标签跳转。
4.0.0 1.增加ai模板助手，可以使用deepseek等api。2.局部支持WIN7。  WIN7 需要下载安装 win7 VC_redist.x64  、Windows6.1-KB3063858-x64、windowsdesktop-runtime-10.0.4-win-x64 。
4.1.0 1.ai模板助手 升级为deepseek-v4-flash ，增加思考模式、思考强度选择。2.增加YOLO模板和YOLO示例，可以加载yolo11n.onnx ，测试Test.jpg 测试YOLO功能。3.变量中心UI 修复字符串输入只有单行问题。
4.2.0 1.修改选择执行模式样式 ，主页模板同步修改。2.增加HID模式，可以参考https://github.com/iiopol12/usb_hid_dual_type 需要使用ESP32s3，其他芯片 若有两个USB口 一个可以USB OTG 一个UART转USB也是可行。3.增加ADB模式 ，可以在雷电等手机安卓模拟器中使用。

iiopol

有朋友要蓝奏云下載，单文件不能超过100m，分开上传了。分开下载好放到同一文件夹里。   https://wwon.lanzout.com/b013979upg
密码:8gre

iiopol

Chromium 浏览器 Firefox 浏览器 WebKit 浏览器  需要下载 ms-playwright文件夹。 放入 C:\Users\<用户名>\AppData\Local\


安装 powershell 7
下载地址 https://learn.microsoft.com/zh-cn/powershell/scripting/install/installing-powershell-on-windows?view=powershell-7.5

1. 打开powershell 7
2.cd 你的文件夹目录（目录下能找到playwright.ps1）如cd /d D:\AutomationOperation     cd C:\AutomationOperation
2.pwsh playwright.ps1 install

thp2008

不错，好工具。支持，继续完善！

重复重复

能不能单独增加一个编号，现在这个中间加一步全都乱了，步骤多了就很麻烦。
还有找图能不能增加一个成功后做什么，或者调到第几个步骤，失败后跳到第几个步骤。
然后就是绑定窗口的问题，后台找图老失效，需要重新绑定才能运行，加一个绑定窗口的步骤在运行程序里面应该会好很多，就像激活窗口那个一样。

iiopol

V58 发表于 2026-3-17 14:22
大神有群吗？

没有群，需要有一点基础自学。

iiopol

小破吾 发表于 2026-3-19 19:23
打扰哈楼主，请教个问题，这个问题可能比较那啥啥，就是我使用（浏览器管理模块）自动打开浏览器的话就可以 ...

手动打开不行的，要么在软件中单步执行打开，要么命令行打开浏览器并且开启端口，软件接管端口才行，有ID号才能用软件中的智能选择器选择。  可以看一下参考模板。1.浏览器管理 写入网页。2.浏览器输入输出。选择器选择一下。比如输出到变量（先在设置界面中设置变量，主界面设置变量还有bug），3 变量输出 选择输出到文件。

dehuar

win7系统用不了呢？

iiopol

platian 发表于 2026-2-25 22:54
谢谢 后台测试成功了 还有个问题 为啥点了执行全部之后，软件就跟假死一样，其实没有死，只是好像很卡我 ...

快捷键取消是不是被其他软件占用了，有木有运行看一下界面 全部运行的时间和单独模板的时间有木有在动

iiopol

liangzw 发表于 2025-12-22 16:10
网盘里的文件太多了，不知道怎么用啊

根据需要的内容下载，
只需要模拟移动鼠标 模拟键盘  最小替换 版本名.rar
需要图片识别 文字识别 模拟浏览器等功能 需要下载AutomationOperation 版本名.rar
需要驱动鼠标功能 需要下载lghub_installer - 2021.9.7463.0 - 2021.11.1775.exe.7z

yao16026000

前排支持，正在找谢谢

xn8023

感谢分享，组合界面很清晰

wssdxs

很有意思的工具

rogerfederal

之前有类似的工具，这个实用性要强一些

study520x

喜欢这种图形化的 方便使用

abinloveyou

有点意思的工具

Ayizhimei

小工具大用途谢谢

cichulai

谢谢楼主的自动操作工具，用来处理一些平时重复点击网页很好用。