init

docs/plan.md

@@ -0,0 +1,81 @@
+这是一个非常明智的选择。**Umi-OCR** 相比于直接调用 `PaddleOCR` 的库，最大的优势在于它提供了一个非常成熟的 **HTTP API 接口**（或者离线命令行接口），这使得你的 Python 自动化脚本可以保持轻量化，不需要在本地环境安装庞大且容易起冲突的深度学习库。
+
+以下是针对 **Umi-OCR** 集成的更新版开发指南 MD 文档：
+
+---
+
+# 🚀 桌面自动化脚本开发指南 (Umi-OCR 集成版)
+
+## 1. 系统架构说明
+本脚本采用 **Umi-OCR (HTTP 服务模式)** 作为感知核心。脚本通过发送截图到 Umi-OCR 的本地 API，获取 JSON 格式的识别结果（文字内容及坐标）。
+
+---
+
+## 2. 核心技术栈
+* **OCR 引擎**: [Umi-OCR](https://github.com/hiroi-sora/Umi-OCR) (需提前启动 HTTP 服务)。
+* **浏览器控制**: Playwright (用于操作 Web 端 DMS/ERP)。
+* **桌面控制**: PyAutoGUI / Mouse (用于点击 OCR 识别出的坐标)。
+* **通信**: `requests` (用于调用 Umi-OCR API)。
+
+---
+
+## 3. 目录结构规范
+```text
+project_root/
+├── config/             # 配置文件 (yaml/json)
+├── core/
+│   ├── ocr_client.py   # 封装 Umi-OCR API 调用逻辑
+│   ├── browser.py      # Playwright 页面操作
+│   └── actions.py      # 封装“识别文字并点击”的高级动作
+├── config.yaml         # 存放 Umi-OCR 地址 (默认 http://127.0.0.1:1224/api/ocr)
+├── data/               # 存放临时截图、下载的文件
+├── assets/             # 存放用于识别的图标/模板图片
+├── utils/              # 日志、时间处理等工具类
+└── main.py             # 业务主流程
+```
+
+---
+
+## 4. 关键模块开发逻辑
+
+### 4.1 OCR 调用逻辑 (`ocr_client.py`)
+> **AI 指令**：请实现一个 `UmiClient` 类，要求：
+* 使用 `requests` 向 `http://127.0.0.1:1224/api/ocr` 发送 Base64 编码的图片。
+* 解析返回的 JSON，提取 `data` 列表中的 `text` 和 `box`（四个顶点的坐标）。
+* 提供一个 `find_text(target_name)` 方法，返回该文字在屏幕上的中心点 `(x, y)`。
+
+### 4.2 自动化执行逻辑 (`actions.py`)
+> **AI 指令**：结合 `PyAutoGUI` 和 `ocr_client.py`：
+* 实现 `click_text(text)`：截图 -> OCR 识别 -> 匹配目标 -> 点击。
+* 实现 `wait_for_text(text, timeout=20)`：在规定时间内循环检测屏幕是否出现目标文字。
+
+---
+
+## 5. 开发约束
+1.  **服务检测**：脚本启动时需检测 Umi-OCR 端口是否占用，若未启动则抛出错误提醒。
+2.  **区域 OCR**：为了提高效率，支持“局部截图 OCR”，而不是每次都截全屏。
+3.  **坐标转换**：Umi-OCR 返回的是相对图片的坐标，需确保点击时与 Windows 屏幕坐标对齐。
+
+---
+
+## 6. 第一步：Umi-OCR API 调用代码参考
+你可以让 AI 基于以下片段进行扩展：
+
+```python
+import requests
+import base64
+
+def call_umi_ocr(image_path):
+    url = "http://127.0.0.1:1224/api/ocr"
+    with open(image_path, "rb") as f:
+        img64 = base64.b64encode(f.read()).decode('utf-8')
+    
+    payload = {
+        "base64": img64,
+        "options": {"data_format": "dict"}
+    }
+    response = requests.post(url, json=payload)
+    return response.json()
+```
+
+---