 jkooe
|
3ed117770b
|
feat(E4): GUI 宏（步骤序列回放）+ 窗口聚焦加固（能力 35 稳定）
## E4 宏引擎（packages/client/src/macro.ts，CLI 与 MCP 共用）
- 步骤类型：focus / find / click / type / key / drag / sleep / exec / clip / assert / capture
- 通用能力：retry（失败重试）、interval_ms、optional|continue_on_error、${VAR} 与 ${VAR:-默认值} 替换
- 断言内置在步骤里：exec 的 expect_exit/expect_stdout、clip 的 expect、
assert 支持 kind=screen|window|clip（屏幕断言自动走 UIA→OCR）
- 返回逐步结果（含 ms 与失败定位 failed_at），失败即中止并给出可读原因
- CLI: macro run <file> [--var k=v] [--out 目录] / macro validate / macro init（生成示例）
- MCP: na_macro_run（inline steps + vars）
## 真机验证（记事本全流程）
宏 init 生成示例 -> 启动记事本 -> 回放 9 步：
focus ✓ / key ctrl+a ✓ / delete ✓ / type ✓ / sleep ✓ / key ctrl+a ✓ / key ctrl+c ✓ /
clip 断言「宏回放演示 回放测试」✓ / window 断言 ✓ -> 全部通过（10.1s）
## 顺带修复两个真机踩出的问题
1. **window.focus 可能被静默否决**：SetForegroundWindow 受 Windows 前台锁定限制，
调用后前台窗口可能仍是别人（实测被系统防火墙对话框抢焦点，导致宏的输入全进了对话框）。
现改为：调用后**校验当前前台窗口**；未生效则在该窗口标题栏做一次真实点击兜底，
并返回 activated_by=api|click 让调用方知情。
2. **window.list 会被 limit 截掉真正的前台窗口**：现按 is_foreground 排序置顶并返回 total。
3. 宏引擎：变量缺失原先会在 try 之外抛出、导致整个宏崩掉；现改为「记为该步失败」，
optional 时继续执行（单测覆盖）。
单测 63 -> 73（新增宏引擎 10 个用例：变量/默认值/缺失、retry、optional、失败中止、
expect_exit/stdout、clip 断言、未知步骤、find→click 坐标透传、坏文件拒绝）；e2e 21/21
|
2026-09-29 14:25:35 +08:00 |
|