|
|
57bf942474
|
feat(gui): 注入改 SendInput（默认）+ 用户操作时暂缓；拆解 Coopanion 桌宠动作系统
## 拆解 Coopanion（用户指出的参考项目）
新增 DESKTOP-PET-NOTES.md，记录 Pal-AI-Lab/Coopanion 的桌宠动作系统
（packages/cortico-world-desktop-pet）：
· 4 个工具：pet_say(气泡说话,可夹带动作标记) / pet_ask(提问,异步回答) /
pet_walk_to(走到 0-1 比例或 left/center/right/cursor,含走到鼠标位置) /
pet_act(只做动作; sit/sleep 是持续态)
· 动作词表 VOCAB：10 个表情 + 13 个动作，每个词多个中文别名，
英文 id 与中文别名进同一张 Map；未知词丢弃而非报错
· 脚本标记：【词,词】= 先做动作再换新气泡；<词> = 打字到那里时做、不换气泡。
让文字与动作在时间轴上对齐 —— 实现成本低但表现力强
· 设计要点：身体是 agent 唯一可见输出通道（用户看不见消息正文）；
互动事件不单独唤醒模型，跟着下批事件到
可借鉴（已写入文档待办）：姿态表达状态、动作与文字对齐、持续态、
动作解析容错、待机自主行为。不建议照搬：桌宠承载全部对话输出、ASR、戳摸甩。
## 注入层改 SendInput（参考它的实现）
原 PostMessage 路径只能操作原生 Win32 程序 —— Chromium/Electron 自绘界面
与游戏会忽略合成消息。这不是「平台硬限制」，是所选 API 的限制。
Coopanion 用 SendInput 注入系统输入队列，可靠性高得多。
新增三档模式 gui-prefs.deviceBridge.agentCursor：
sendinput（默认） SendInput，可靠；会动真光标，故先等用户停手
overlay PostMessage，不动用户鼠标；只能操作原生程序
real 保留旧代码路径
另有 deferMs：用户活动时最多等多久（默认 3000，上限 10000）
★ SendInput 绝对坐标是 0–65535 归一化值，不是像素。按虚拟桌面归一化
并带 MOUSEEVENTV_VIRTUALDESK，多屏下也正确（Coopanion 只按主屏归一化）。
★ 文本用 KEYEVENTF.UNICODE 逐字符发，不受键盘布局与输入法影响（比 WM_CHAR 可靠）。
## 修「用户活动感知」把自己也算进去的 bug
GetLastInputInfo 是**全局**的 —— agent 自己的 SendInput 也被算作「用户输入」。
实测：deferMs 设 0 仍被暂缓，回执写「开始时空闲仅 0ms」，即上一条命令的
注入刚把 idleMs 清零。若不排除自身注入，会永远处于「用户正在操作」状态。
按 Coopanion 的三重判定修正：
1. ownTick 自己最后一次注入时刻，之后 40ms 内的输入忽略
2. ownCursor 自己放下的光标位置，偏离 >2px 说明是用户动的
3. 无符号差值 GetTickCount 每 2^32ms 回绕，必须按无符号比较
## 修同一条命令被执行两遍
sendinput 分支把逻辑包进 runAction 箭头函数，里面的 return 只退出它自己，
于是执行完继续 fall through 到旧 real 路径。实测 8 条命令回了 16 个
cmd_result，且真光标被额外抢一次。补上外层 return。
## 判据
computeruse.test.mjs 47 条（npm test 共 131 条全绿），新增 4 条钉住本轮
踩过的坑，均做变异验证：
· 三档模式存在（overlay/real 只在条件里，不能要求赋值形式）
· 用户活动排除自身注入；且盯 send() 里的**调用点** —— 只查函数名时
删掉调用仍会误报绿（已实测并改正）
· SendInput 坐标归一化 + VIRTUALDESK
· sendinput 分支必须 return（防双执行）
## 待办（已写入 GUI-PLAN.md）
· loadGuiPrefs 不透传 agentCursor，导致 deferMs 配置读取不生效（实测）
· 显式调 SetProcessDpiAwarenessContext(-4)，不依赖 Electron 默认值
· mascot 姿态：思考/等待/出错
· 真实点击效果仍未验证（当前环境无可注入的可见窗口）
|
2026-10-02 15:27:33 +08:00 |
|
