JianFeeeee 5b0cd45093 feat: screensee 工具 — agent 查看远程设备屏幕内容 ...

与 screensue(向用户屏幕显示)配对: screensue 是给用户看, screensee 是 agent 看。

服务端实现:
1. remotedevice 新增 screensee 工具:
   - 下发 homeagent-screensee 命令 → 设备截屏回传 jpeg base64
   - seeHandler 回调(agent 核心注入)用视觉模型自动描述屏幕内容
   - 未授权/离线/超时完整错误路径; 结果留档 cmdresult
2. SDK LLMMessage 扩展多模态 Blocks(text/image_url):
   - llm_impl 转换为 agentAPI.ContentBlock, 视觉模型可看图
3. describeScreen: 默认提示词描述窗口/文字/界面状态;
   provider 参数可指定视觉源(临时切换后恢复)

GUI 端需配套(已发群): onDeviceMsg 加 case "screensee",
desktopCapturer 截屏 → jpeg base64 data URL 回执(同 camerasue 抓拍模式)。

测试: 端到端模拟设备截屏回传+视觉回调验证; 全项目 go test 通过

2026-08-21 11:31:45 +08:00

..

binary_test.go

feat: screensee 工具 — agent 查看远程设备屏幕内容

2026-08-21 11:31:45 +08:00

device.go

feat: screensee 工具 — agent 查看远程设备屏幕内容

2026-08-21 11:31:45 +08:00

plugin.go

feat: screensee 工具 — agent 查看远程设备屏幕内容

2026-08-21 11:31:45 +08:00

registry.go

feat: remotedevice 二进制分块协议(录像回传+音频下发) + 工具描述增强

2026-08-21 10:53:38 +08:00