mirror of
https://gitcode.com/JianFeeeee/HomeAgent.git
synced 2026-09-22 09:58:06 +00:00
用户指出 remotedevice 的能力应当 outputch 化。查证后发现比"应当"更严重:
设备方向**根本没有出站实现**。
## 查到的三个缺口
1. `devicectlDevice` 一直声明 `OutputCapabilities() = CapStructured`(对外宣称可作输出目标),
但 `Execute` 的 switch 里**没有 "output" 分支** ⇒ `output_send__devicectl` 必然拿到
`unknown device tool output`,回模型"通过 [devicectl] 通道发送失败"。
2. 全插件没有 `RegisterOutputChannel`,也没有任何 EmitOutput/output_send 路径:
设备方向只有「工具(请求-响应)」与「设备→agent 注入」,**agent → 设备是断的**
(唯一的下行通道是个 HTTP 端点 `/api/v1/device/push`,不在 agent 的工具/通道模型里)。
3. 寻址是聚合的:所有设备共用一个名字 `devicectl`,没有 `device/<id>`;且设备 caps 只在
插件内部软检查(`SupportsTool`),**绕过**了内核的 `AllowedOutputs` 授权闸 ——
驻留子只要拿到 `device_ctl_cmdrun` 就能指挥**任意**设备。
## 按方向切分(不是一刀切)
**出站/消息类 → 每设备一个输出通道 `device/<id>`**(与入站同名):
- 上线注册、掉线注销(caps 由设备声明的 caps 映射:文本恒有;有屏→图/文件;
speaker→音频;可跑命令(cmd/cmdrun/cmdresult)或未声明已知能力→全能力,与
`deviceSupportsTool` 的旧设备兼容规则一致)。断连不注销会留下死通道骗模型。
- 于是自动获得:内核按 caps 在**发送前**拦(送图给纯文本音箱直接拒);
`output_list_channels` 能列出设备;`AllowedOutputs` 可按设备收窄给驻留子。
- 上下线钩子用 `Registry.SetPresenceHandler`(**同步回调**)而不是既有的 `ChangeChan`
(那是 select+default,缓冲满会丢事件;丢一次就留下死通道或漏注册)。
- `devicectl` 保留为聚合通道,并把它"声明了却不实现"的 output 补实:按
`meta.device_id`(或 meta 就是设备 id / args.device_id)路由;缺省时返回**可执行**的
报错(列出在线设备),而不是含糊失败。
**RPC 类保留为工具**(`devicedetect`/`screensee`/`computeruse`/`clipboard*`/
`device_ctl_status|cmdrun|cmdresult`):它们的返回值(图像/命令输出/状态)必须进模型
上下文,做成通道会丢掉这个语义。
**并给设备指令类工具补上同一道授权闸**(core/toolcall.go):`device_id` 指向的设备
必须是本 agent 被授权的 `device/<id>`。根 agent 默认完整授权 ⇒ 无行为变化;
驻留子收窄后,"拿到工具就能指挥任意设备"的缺口被堵上(新增 3 条 core 测试钉住)。
**设备端参考实现**(`internal/devicebridge/client/bridge.go` + waiter):新增 `op=push`
分发与 `OnPush` 回调(文本/结构化;二进制走既有 `cmd_speech_*` → `DataHandler`),
waiter 把它打到终端。
## 设计口径(用户当场纠偏,已写进代码注释与 harness README)
**主动转发只有 webui 与 cli 两个交互界面**(webui 订阅 EventAgentOutput 渲染气泡、
cli 用同步回程写回终端)。其它通道一律要求 agent **显式** `output_send__<通道>`。
我第一版给 remotedevice 加了 `EventAgentOutput` 订阅来自动回投设备——那是凭空造了
第三个转发者,违背"输出是 agent 的主动调用",已撤回(该测试一并删除)。
## 验收
- 单测:caps 映射词表;设备上线→注册通道(含同名 inputch)/掉线→注销;push 真落到
WS 设备;聚合通道 `devicectl` 的寻址(无 device_id 报可执行错误、按 meta 投递、
指定不存在设备报错);core 授权闸 3 例。
- 全量 `go test ./...` = 37 包 ok / 0 FAIL;`-race`(agent/plugins/plugin/devicebridge/sdk)干净。
- **真二进制端到端**(私有 netns + mock LLM + 真 WS 设备客户端 scripts/kernel-stress/devclient.py):
设备上线 → 通道表出现 `device/pydev-1`(caps=[text file image audio structured],由
`caps:["cmd"]` 映射)→ agent 经 `output_send__device/pydev-1` 主动发送 → 设备收到
`{"op":"push","payload":"内核推给你的消息","type":"text"}` → 设备掉线 → 通道从表中消失。
258 lines
8.7 KiB
Go
258 lines
8.7 KiB
Go
package remotedevice
|
||
|
||
// 设备输出通道(outputch.go)的测试:
|
||
// - caps 映射词表
|
||
// - 上下线 → 通道登记/注销 + push 真能落到设备(走真 WS 帧)
|
||
// - 聚合通道 devicectl 的出站寻址
|
||
|
||
import (
|
||
"encoding/json"
|
||
"net/http"
|
||
"net/http/httptest"
|
||
"sync"
|
||
"testing"
|
||
"time"
|
||
|
||
agentIO "gitcode.com/JianFeeeee/HomeAgent/internal/agent/io"
|
||
"gitcode.com/JianFeeeee/HomeAgent/internal/sdk"
|
||
)
|
||
|
||
func TestDeviceOutputCapsMapping(t *testing.T) {
|
||
full := agentIO.CapText | agentIO.CapFile | agentIO.CapImage | agentIO.CapAudio | agentIO.CapStructured
|
||
cases := []struct {
|
||
name string
|
||
caps []string
|
||
kind string
|
||
want agentIO.OutputCapability
|
||
}{
|
||
{"未声明已知能力 ⇒ 全能力(旧设备兼容)", nil, "", full},
|
||
{"未知 caps ⇒ 全能力", []string{"whatever"}, "", full},
|
||
{"cmd ⇒ 历史全能力", []string{"cmd"}, "", full},
|
||
{"speaker ⇒ 文本+音频", []string{"speaker"}, "", agentIO.CapText | agentIO.CapAudio},
|
||
{"screen ⇒ 文本+图+文件", []string{"screen"}, "", agentIO.CapText | agentIO.CapImage | agentIO.CapFile},
|
||
{"clipboard ⇒ 文本+文件", []string{"clipboard"}, "", agentIO.CapText | agentIO.CapFile},
|
||
{"kind=computer 兜底(未声明 caps)", nil, "computer", agentIO.CapText | agentIO.CapImage | agentIO.CapFile | agentIO.CapStructured},
|
||
{"kind=speaker 兜底", nil, "speaker", agentIO.CapText | agentIO.CapAudio},
|
||
}
|
||
for _, c := range cases {
|
||
if got := deviceOutputCaps(c.caps, c.kind); got != c.want {
|
||
t.Errorf("%s: deviceOutputCaps(%v,%q)=%s,期望 %s", c.name, c.caps, c.kind, got, c.want)
|
||
}
|
||
}
|
||
}
|
||
|
||
// channelRecorder 记录通道注册/注销。
|
||
//
|
||
// 必须加锁:注册/注销发生在设备 WS 的处理 goroutine(上下线回调)里,
|
||
// 而测试在主线读 —— 裸 map/slice 会被 -race 抓住(第一版就是这么被抓住的)。
|
||
type channelRecorder struct {
|
||
mu sync.Mutex
|
||
registered map[string]int
|
||
unregistered []string
|
||
}
|
||
|
||
func (r *channelRecorder) caps(name string) (int, bool) {
|
||
r.mu.Lock()
|
||
defer r.mu.Unlock()
|
||
c, ok := r.registered[name]
|
||
return c, ok
|
||
}
|
||
|
||
func (r *channelRecorder) unregList() []string {
|
||
r.mu.Lock()
|
||
defer r.mu.Unlock()
|
||
return append([]string(nil), r.unregistered...)
|
||
}
|
||
|
||
// recordingSDK 造一个能记账的 PluginSDK:通道注册/注销都落到 recorder 里。
|
||
func recordingSDK(t *testing.T, iom *agentIO.IOManager, rec *channelRecorder) *sdk.PluginSDK {
|
||
t.Helper()
|
||
return sdk.New("remotedevice", sdk.SDKConfig{
|
||
IOManager: iom,
|
||
RegOutput: func(name string, caps int, desc string, def sdk.ChannelDef, handler sdk.ToolHandler) error {
|
||
rec.mu.Lock()
|
||
rec.registered[name] = caps
|
||
rec.mu.Unlock()
|
||
// 通道 handler 也要真的可调用 —— 记进 iom 才能从外面触发。
|
||
return iom.RegisterDevice(&recordingDevice{name: name, handler: handler})
|
||
},
|
||
RegOutputUnreg: func(name string) error {
|
||
rec.mu.Lock()
|
||
rec.unregistered = append(rec.unregistered, name)
|
||
rec.mu.Unlock()
|
||
iom.UnregisterDevice(name)
|
||
return nil
|
||
},
|
||
RegInput: func(name string, def sdk.ChannelDef) error {
|
||
iom.RegisterInputChannel(name, agentIO.ChannelDef(def))
|
||
return nil
|
||
},
|
||
})
|
||
}
|
||
|
||
// recordingDevice 把插件注册的输出通道在 io 层落地,便于用 Execute("output") 触发。
|
||
type recordingDevice struct {
|
||
name string
|
||
handler sdk.ToolHandler
|
||
}
|
||
|
||
func (d *recordingDevice) Name() string { return d.name }
|
||
func (d *recordingDevice) Type() agentIO.DeviceType { return agentIO.DeviceIO }
|
||
func (d *recordingDevice) OutputCapabilities() agentIO.OutputCapability { return agentIO.CapText }
|
||
func (d *recordingDevice) Description() string { return "recording device" }
|
||
func (d *recordingDevice) ChannelDef() agentIO.ChannelDef { return agentIO.ChannelDef{} }
|
||
func (d *recordingDevice) Start() error { return nil }
|
||
func (d *recordingDevice) Stop() error { return nil }
|
||
func (d *recordingDevice) Tools() []agentIO.ToolDef { return nil }
|
||
func (d *recordingDevice) Execute(tool string, args map[string]interface{}) (interface{}, error) {
|
||
return d.handler(args)
|
||
}
|
||
|
||
func TestDeviceChannelLifecycleAndPush(t *testing.T) {
|
||
reg := NewRegistry()
|
||
token := "tk"
|
||
reg.SetAcceptToken(func(p string) bool { return p == token })
|
||
|
||
iom := agentIO.NewIOManager()
|
||
rec := &channelRecorder{registered: map[string]int{}}
|
||
|
||
p := &Plugin{registry: reg}
|
||
p.sdk = recordingSDK(t, iom, rec)
|
||
p.wireDeviceChannels() // 走 Start 的同一条接线
|
||
|
||
srv := httptest.NewServer(http.HandlerFunc(reg.ServeWS))
|
||
defer srv.Close()
|
||
|
||
cli := dialTestWS(t, srv.URL, token)
|
||
defer cli.close()
|
||
|
||
// 设备上线(caps=speaker ⇒ 通道能力应为 文本+音频)
|
||
cli.sendText([]byte(`{"op":"hello","device":{"device_id":"spk-1","name":"音箱","kind":"speaker","caps":["speaker"]}}`))
|
||
cli.readHelloAckAndBind(t, token)
|
||
|
||
ch := deviceChannelName("spk-1")
|
||
deadline := time.Now().Add(3 * time.Second)
|
||
caps, ok := rec.caps(ch)
|
||
for !ok && time.Now().Before(deadline) {
|
||
time.Sleep(20 * time.Millisecond)
|
||
caps, ok = rec.caps(ch)
|
||
}
|
||
if !ok {
|
||
t.Fatalf("设备上线后应注册输出通道 %s,实际: %v", ch, rec.unregList())
|
||
}
|
||
if want := int(agentIO.CapText | agentIO.CapAudio); caps != want {
|
||
t.Fatalf("通道能力位应为 文本+音频(%d),实际 %d", want, caps)
|
||
}
|
||
// 入站 inputch 同名登记(父 agent 才能把"这台设备"划给驻留子)
|
||
if _, ok := iom.LookupInputChannel(ch); !ok {
|
||
t.Fatalf("设备上线后应同时登记同名 inputch %s", ch)
|
||
}
|
||
|
||
// 触发一次出站:走 io 层的 output 分发(与 output_send__<通道> 同一条路)
|
||
dev := iom.GetDevice(ch)
|
||
if dev == nil {
|
||
t.Fatalf("输出通道 %s 未在 io 层注册", ch)
|
||
}
|
||
if _, err := dev.Execute("output", map[string]interface{}{"payload": "你好,设备", "type": "text"}); err != nil {
|
||
t.Fatalf("向设备发送失败: %v", err)
|
||
}
|
||
|
||
// 设备侧应收到 op=push 的帧
|
||
got := make(chan map[string]interface{}, 1)
|
||
go func() {
|
||
_, payload, err := cli.readMsg()
|
||
if err != nil {
|
||
return
|
||
}
|
||
var m map[string]interface{}
|
||
if json.Unmarshal(payload, &m) == nil {
|
||
got <- m
|
||
}
|
||
}()
|
||
select {
|
||
case m := <-got:
|
||
if m["op"] != "push" {
|
||
t.Fatalf("设备应收到 op=push,实际 %v", m)
|
||
}
|
||
if m["payload"] != "你好,设备" || m["type"] != "text" {
|
||
t.Fatalf("push 帧内容不符: %v", m)
|
||
}
|
||
case <-time.After(3 * time.Second):
|
||
t.Fatal("设备未收到 push 帧")
|
||
}
|
||
|
||
// 设备下线 ⇒ 注销通道(不留死通道)
|
||
cli.close()
|
||
deadline = time.Now().Add(3 * time.Second)
|
||
for len(rec.unregList()) == 0 && time.Now().Before(deadline) {
|
||
time.Sleep(20 * time.Millisecond)
|
||
}
|
||
if got := rec.unregList(); len(got) == 0 || got[0] != ch {
|
||
t.Fatalf("设备下线后应注销 %s,实际 %v", ch, got)
|
||
}
|
||
if iom.GetDevice(ch) != nil {
|
||
t.Fatalf("注销后 io 层不应还有 %s", ch)
|
||
}
|
||
}
|
||
|
||
func TestDevicectlAggregateOutputAddressing(t *testing.T) {
|
||
reg := NewRegistry()
|
||
token := "tk2"
|
||
reg.SetAcceptToken(func(p string) bool { return p == token })
|
||
srv := httptest.NewServer(http.HandlerFunc(reg.ServeWS))
|
||
defer srv.Close()
|
||
|
||
dev := &devicectlDevice{reg: reg}
|
||
|
||
// ① 没指定设备 ⇒ 报错要**可执行**(列出在线设备),而不是含糊失败
|
||
if _, err := dev.Execute("output", map[string]interface{}{"payload": "x", "type": "text"}); err == nil {
|
||
t.Fatal("无 device_id 时应报错")
|
||
}
|
||
|
||
cli := dialTestWS(t, srv.URL, token)
|
||
defer cli.close()
|
||
cli.sendText([]byte(`{"op":"hello","device":{"device_id":"pc-1","name":"PC","kind":"computer","caps":["cmd"]}}`))
|
||
cli.readHelloAckAndBind(t, token)
|
||
|
||
deadline := time.Now().Add(3 * time.Second)
|
||
for !reg.Online("pc-1") && time.Now().Before(deadline) {
|
||
time.Sleep(20 * time.Millisecond)
|
||
}
|
||
if !reg.Online("pc-1") {
|
||
t.Fatal("设备未上线")
|
||
}
|
||
|
||
// ② meta 是 JSON 且含 device_id ⇒ 投递到该设备
|
||
if _, err := dev.Execute("output", map[string]interface{}{
|
||
"payload": "hi", "type": "text", "meta": `{"device_id":"pc-1"}`,
|
||
}); err != nil {
|
||
t.Fatalf("按 meta.device_id 投递失败: %v", err)
|
||
}
|
||
m := make(chan map[string]interface{}, 1)
|
||
go func() {
|
||
_, payload, err := cli.readMsg()
|
||
if err != nil {
|
||
return
|
||
}
|
||
var got map[string]interface{}
|
||
if json.Unmarshal(payload, &got) == nil {
|
||
m <- got
|
||
}
|
||
}()
|
||
select {
|
||
case got := <-m:
|
||
if got["op"] != "push" {
|
||
t.Fatalf("应为 push 帧,实际 %v", got)
|
||
}
|
||
case <-time.After(3 * time.Second):
|
||
t.Fatal("聚合通道未投递到设备")
|
||
}
|
||
|
||
// ③ 设备在线但指定了不存在的设备 ⇒ 报错(online 列表里有 pc-1)
|
||
if _, err := dev.Execute("output", map[string]interface{}{
|
||
"payload": "hi", "type": "text", "device_id": "ghost",
|
||
}); err == nil {
|
||
t.Fatal("不存在的设备应报错")
|
||
}
|
||
}
|