7.8「跨主机 Agent 发现」原计划(Gateway + Registry 拆分、etcd/Consul 注册)
取消,改为验证现有协议已经够用。验证过程暴露两个真实缺陷,一并修掉。
## 为什么不做注册中心
它要解决「Gateway 怎么找到 Agent」,而这个问题在本架构里不存在:
连接方向是单向的 —— Agent 主动连 Gateway,Gateway 从不外呼。
远端 Agent 只需要一个公网 URL 加一把密钥,被叫方自己会打进来。
注册中心要解决的「被叫方在哪」根本没出现过。
同一个理由此前已经决定了平台会话同步走插件上报而不是 Gateway 拉取。
## 验证方式:一个纯标准库脚本
`deploy/remote-agent-demo.py` 在另一台主机(192.168.2.106)上跑,
不装 AgentMail 的任何代码。注册 / 心跳(带模型目录)/ SSE 长连 /
收件箱 / 标记已读 / 发信全通,Gateway 侧 status=online 且 last_seen 随心跳推进。
完整一轮往返跑通:admin 发给 remotebot@/tmp/remotebot-ws,脚本回信入库。
「协议层面已支持」的含义就是这个:跨主机不需要新组件,只需要三个环境变量。
## 缺陷一:SSE 只推连上之后的事件,没人补拉积压
写那个脚本时第一版只挂了 SSE,启动前发的邮件永远不会被处理。
查了才发现**两个正式插件也有这个洞** —— 原以为它们做了补拉,实际没有。
后果比明确的失败更难排查:邮件躺在收件箱里,而发件人以为 Agent 收到了。
新增共用模块 `lib/catchup.js`,两插件在首个成功心跳后补投一次。五条约束
都对应一种具体的坏行为:
- 只在**首个**心跳后补 —— 每轮都补会把「模型正在处理中、尚未标已读」的
邮件重复投递
- 串行、一次最多 5 封 —— 每封都要起一轮模型,并发放出去等于对上游打 N 个
并发请求,且最后几封要等前面全部跑完
- 与 SSE 共用 deliveredMails 去重 —— 心跳与 SSE 建连之间有个窗口,
那期间到的邮件两条路都会到
- 按时间**正序**投(收件箱倒序返回)—— 倒着塞进去同一会话的上下文是乱的
- permission 类不补投 —— 原来的工具调用早随进程没了,没有可恢复的上下文
端到端两平台各验一次:停插件 → 发信 → 启插件 → 日志「补投 1 封离线期间的
邮件」→ 回信入库;随后在线再发一封确认只回一次。
## 缺陷二:400 只说 "Invalid JSON",不说是哪个字段
脚本把 `workspaces` 传成字符串数组(它要 `[{name, path}]`),
得到的只是一句固定文案,只能靠翻服务端结构体才能发现。
两个官方插件都传 `workspaces: []`,所以这个洞一直没暴露;
第三方客户端没有「翻服务端源码」这个条件。
新增 `handler.DecodeBody`,22 处 `Decode` + 固定文案的调用点全部换过去:
{"error": "字段 \"workspaces\" 类型不对:期望 object,收到 string"}
{"error": "JSON 语法错误(第 8 字节处)"}
{"error": "请求体为空"}
刻意不回显 encoding/json 的原文 —— 它带 Go 类型名(models.Workspace),
那是本侧的实现细节,不该出现在公开 API 的响应里。期望类型用 JSON 的说法。
截断的 JSON 走 io.ErrUnexpectedEOF 而不是 json.SyntaxError,单独一条分支,
否则会落到笼统的兜底文案里(写测试时才发现)。
## 验证
- Go:13 个新测试(decode_test.go 含「不得泄漏 Go 类型名」断言)
- 插件:两侧各 10 个补投测试,共 200 个
- 共用模块同源校验通过(catchup 已纳入 check-shared-libs.sh)
- 生产已部署
139 lines
3.9 KiB
Go
139 lines
3.9 KiB
Go
package handler
|
||
|
||
import (
|
||
"encoding/json"
|
||
"net/http"
|
||
"net/http/httptest"
|
||
"strings"
|
||
"testing"
|
||
|
||
"github.com/agentmail/gateway/internal/models"
|
||
)
|
||
|
||
// 400 的信息必须指向具体字段。
|
||
//
|
||
// 起因:写跨主机验证脚本时把 workspaces 传成了字符串数组,
|
||
// 服务端回的是一句固定的 "Invalid JSON" —— 只能靠翻服务端结构体才发现是哪个字段。
|
||
// 第三方客户端没有这个条件。
|
||
func TestDecodeBodyErrorNamesTheField(t *testing.T) {
|
||
type body struct {
|
||
Name string `json:"name"`
|
||
Workspaces []models.Workspace `json:"workspaces"`
|
||
}
|
||
|
||
cases := []struct {
|
||
name string
|
||
payload string
|
||
wantHas []string
|
||
wantMiss []string
|
||
}{
|
||
{
|
||
name: "字段类型不对要说出字段名与期望类型",
|
||
payload: `{"name":"bot","workspaces":["/tmp/ws"]}`,
|
||
// 期望能看出:是 workspaces,要的是 object 数组,给的是 string
|
||
wantHas: []string{"workspaces", "object", "string"},
|
||
// 不该把 Go 类型名漏出去
|
||
wantMiss: []string{"models.Workspace", "[]models"},
|
||
},
|
||
{
|
||
name: "整个体的类型不对",
|
||
payload: `["not","an","object"]`,
|
||
wantHas: []string{"object"},
|
||
},
|
||
{
|
||
// 截断的 JSON 走的是 io.ErrUnexpectedEOF,不是 json.SyntaxError
|
||
name: "被截断的体要说明是截断",
|
||
payload: `{"name":`,
|
||
wantHas: []string{"语法", "结束"},
|
||
},
|
||
{
|
||
name: "非法字符要给出位置",
|
||
payload: `{"name":1x}`,
|
||
wantHas: []string{"语法", "字节"},
|
||
},
|
||
{
|
||
name: "空体单独说明",
|
||
payload: ``,
|
||
wantHas: []string{"为空"},
|
||
},
|
||
}
|
||
|
||
for _, c := range cases {
|
||
t.Run(c.name, func(t *testing.T) {
|
||
r := httptest.NewRequest(http.MethodPost, "/x", strings.NewReader(c.payload))
|
||
w := httptest.NewRecorder()
|
||
|
||
var v body
|
||
if DecodeBody(w, r, &v) {
|
||
t.Fatal("这个体应当解析失败")
|
||
}
|
||
if w.Code != http.StatusBadRequest {
|
||
t.Fatalf("状态码应为 400,实际 %d", w.Code)
|
||
}
|
||
|
||
var resp map[string]string
|
||
if err := json.Unmarshal(w.Body.Bytes(), &resp); err != nil {
|
||
t.Fatalf("响应不是 JSON: %v", err)
|
||
}
|
||
msg := resp["error"]
|
||
if msg == "" {
|
||
t.Fatal("error 字段为空")
|
||
}
|
||
for _, want := range c.wantHas {
|
||
if !strings.Contains(msg, want) {
|
||
t.Errorf("信息里应含 %q,实际 %q", want, msg)
|
||
}
|
||
}
|
||
for _, miss := range c.wantMiss {
|
||
if strings.Contains(msg, miss) {
|
||
t.Errorf("信息里不该含 Go 类型名 %q:%q", miss, msg)
|
||
}
|
||
}
|
||
})
|
||
}
|
||
}
|
||
|
||
// 合法请求体不该被拦,也不该写任何响应 ——
|
||
// 写了的话调用方接着写自己的响应就成了两次 WriteHeader。
|
||
func TestDecodeBodyPassesValidPayload(t *testing.T) {
|
||
type body struct {
|
||
Name string `json:"name"`
|
||
Workspaces []models.Workspace `json:"workspaces"`
|
||
}
|
||
|
||
payload := `{"name":"bot","workspaces":[{"name":"demo","path":"/tmp/ws"}]}`
|
||
r := httptest.NewRequest(http.MethodPost, "/x", strings.NewReader(payload))
|
||
w := httptest.NewRecorder()
|
||
|
||
var v body
|
||
if !DecodeBody(w, r, &v) {
|
||
t.Fatalf("合法体被拒:%s", w.Body.String())
|
||
}
|
||
if w.Body.Len() != 0 {
|
||
t.Errorf("成功时不该写响应体,实际写了 %q", w.Body.String())
|
||
}
|
||
if v.Name != "bot" || len(v.Workspaces) != 1 || v.Workspaces[0].Path != "/tmp/ws" {
|
||
t.Errorf("解析结果不对:%+v", v)
|
||
}
|
||
}
|
||
|
||
// 空数组是合法的 —— 两个正式插件注册时都传 workspaces: []。
|
||
func TestDecodeBodyAcceptsEmptyWorkspaces(t *testing.T) {
|
||
type body struct {
|
||
Name string `json:"name"`
|
||
Workspaces []models.Workspace `json:"workspaces"`
|
||
}
|
||
|
||
r := httptest.NewRequest(http.MethodPost, "/x",
|
||
strings.NewReader(`{"name":"opencode","workspaces":[]}`))
|
||
w := httptest.NewRecorder()
|
||
|
||
var v body
|
||
if !DecodeBody(w, r, &v) {
|
||
t.Fatalf("空 workspaces 被拒:%s", w.Body.String())
|
||
}
|
||
if len(v.Workspaces) != 0 {
|
||
t.Errorf("应为空数组,实际 %+v", v.Workspaces)
|
||
}
|
||
}
|