mirror of
https://gitcode.com/JianFeeeee/HomeAgent.git
synced 2026-09-21 09:28:14 +00:00
根因:子进程插件被 kill 后,内核只发了一个无人订阅的事件, 工具/stage handler/IO 通道全留在注册表里指向死进程, 模型继续调用只吃 ErrProcessExited,没有任何路径把插件拉回来。 ## 四层修复 ### 1. 专职 waitLoop(进程收割) - 每个子进程配一根 waitLoop goroutine,是 cmd.Wait() 的唯一调用点 - 不再依赖 stdout EOF 判定死亡(孙子进程继承 stdout 时 EOF 永不到来) - 手工 os.Pipe 替代 cmd.StdinPipe/StdoutPipe,避免 waitLoop 与 os/exec 的内部关闭竞争 - host.go: Host.Supervisor(),Host.Close() 先 StopAll 再拆段 ### 2. 集中台账 Supervisor - proc/supervisor.go: 插件 Spawn 握手成功即 track,进程退出即 untrack - StopAll: 并发发 plugin.stop 走优雅路径,到期仍在的一律 Kill - 关停后才完成握手的进程被立即结束,不会活过内核 - 消除「孤儿进程持共享段映射 → SIGBUS」的隐患 ### 3. 注册面摘除(detachPlugin) - 新增 StageHost.UnregisterPluginStages:摘除指定插件的全部 stage handler - 新增 Registry.pluginChannels 台账:记录每个插件注册的 IO 通道 - 三条路径统一走 detachPlugin:Disable / ReloadOne / RemovePlugin - StopAndUnload 漏了 IO 通道也一并补上 ### 4. 自动重启 - onProcCrash 从「只发事件」改为「摘注册面 → 从注册表移除 → 异步排重启」 - scheduleProcRestart: 窗口 5 分钟内最多 3 次,线性退避 1s/2s/3s - 超限停手留日志;重启前复核是否已被 Disable 或被其他路径加载 - 崩溃计数窗口过期自动归零 ### 5. 主动停止 vs 崩溃的区分 - proc.Plugin 新增 stopping 标志:Stop()/Close() 里 Set(true) - handleExit 读 stopping 标志,主动停止不上报 onCrash - 防止重载/禁用/卸载被误判为崩溃触发多余重启 ### 6. Linux Pdeathsig 兜底 - procattr_linux.go: SysProcAttr.Pdeathsig = SIGKILL - 兜 homed 自身被 SIGKILL/OOM 时子进程变孤儿的场景 - macOS/Windows 无等价物,空实现 ### 7. pluginmgr 升级 - PluginManager 接口新增 PluginRuntime / ListPluginRuntimes - plugin_list 输出运行态:loaded / alive / pid / crash_count / channel - 新增 plugin_status: 全量运行期快照 + dead/unhealthy 汇总 - 新增 plugin_restart: 无条件重启单个插件(plgreload 不动未改二进制的插件) ### 测试 - process_test.go: 3 例(grandchild stdout 感知 / Supervisor track-untrack / StopAll 无孤儿) - crash_recovery_test.go: 8 例(detach 三项齐全 / 通道重注册 / 崩溃不阻塞 / 退避阈值 / 窗口过期 / 关停中跳过 / PluginRuntime 通道识别) - stages_plugin_test.go: 4 例(stage 按插件摘除 / 空 stage 清理 / 空名 no-op / 工具+stage 双摘后可重新注册同名)
482 lines
14 KiB
Go
482 lines
14 KiB
Go
package proc
|
||
|
||
import (
|
||
"context"
|
||
"encoding/json"
|
||
"errors"
|
||
"fmt"
|
||
"os"
|
||
"os/exec"
|
||
"path/filepath"
|
||
"strings"
|
||
"sync"
|
||
"testing"
|
||
"time"
|
||
)
|
||
|
||
// Process 的测试用真实子进程(go build 出的小二进制),而非 mock:
|
||
// 崩溃隔离、EOF 感知、Kill 回收这些性质只有真进程才能验证——
|
||
// 它们恰是迁移相对 C ABI 的核心收益(§9.5)。
|
||
|
||
// buildTestPlugin 编译 testdata 下的假插件,返回二进制路径。
|
||
func buildTestPlugin(t *testing.T, srcName string) string {
|
||
t.Helper()
|
||
if _, err := exec.LookPath("go"); err != nil {
|
||
t.Skip("环境无 go 工具链,跳过子进程测试")
|
||
}
|
||
|
||
src := filepath.Join("testdata", srcName)
|
||
if _, err := os.Stat(src); err != nil {
|
||
t.Fatalf("测试插件源码缺失 %s: %v", src, err)
|
||
}
|
||
|
||
bin := filepath.Join(t.TempDir(), strings.TrimSuffix(srcName, ".go"))
|
||
cmd := exec.Command("go", "build", "-o", bin, src)
|
||
cmd.Env = append(os.Environ(), "CGO_ENABLED=0")
|
||
if out, err := cmd.CombinedOutput(); err != nil {
|
||
t.Fatalf("编译测试插件 %s 失败: %v\n%s", srcName, err, out)
|
||
}
|
||
return bin
|
||
}
|
||
|
||
// noopHandler 是最简的内核侧 handler(测试中不需要真实 core.* 能力)。
|
||
func noopHandler(method string, params json.RawMessage) (interface{}, error) {
|
||
return nil, fmt.Errorf("测试环境未实现 %s", method)
|
||
}
|
||
|
||
func TestProcess_SpawnHandshakeAndToolInvoke(t *testing.T) {
|
||
bin := buildTestPlugin(t, "echoplugin.go")
|
||
|
||
p, err := Spawn("echo", bin, Options{Handler: noopHandler})
|
||
if err != nil {
|
||
t.Fatalf("Spawn: %v", err)
|
||
}
|
||
defer p.Kill()
|
||
|
||
if p.PID() == 0 {
|
||
t.Error("PID 应非零")
|
||
}
|
||
|
||
raw, err := p.Call(MethodToolInvoke, ToolInvokeParams{
|
||
Name: "echo_tool",
|
||
Args: map[string]interface{}{"text": "你好"},
|
||
})
|
||
if err != nil {
|
||
t.Fatalf("tool.invoke: %v", err)
|
||
}
|
||
var res ToolInvokeResult
|
||
if err := json.Unmarshal(raw, &res); err != nil {
|
||
t.Fatalf("解析应答: %v", err)
|
||
}
|
||
if res.Result != "你好" {
|
||
t.Fatalf("工具应回显 '你好',实际 %v", res.Result)
|
||
}
|
||
}
|
||
|
||
// 插件返回错误时调用方必须收到 error —— 对比 C ABI 路径的 output_send
|
||
// 永远返回成功(§9.4,现网 2 次消息发不出而模型以为成功)。
|
||
func TestProcess_PluginErrorIsReported(t *testing.T) {
|
||
bin := buildTestPlugin(t, "echoplugin.go")
|
||
p, err := Spawn("echo", bin, Options{Handler: noopHandler})
|
||
if err != nil {
|
||
t.Fatalf("Spawn: %v", err)
|
||
}
|
||
defer p.Kill()
|
||
|
||
_, err = p.Call(MethodToolInvoke, ToolInvokeParams{Name: "fail_tool"})
|
||
if err == nil {
|
||
t.Fatal("插件返回错误时调用方应收到 error")
|
||
}
|
||
if !strings.Contains(err.Error(), "故意失败") {
|
||
t.Errorf("错误信息应透传插件的原因,实际: %v", err)
|
||
}
|
||
}
|
||
|
||
// 插件反向调用内核(51 个 core.* method 的机制验证)。
|
||
func TestProcess_PluginCallsBackIntoKernel(t *testing.T) {
|
||
bin := buildTestPlugin(t, "callbackplugin.go")
|
||
|
||
var (
|
||
mu sync.Mutex
|
||
gotCall []string
|
||
)
|
||
handler := func(method string, params json.RawMessage) (interface{}, error) {
|
||
mu.Lock()
|
||
gotCall = append(gotCall, method)
|
||
mu.Unlock()
|
||
switch method {
|
||
case MethodSettingsGet:
|
||
return map[string]interface{}{"value": "配置值"}, nil
|
||
case MethodToolRegister:
|
||
return nil, nil
|
||
}
|
||
return nil, fmt.Errorf("未实现 %s", method)
|
||
}
|
||
|
||
p, err := Spawn("cb", bin, Options{Handler: handler})
|
||
if err != nil {
|
||
t.Fatalf("Spawn: %v", err)
|
||
}
|
||
defer p.Kill()
|
||
|
||
// plugin.start 期间插件会回调 tool.register + settings.get
|
||
if _, err := p.Call(MethodPluginStart, nil); err != nil {
|
||
t.Fatalf("plugin.start: %v", err)
|
||
}
|
||
|
||
mu.Lock()
|
||
defer mu.Unlock()
|
||
if len(gotCall) < 2 {
|
||
t.Fatalf("内核应收到插件的反向调用,实际 %v", gotCall)
|
||
}
|
||
hasRegister, hasSettings := false, false
|
||
for _, m := range gotCall {
|
||
if m == MethodToolRegister {
|
||
hasRegister = true
|
||
}
|
||
if m == MethodSettingsGet {
|
||
hasSettings = true
|
||
}
|
||
}
|
||
if !hasRegister || !hasSettings {
|
||
t.Errorf("应收到 tool.register 与 settings.get,实际 %v", gotCall)
|
||
}
|
||
}
|
||
|
||
// 崩溃隔离:插件 panic 只让子进程退出,内核存活并收到 onExit(§9.5 表格第 2 行)。
|
||
// C ABI 路径下 panic 跨 C 栈,recover 兜不住会带崩整个 homed(§1.4)。
|
||
func TestProcess_CrashIsolationAndExitDetection(t *testing.T) {
|
||
bin := buildTestPlugin(t, "crashplugin.go")
|
||
|
||
exitCh := make(chan error, 1)
|
||
p, err := Spawn("crash", bin, Options{
|
||
Handler: noopHandler,
|
||
OnExit: func(name string, err error) { exitCh <- err },
|
||
})
|
||
if err != nil {
|
||
t.Fatalf("Spawn: %v", err)
|
||
}
|
||
|
||
// 触发插件 panic
|
||
_, callErr := p.Call(MethodToolInvoke, ToolInvokeParams{Name: "boom"})
|
||
if callErr == nil {
|
||
t.Error("插件崩溃时在途调用应返回错误,而非挂死")
|
||
}
|
||
|
||
select {
|
||
case exitErr := <-exitCh:
|
||
if exitErr == nil {
|
||
t.Error("panic 退出应报告非 nil 错误(供 recordCrash 使用)")
|
||
}
|
||
case <-time.After(5 * time.Second):
|
||
t.Fatal("未在 5s 内检测到进程退出(EOF 感知失效)")
|
||
}
|
||
|
||
select {
|
||
case <-p.Exited():
|
||
case <-time.After(time.Second):
|
||
t.Error("Exited() 通道应已关闭")
|
||
}
|
||
|
||
// 进程已退出后继续调用应立即失败,不能挂死
|
||
if _, err := p.Call(MethodToolInvoke, ToolInvokeParams{Name: "echo_tool"}); !errors.Is(err, ErrProcessExited) {
|
||
t.Errorf("退出后调用应返回 ErrProcessExited,实际 %v", err)
|
||
}
|
||
}
|
||
|
||
// 优雅停止:plugin.stop 后进程自行退出。
|
||
func TestProcess_GracefulStop(t *testing.T) {
|
||
bin := buildTestPlugin(t, "echoplugin.go")
|
||
p, err := Spawn("echo", bin, Options{Handler: noopHandler})
|
||
if err != nil {
|
||
t.Fatalf("Spawn: %v", err)
|
||
}
|
||
|
||
if err := p.Stop(); err != nil {
|
||
t.Fatalf("Stop: %v", err)
|
||
}
|
||
select {
|
||
case <-p.Exited():
|
||
case <-time.After(3 * time.Second):
|
||
t.Fatal("Stop 后进程应退出")
|
||
}
|
||
if err := p.ExitError(); err != nil {
|
||
t.Errorf("优雅停止应无错误退出,实际 %v", err)
|
||
}
|
||
}
|
||
|
||
// **真正的取消**:卡死的插件可被 Kill 回收(§9.3 对照 cgo 超时线程永久泄漏)。
|
||
func TestProcess_KillHungPlugin(t *testing.T) {
|
||
bin := buildTestPlugin(t, "hangplugin.go")
|
||
p, err := Spawn("hang", bin, Options{Handler: noopHandler})
|
||
if err != nil {
|
||
t.Fatalf("Spawn: %v", err)
|
||
}
|
||
|
||
// 调用会卡住,用 context 超时返回(调用方不被拖死)
|
||
ctx, cancel := context.WithTimeout(context.Background(), 300*time.Millisecond)
|
||
defer cancel()
|
||
_, err = p.CallContext(ctx, MethodToolInvoke, ToolInvokeParams{Name: "hang_tool"})
|
||
if err == nil {
|
||
t.Fatal("卡死的调用应因 ctx 超时返回")
|
||
}
|
||
if !errors.Is(err, context.DeadlineExceeded) {
|
||
t.Errorf("应为 DeadlineExceeded,实际 %v", err)
|
||
}
|
||
|
||
// pending 条目必须已清理(不泄漏)
|
||
p.mu.Lock()
|
||
pendingCount := len(p.pending)
|
||
p.mu.Unlock()
|
||
if pendingCount != 0 {
|
||
t.Errorf("超时后 pending 表应清空,实际残留 %d 条", pendingCount)
|
||
}
|
||
|
||
// Kill 真正回收资源
|
||
if err := p.Kill(); err != nil {
|
||
t.Fatalf("Kill: %v", err)
|
||
}
|
||
select {
|
||
case <-p.Exited():
|
||
case <-time.After(3 * time.Second):
|
||
t.Fatal("Kill 后进程应退出")
|
||
}
|
||
}
|
||
|
||
// 通知(ID=0)不等应答——事件投递路径必须 post-and-forget(§2.4 约束 B)。
|
||
func TestProcess_NotifyDoesNotWait(t *testing.T) {
|
||
bin := buildTestPlugin(t, "echoplugin.go")
|
||
p, err := Spawn("echo", bin, Options{Handler: noopHandler})
|
||
if err != nil {
|
||
t.Fatalf("Spawn: %v", err)
|
||
}
|
||
defer p.Kill()
|
||
|
||
start := time.Now()
|
||
for i := 0; i < 100; i++ {
|
||
if err := p.Notify("event.deliver", map[string]interface{}{"seq": i}); err != nil {
|
||
t.Fatalf("Notify: %v", err)
|
||
}
|
||
}
|
||
elapsed := time.Since(start)
|
||
// 100 条通知若每条都等应答,至少要 100 个往返;post-and-forget 应远快于此
|
||
if elapsed > time.Second {
|
||
t.Errorf("100 条通知耗时 %v,疑似在等应答(应 post-and-forget)", elapsed)
|
||
}
|
||
|
||
// 通知不占 pending 表
|
||
p.mu.Lock()
|
||
pendingCount := len(p.pending)
|
||
p.mu.Unlock()
|
||
if pendingCount != 0 {
|
||
t.Errorf("通知不应占用 pending 表,实际 %d 条", pendingCount)
|
||
}
|
||
}
|
||
|
||
// 并发调用:pending 表按 ID 正确路由,应答不串。
|
||
func TestProcess_ConcurrentCallsRouteCorrectly(t *testing.T) {
|
||
bin := buildTestPlugin(t, "echoplugin.go")
|
||
p, err := Spawn("echo", bin, Options{Handler: noopHandler})
|
||
if err != nil {
|
||
t.Fatalf("Spawn: %v", err)
|
||
}
|
||
defer p.Kill()
|
||
|
||
const n = 50
|
||
var wg sync.WaitGroup
|
||
errs := make(chan error, n)
|
||
for i := 0; i < n; i++ {
|
||
wg.Add(1)
|
||
go func(i int) {
|
||
defer wg.Done()
|
||
want := fmt.Sprintf("msg-%d", i)
|
||
raw, err := p.Call(MethodToolInvoke, ToolInvokeParams{
|
||
Name: "echo_tool",
|
||
Args: map[string]interface{}{"text": want},
|
||
})
|
||
if err != nil {
|
||
errs <- err
|
||
return
|
||
}
|
||
var res ToolInvokeResult
|
||
if err := json.Unmarshal(raw, &res); err != nil {
|
||
errs <- err
|
||
return
|
||
}
|
||
if res.Result != want {
|
||
errs <- fmt.Errorf("应答串了:期望 %q,实际 %v", want, res.Result)
|
||
}
|
||
}(i)
|
||
}
|
||
wg.Wait()
|
||
close(errs)
|
||
for err := range errs {
|
||
t.Errorf("并发调用失败: %v", err)
|
||
}
|
||
}
|
||
|
||
// 协议版本不匹配必须显式拒绝,不能半兼容运行。
|
||
func TestProcess_ProtocolMismatchRejected(t *testing.T) {
|
||
bin := buildTestPlugin(t, "badprotoplugin.go")
|
||
_, err := Spawn("badproto", bin, Options{Handler: noopHandler})
|
||
if err == nil {
|
||
t.Fatal("协议版本不匹配应拒绝建链")
|
||
}
|
||
if !strings.Contains(err.Error(), "协议版本不匹配") {
|
||
t.Errorf("错误应说明版本不匹配,实际: %v", err)
|
||
}
|
||
}
|
||
|
||
func TestProcess_SpawnRequiresHandler(t *testing.T) {
|
||
if _, err := Spawn("x", "/bin/true", Options{}); err == nil {
|
||
t.Fatal("缺少 Handler 应报错(插件无法回调内核)")
|
||
}
|
||
}
|
||
|
||
// 插件死亡但孙子进程仍持有 stdout 写端时,内核必须仍能感知退出。
|
||
//
|
||
// 这是「EOF 不等于进程死亡」的回归测试。旧实现只在 readLoop 读到 EOF 后
|
||
// 才 markExited,而 exec.Command 起的孙子进程默认继承插件的 stdout:
|
||
// 插件本体退出后写端仍被孙子持有,EOF 永不到来,于是
|
||
// - 在途调用挂到自己的超时;
|
||
// - OnExit 不触发 → 崩溃计数、工具摘除、自动重启全都不发生;
|
||
// - 进程表里插件已是僵尸,注册表里却一切正常。
|
||
// 生产上 browser 拉 chromium、editdoc 拉 python 正是这个形状。
|
||
// 现在由专职 waitLoop 直接 wait4(2) 判定,不再依赖 fd 生命周期。
|
||
func TestProcess_ExitDetectedDespiteInheritedStdout(t *testing.T) {
|
||
if _, err := exec.LookPath("sleep"); err != nil {
|
||
t.Skip("环境无 sleep,跳过")
|
||
}
|
||
bin := buildTestPlugin(t, "forkplugin.go")
|
||
|
||
exitCh := make(chan error, 1)
|
||
p, err := Spawn("fork", bin, Options{
|
||
Handler: noopHandler,
|
||
OnExit: func(name string, err error) { exitCh <- err },
|
||
})
|
||
if err != nil {
|
||
t.Fatalf("Spawn: %v", err)
|
||
}
|
||
defer p.Kill()
|
||
|
||
// 让插件本体退出(孙子 sleep 300 仍活着,继续持有 stdout 写端)
|
||
if _, callErr := p.Call(MethodToolInvoke, ToolInvokeParams{Name: "die"}); callErr == nil {
|
||
t.Error("插件退出时在途调用应返回错误")
|
||
}
|
||
|
||
select {
|
||
case exitErr := <-exitCh:
|
||
if exitErr == nil {
|
||
t.Error("非零退出码应报告为错误(供崩溃计数使用)")
|
||
}
|
||
case <-time.After(5 * time.Second):
|
||
t.Fatal("孙子进程持有 stdout 时未能感知插件退出——退化回只靠 EOF 判定")
|
||
}
|
||
|
||
if _, err := p.Call(MethodToolInvoke, ToolInvokeParams{Name: "x"}); !errors.Is(err, ErrProcessExited) {
|
||
t.Errorf("退出后调用应返回 ErrProcessExited,实际 %v", err)
|
||
}
|
||
}
|
||
|
||
// Supervisor 台账:握手成功即在册,进程退出即注销。
|
||
func TestSupervisor_TrackAndUntrack(t *testing.T) {
|
||
bin := buildTestPlugin(t, "echoplugin.go")
|
||
sup := NewSupervisor()
|
||
|
||
p, err := Spawn("echo", bin, Options{Handler: noopHandler, Supervisor: sup})
|
||
if err != nil {
|
||
t.Fatalf("Spawn: %v", err)
|
||
}
|
||
if sup.Count() != 1 {
|
||
t.Fatalf("握手成功后应在册,实际 %d", sup.Count())
|
||
}
|
||
got, ok := sup.Get("echo")
|
||
if !ok || got.PID() != p.PID() {
|
||
t.Errorf("台账里的进程应是刚 spawn 的那个")
|
||
}
|
||
list := sup.List()
|
||
if len(list) != 1 || !list[0].Alive || list[0].PID != p.PID() {
|
||
t.Errorf("List 应报告存活与 PID,实际 %+v", list)
|
||
}
|
||
|
||
if err := p.Stop(); err != nil {
|
||
t.Fatalf("Stop: %v", err)
|
||
}
|
||
// 退出回调在 markExited 里注销,等它落地
|
||
deadline := time.Now().Add(3 * time.Second)
|
||
for sup.Count() != 0 && time.Now().Before(deadline) {
|
||
time.Sleep(10 * time.Millisecond)
|
||
}
|
||
if sup.Count() != 0 {
|
||
t.Errorf("进程退出后应注销,实际仍有 %d 个在册", sup.Count())
|
||
}
|
||
}
|
||
|
||
// StopAll 必须停掉全部在册子进程——内核关停时不留孤儿。
|
||
func TestSupervisor_StopAllLeavesNoSurvivor(t *testing.T) {
|
||
bin := buildTestPlugin(t, "echoplugin.go")
|
||
sup := NewSupervisor()
|
||
|
||
var procs []*Process
|
||
for i := 0; i < 3; i++ {
|
||
p, err := Spawn(fmt.Sprintf("echo%d", i), bin, Options{Handler: noopHandler, Supervisor: sup})
|
||
if err != nil {
|
||
t.Fatalf("Spawn %d: %v", i, err)
|
||
}
|
||
procs = append(procs, p)
|
||
}
|
||
if sup.Count() != 3 {
|
||
t.Fatalf("应有 3 个在册,实际 %d", sup.Count())
|
||
}
|
||
|
||
sup.StopAll(5 * time.Second)
|
||
|
||
for _, p := range procs {
|
||
select {
|
||
case <-p.Exited():
|
||
case <-time.After(2 * time.Second):
|
||
t.Errorf("%s 未被 StopAll 停掉(会成为孤儿进程)", p.Name())
|
||
}
|
||
}
|
||
}
|
||
|
||
// 卡死插件(不响应 plugin.stop)必须在 StopAll 的预算内被强杀。
|
||
func TestSupervisor_StopAllKillsUnresponsive(t *testing.T) {
|
||
bin := buildTestPlugin(t, "hangplugin.go")
|
||
sup := NewSupervisor()
|
||
|
||
p, err := Spawn("hang", bin, Options{Handler: noopHandler, Supervisor: sup})
|
||
if err != nil {
|
||
t.Fatalf("Spawn: %v", err)
|
||
}
|
||
|
||
// 预算给足以覆盖 stopGracePeriod,之后剩下的一律 Kill
|
||
sup.StopAll(500 * time.Millisecond)
|
||
|
||
select {
|
||
case <-p.Exited():
|
||
case <-time.After(10 * time.Second):
|
||
t.Error("不响应 plugin.stop 的插件应被强制结束,否则 homed 关停会被它拖住")
|
||
}
|
||
}
|
||
|
||
// 关停后完成握手的进程不得留存:立即被结束,不能活过内核。
|
||
func TestSupervisor_TrackAfterCloseKillsProcess(t *testing.T) {
|
||
bin := buildTestPlugin(t, "echoplugin.go")
|
||
sup := NewSupervisor()
|
||
sup.StopAll(time.Second) // 置 closed
|
||
|
||
p, err := Spawn("late", bin, Options{Handler: noopHandler, Supervisor: sup})
|
||
if err != nil {
|
||
t.Fatalf("Spawn: %v", err)
|
||
}
|
||
if sup.Count() != 0 {
|
||
t.Errorf("关停后不应再纳管新进程,实际在册 %d", sup.Count())
|
||
}
|
||
select {
|
||
case <-p.Exited():
|
||
case <-time.After(3 * time.Second):
|
||
t.Error("关停后冒出的进程应被立即结束")
|
||
}
|
||
}
|