Files
HomeAgent/cmd/homed/guard.go
JianFeeeee a68d6a428c feat: 模块化内核(编译期依赖图定序)+ 密钥防火墙 + 插件三态生命周期 (#10)
* feat(kernel): 模块化内核 + 编译期依赖图定序

把单体 init 序列拆成「模块自声明依赖 + 编译期生成依赖图 + 运行期只读图」。

## 为什么

原 cmd/homed/main.go 里 17 步 init 是**手写顺序**,依赖关系只存在于
注释和人脑里。实测踩到的坑(见 docs/zh/kernel-modularization-design.md):
 · nlp.defaultParser 被 initONNXParser 写、被 distiller 读,两者相距 60 行,
   只靠 ticker 10min 才没炸(隐式依赖,无声明)
 · 加一个模块要人肉找"该插在哪",插错的表现是运行期 nil 解引用
 · 关停是 defer ks.CloseAll(),而热更新路径 os.Exit(42) **跳过 defer**
   ⇒ docStore/distiller/textMem 的 flush 全部丢失(每次热更新都发生)

## 怎么改

- internal/kernelboot/:KernelState(一个结构体收全部包级共享变量,字段
  nil 安全)、Module 接口、graphfile(依赖图编解码 + 与二进制 hash 对账)、
  scheduler(按 BFS 层并行 Init)、syncbus(层边界写通知)、
  lifecycle(Quiesce/Resume 可逆伪关机,区别于一次性 CloseAll)
- internal/kernelmod/<name>/:每个模块一个文件夹,Requires/Provides 自声明;
  all/all.go 是唯一的 import 清单(Go 循环导入约束)
- cmd/homed-depgraph:编译期生成依赖图,Makefile 注入 digest
- 运行期只**读**图,不计算顺序(顺序是编译期决定的,源码里没有中央清单)

## 判据

kernelboot 8 条 + 图失败模式 7 条(全部拒绝并给准确错误)+ 模块目录数
与注册表一致性。变异测试 15/15 咬住,含:
 · 删掉 AddCloser 的锁 → -race 报数据竞争
 · Scheduler 同批跑去重 → 203 vs 200
 · 图 hash 不匹配 → 拒绝启动

## 顺带修的缺陷

热更新路径漏调模块关闭 ⇒ 显式 stopKernelModules(),并用 AST 判据钉住
"必须在 os.Exit 之前"(字符串检查在本仓已骗过我三次)。

实测:冷启动 1630ms(5 层/17 模块,原 17 步串行);生产 22 插件全部建链。

* feat(security): 密钥防火墙 + 配置加密 + close 纪律

## 密钥防火墙

模型只见别名、不见明文;插件工具调用入口(StageHost.ExecuteTool)做入向
回填。三维能力:
 · 出向:工具输出里的密钥被替换成 [[secret:name]] 别名后才进上下文
 · 入向:模型传别名,入口处填回真值(插件完全无感知)
 · 存储:config.db 里不存明文(0644 的库可读),敏感值独立 0600 文件

模式库「宁漏勿误伤」:宁可漏掉一次替换,也不把正常文本误当密钥。

## 配置加密

- internal/security/{codec,key,keyring,store,global}.go:AES-256-GCM,
  enc:v1: 前缀,密钥轮换(OldKeys 解码 + 新钥加密)
- harden.go:数据目录权限收紧
- embedded.go:支持内嵌主密钥(可选,仍保留外部 key 文件路径)
- EncryptExistingSecrets / AuditSecrets:启动时幂等迁移 + 审计

## close 纪律(用户明确要求:只要调 close 就要有前置检查)

internal/safeclose:Safe / SafeFunc。全仓 37 处裸 close(chan) → 0。
关键教训(都写进注释和判据):
 · `select { case <-ch: default: close(ch) }` **不是**并发安全的
   (两个 goroutine 可同时命中 default)—— healthcheck 原先是这种写法
 · `sync.Once` **不可重入**:X.Do(func(){ Safe(&X, ...) }) 会自锁,
   症状是 go test 直接挂住(3 个包 600s 超时),栈里只有嵌套的 Once.Do
 · map 里按请求持有的 channel(mcp/stdio.go、clawhubadapter/sidecar.go)
   改成 *pendingRPC 包装,每通道一个 once

## 判据

security 全量 + TestNoBareCloseOutsideSafeclose(AST 级扫描,含注释剥离)
+ TestNoNestedSelfOnceDeadlock(正则修正:\w+ 不匹配点号,捕获组要含 '.')。
变异 2/2 咬住。全量 52 包 ok。

* feat(plugin+deploy): 插件三态生命周期、数据目录迁移、发行包修复

## 插件三态生命周期(用户要求:自动启动 / 启用但不自动启动 / 禁用)

- Manifest 新增 requires_facilities / auto_start(*bool,用于区分
  "未声明"与"显式 false")
- plugin-host 模块(internal/kernelmod/pluginhost):用 kernelboot.Scheduler
  按依赖时机拉起,**不再手写两阶段**
- 运行态停启 StopPlugin/StartPlugin **可逆**:不写 disabled_plugins
  (不改用户决定)、不置 shuttingDown(之后还能加载)、会摘掉注册面
- 与 StopAll 的区别写进注释 —— StopAll 置 shuttingDown 后**永久无法加载**,
  那是进程退出用的,误用于"暂停"就是关了就死

## 数据目录迁移(伪关机 → 迁移 → 唤醒)

- kernelboot/lifecycle.go:Quiesce/Resume(可逆,区别于一次性 CloseAll),
  逆序暂停、逆序恢复、Pause 失败回滚
- kernelboot/migrate.go:BeginMigration/End 编排(先停插件 → 再停内核写者
  → 等在途归零)
- distiller/textmem 增 Pause/Resume 门(不是 cancel —— cancel 不可逆,
  恢复要重建整个对象)
- 模块 migration:体检 + 生成可执行迁移脚本

★ 迁移脚本的三个实测教训(都写成了判据):
 1. 无条件改 /etc/systemd/system ⇒ 演练把**生产** -data 改成了演练目录。
    加 --dry-run(零改动)+ 强制校验 systemd 当前 -data == OLD
 2. 本机没装 rsync,脚本在"服务已停、数据未搬"处硬失败 ⇒ cp -a 回退,
    并明确警告不保硬链接/ACL(生产 plugindev 有大量 git 硬链接)

## 发行包修复(全部经实测确认)

 1. package-linux.sh **完全漏打 depgraph.bin** ⇒ 内核 exit 1
    ("生产构建(内嵌 hash 非空)但读不到依赖图")
 2. build_homed 不走 Makefile ⇒ 单独修 Makefile 无效,必须同时生成图+注入
 3. build.sh 的 LDFLAGS 用**历史模块路径 gitcode.com** ⇒ -X 静默 no-op
    ⇒ --version 显示 unknown
 4. Makefile -ldflags 用**单引号** ⇒ 注入了字面 $GRAPH_HASH

## ★ build.sh 的版本号必须校验(真实事故)

原 `VERSION="$(git describe --tags --dirty)"`。无 tag 分支上它返回**分支名**
`backup/pre-identity-rewrite-20261005-51-g03d87a4e-dirty`,被注入 meta.Version
⇒ 插件握手判据 MajorVersion() 把整串当主版本 ⇒ **22 个子进程插件全部
握手失败**("主版本不匹配")。内核活着、systemd active、日志每条都像
插件的问题 —— 实际是发行包带着非法版本号。

修法:git describe 只在形如 vX.Y.Z 时采用,否则回退 meta.Version(权威源),
并对最终值做形态守卫。deploy/packaging/version_guard_test.go 3 条判据,
变异 2/2 咬住。

## deb 的 systemd unit 改为 guard 模式

ExecStart=/usr/bin/homed --role=guard --data /var/lib/homeagent
(worker exit 42 → guard 重拉,不经过 systemd、不计失败)
含 RestartSteps/RestartMaxDelaySec/TimeoutStopSec + 硬化
(NoNewPrivileges/ProtectSystem/ProtectHome/DevicePolicy/ReadWritePaths)。

## 其他

- internal/plugin/proc:非法 JSON 帧的报错**可定位**(内容摘要 + 可能原因 +
  修法)。生产实测 1038 条非法帧(插件往 stdout 打日志 = 污染协议通道)
- 示例插件 4 个 14 处 fmt.Printf → log.Printf
- hmapdev 模板同步修复;scaffold 判据剥离注释(模板注释里就含 fmt.Printf)

* chore: 收尾(主密钥轮换命令、IPC/知识库加固、SDK 对齐)

- cmd/homed-key-rotate:把 security 里的 RotateKey/RotateKeyFile/RekeySecrets
  串成一条**可执行**的运维路径。没有它,E-1 就只是库里的能力而不是
  "出事时能做的事",而轮换的价值恰恰在于能执行。
- cmd/homed:kmod_runtime(模块装配入口)、plugins_scheduled(failback
  白名单)、memcandidate、bootstrap_order_test / shutdown_flush_test
- internal/ipc、internal/devicebridge、internal/knowledge:配套加固
- third_party/homeagent-sdk/sdk:PluginMgrAPI 增三态能力(mgrStop/mgrStart/
  mgrIsRuntimeStopped)+ settings 对齐

判据:bootstrap_order_test(启动顺序不依赖手写序列)、
shutdown_flush_test(停机的两条路径必须对称 —— exit 42 会跳过 defer,
热更新路径下模块关闭/flush 曾全部丢失)。

* test(security): 测试夹具改用不可误认的占位值(修 push protection 拦截)

GitHub secret scanning 拦住了推送:三处测试夹具用了"看起来像真密钥"的
字面量:

  internal/security/prefilter_test.go:39
  internal/security/store_test.go:177
  internal/security/survey_test.go:20

它们全是**假密钥**(`AKIAIOSFODNN7EXAMPLE` 是 AWS 官方文档的标准示例,
其余是 `abcdefghij...` 这类可读占位符),但扫描器无法区分 —— 它只看形态。

★ 不绕过(不用 unblock URL、不加 allowlist):直接改夹具。
原因:一旦允许"假密钥可以通过",真密钥混进来时就没有最后一道门了。

改法:保留**模式库匹配所需的结构**,把可识别内容换成 FAKE:
  glpat-abcdefghijklmnopqrst       → glpat-FAKE-TEST-TOKEN-NOT-REAL
  sk-abcdefghij...012345           → sk-FAKE-TEST-KEY-NOT-REAL-0000000
  AKIAIOSFODNN7EXAMPLE             → AKIA0000FAKE0000TEST   (保持 20 字符)
  ASIAIOSFODNN7EXAMPLE             → ASIA0000FAKE0000TEST
  xoxb-123456789012-abcdefghijklmnop → xoxb-FAKE-TEST-TOKEN-NOT-REAL

★ 中途踩到一次:AWS 键的模式是 `\b(AKIA|ASIA)[0-9A-Z]{16}\b`(共 20 字符),
我第一次替换成 19 字符的 `AKIAFAKETESTKEY0000` ⇒ 模式匹配不上 ⇒
TestSurvey_WhatIsCaught / TestRecognizesCommonShapes /
TestPrefilterNeverBlocksRealMatches 三条当场变红。
判据正确地拒绝了"为了过扫描器而削弱覆盖"。

顺带核实:全仓 grep 无任何真实密钥泄漏。

* fix(packaging): package-linux.sh 的版本解析与 build.sh 统一

上一版只修了 build.sh,漏了 package-linux.sh —— 它仍只看 git describe:

  VERSION="${VERSION:-$(git describe --tags --dirty)}"

无 tag 分支上 git describe 返回**分支名**
(backup/pre-identity-rewrite-20261005-56-g98850e1),守卫会正确拒绝,
但要求人**手动传 VERSION** 才能打包。而 build.sh 早已能自动回退 meta.Version
⇒ 同一个版本,走 build.sh 打得出来、走 package-linux.sh 打不出来。

危害不只是"要手动传参":运维为了跑通会去掉守卫,而分支名一旦进
meta.Version 就是**插件协议主版本**的来源 ⇒ 22 个子进程插件全部握手失败
(这是真实发生过的事故,见 3efa4e5)。

修法:两个脚本用同一套规则(git describe 仅在 vX.Y.Z 形态时采用,
否则回退 meta.Version),并对最终值做形态守卫。

判据:TestBothPackagingScriptsShareVersionRules —— 逐个读两个脚本,
要求都能从 meta/meta.go 取权威版本、都校验 git describe 形态。
变异(把 package-linux.sh 改回旧规则)咬住并准确指出是哪个脚本。

实测:不传 VERSION 跑 package-linux.sh,输出
  [PKG] warn: git describe 给出非版本串(...),改用 meta.Version=1.4.0
  Version: 1.4.0

* fix(test): 跨仓判据在 CI 上应 skip 而非 fail(修 PR 双红)

CI 上 "Go build / vet / test" 与 "Build linux/amd64" 双红:

  --- FAIL: TestHmapdevTemplateImplementsAllPluginMgrMethods
      bridge_sync_test.go:170: 读模板: open
      ../../../third_party/homeagent-sdk/tools/hmapdev/templates/proc_main.go.tmpl:
      no such file or directory

## 根因:判据依赖了一个**被 gitignore 的路径**

`.gitignore:33` 有 `third_party/homeagent-sdk/tools/`(SDK 仓自治,本仓不跟踪)。
于是:
  · 本机(完整 SDK 检出)有该文件 ⇒ 判据通过
  · CI(只 checkout 本仓)没有该文件 ⇒ Fatalf ⇒ **必红**

我提交时只在本机跑测试、没看 CI,所以这个问题拖到 PR 才暴露。

## 修法

文件缺失时 `t.Skipf` 而不是 `t.Fatalf`。

★ 这不是"放弃检查":
  · 跨仓一致性由 **SDK 仓自己的判据**守着
    (tools/hmapdev/scaffold_stdout_test.go 等),那里才是模板的真实归属地
  · 本判据在本机开发时**仍然生效**(已验证:有文件时 PASS,缺文件时 SKIP)

## 验证

 · 本机(有文件)  → PASS(判据真跑)
 · 模拟 CI(移走 tools/)→ SKIP(不再 fail)
 · 全量 53 包 ok / 0 fail

## 顺带

同目录还有 e2e_template_test.go 也读 tools/,但它是 `//go:build` 门控的
e2e 判据,CI 默认不跑,无需处理。

---------

Co-authored-by: JianFeeeee <JianFeeeee@users.noreply.gitcode.com>
2026-10-17 19:18:24 +08:00

650 lines
24 KiB
Go
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

//go:build linux
// L0/L1/L2 三层回退恢复机制的核心:父守护 guard(Linux 专属)。
//
// 依赖 Linux 设施:syscall.Reboot / /etc 网络基线 / overlayfs 离线回滚 /
// unix socket IPC / systemctl 重启。Windows 等平台不编译本文件,
// 由 guard_windows.go 提供 no-op 桩,保证 cmd/homed 跨平台可构建。
package main
import (
"errors"
"fmt"
"log"
"os"
"os/exec"
"os/signal"
"path/filepath"
"strings"
"syscall"
"time"
internalConfig "github.com/JianFeeeee/HomeAgent/internal/config"
"github.com/JianFeeeee/HomeAgent/internal/ipc"
"github.com/JianFeeeee/HomeAgent/internal/recovery"
"github.com/JianFeeeee/HomeAgent/internal/system"
"github.com/JianFeeeee/HomeAgent/internal/tracker"
"gopkg.in/yaml.v3"
)
// guardConfig 父守护配置:独立于 config.db,避开被改坏的配置数据库。
type guardConfig struct {
MaxRestarts int `yaml:"max_restarts"` // 连续 normal 崩溃重试上限
HeartbeatTimeout string `yaml:"heartbeat_timeout"` // 心跳多久未更新判定卡死(如 30s)
HeartbeatInterval string `yaml:"heartbeat_interval"` // 期待 worker 心跳频率(仅日志)
LLMSnapshot string `yaml:"llm_snapshot"` // LLM 配置基线文件,为空用 <data>/llm_snapshot.json
FailbackEnabled bool `yaml:"failback_enabled"` // 崩溃超限后是否进入受限 failback 启动
LastResort string `yaml:"last_resort"` // restart_app | reboot
RestartCommand []string `yaml:"restart_command"` // last_resort=restart_app 时的命令(如 systemctl restart homeagent)
RebootGrace string `yaml:"reboot_grace"` // last_resort=reboot 前的缓冲
LLM llmConfig `yaml:"llm"` // rescue 源(锚定 IP,绕开被破坏的 DNS/代理)
Recovery recoveryConfig `yaml:"recovery"` // failback 恢复参数(N 轮有界)
LastResortCfg lastResortConfig `yaml:"last_resort_cfg"` // 最后手段细节(snapshot_before 等)
System systemConfig `yaml:"system"` // 发行版/部署路径适配
heartbeatTimeout time.Duration
heartbeatInterval time.Duration
rebootGrace time.Duration
}
type llmConfig struct {
Sources []recovery.RescueSource `yaml:"sources"`
}
type recoveryConfig struct {
MaxAttempts int `yaml:"max_attempts"` // failback 恢复尝试轮数上限
AttemptTimeout string `yaml:"attempt_timeout"` // 单轮恢复超时
KnowledgeBase string `yaml:"knowledge_base"` // 恢复知识库目录
TriggerPrompt string `yaml:"trigger_prompt"` // 恢复 agent 的系统提示词(未知/混合分支)
Plugins []string `yaml:"plugins"` // failback 插件集(缺省用 core.agent.failback_plugins)
attemptTimeout time.Duration
}
type lastResortConfig struct {
SnapshotBefore bool `yaml:"snapshot_before"` // 最后手段前是否回滚 agentfs 到最近快照
}
// systemConfig 发行版/部署路径适配:把 L0 写前留档保护范围与网络基线文件列表
// 从默认的 Linux 路径换成当前部署实际路径,避免硬编码失效。
type systemConfig struct {
ProtectedPaths []string `yaml:"protected_paths"` // L0 写前留档保护前缀(默认 /etc/)
NetworkPaths []string `yaml:"network_paths"` // 网络基线文件(默认 resolv.conf/hosts/environment)
}
// applySystemConfig 应用发行版路径适配,供 guard 与 failback worker 共用。
func applySystemConfig(cfg *guardConfig) {
if len(cfg.System.ProtectedPaths) > 0 {
system.SetProtectedPaths(cfg.System.ProtectedPaths)
}
if len(cfg.System.NetworkPaths) > 0 {
system.SetNetworkPaths(cfg.System.NetworkPaths)
}
}
func defaultGuardConfig(dataDir string) *guardConfig {
cfg := &guardConfig{
MaxRestarts: 3,
HeartbeatTimeout: "30s",
HeartbeatInterval: "5s",
LLMSnapshot: filepath.Join(dataDir, "llm_snapshot.json"),
FailbackEnabled: true,
LastResort: "restart_app",
RestartCommand: []string{"systemctl", "restart", "homeagent"},
RebootGrace: "10s",
Recovery: recoveryConfig{
MaxAttempts: 3,
AttemptTimeout: "120s",
},
LastResortCfg: lastResortConfig{SnapshotBefore: true},
}
// ★ 必须在这里就把 YAML 字符串解析成 time.Duration(2026-10-11 修)。
//
// 原先只在 loadGuardConfig 里 parseDur,而 parseDur 是在 yaml.Unmarshal
// **之后**执行的。问题出在「解析失败」那条早退路径:
//
// if err := yaml.Unmarshal(data, cfg); err != nil {
// log.Printf(...); return cfg ← 直接返回,没走下面的 parseDur
// }
//
// 于是 guard.yaml 一旦写坏(缩进错、半截内容),返回的 cfg 里
// heartbeatTimeout/heartbeatInterval/recovery.attemptTimeout 全是 **0**。
// 而 loadGuardConfig 开头正是 defaultGuardConfig(dataDir),
// 唯一给这些字段兜底的只有 defaultGuardConfig —— 可它也只给了字符串。
//
// 后果不是「配置没生效」而是 **agent 装上就崩**:
// heartbeatStale(path, 0) 里 `time.Since(mtime) > 0` 恒为真,
// 任何心跳都被判陈旧 → guard 每轮都杀 worker → 无限重启。
// attemptTimeout=0 则让恢复 probe 立即超时 → L1 梯子必判失败。
//
// 判据:cmd/homed/guard_config_test.go 的
// TestLoadGuardConfigSurvivesCorruptYAML(配置损坏后仍须正值)。
parseDur := func(s string, def time.Duration) time.Duration {
if s == "" {
return def
}
d, err := time.ParseDuration(s)
if err != nil || d <= 0 {
return def
}
return d
}
cfg.heartbeatTimeout = parseDur(cfg.HeartbeatTimeout, 30*time.Second)
cfg.heartbeatInterval = parseDur(cfg.HeartbeatInterval, 5*time.Second)
cfg.rebootGrace = parseDur(cfg.RebootGrace, 10*time.Second)
cfg.Recovery.attemptTimeout = parseDur(cfg.Recovery.AttemptTimeout, 120*time.Second)
if len(cfg.Recovery.Plugins) == 0 {
cfg.Recovery.Plugins = []string{"webui", "pluginmgr", "recoverydiag"}
}
return cfg
}
func loadGuardConfig(dataDir string) *guardConfig {
cfg := defaultGuardConfig(dataDir)
path := filepath.Join(dataDir, "guard.yaml")
data, err := os.ReadFile(path)
if err != nil {
return cfg
}
if err := yaml.Unmarshal(data, cfg); err != nil {
log.Printf("[guard] parse %s: %v, using defaults", path, err)
return cfg
}
if cfg.LLMSnapshot == "" {
cfg.LLMSnapshot = filepath.Join(dataDir, "llm_snapshot.json")
}
parseDur := func(s string, def time.Duration) time.Duration {
if s == "" {
return def
}
d, err := time.ParseDuration(s)
if err != nil {
return def
}
return d
}
cfg.heartbeatTimeout = parseDur(cfg.HeartbeatTimeout, 30*time.Second)
cfg.heartbeatInterval = parseDur(cfg.HeartbeatInterval, 5*time.Second)
cfg.rebootGrace = parseDur(cfg.RebootGrace, 10*time.Second)
cfg.Recovery.attemptTimeout = parseDur(cfg.Recovery.AttemptTimeout, 120*time.Second)
if cfg.MaxRestarts < 1 {
cfg.MaxRestarts = 1
}
if cfg.LastResort != "reboot" && cfg.LastResort != "restart_app" {
cfg.LastResort = "restart_app"
}
if len(cfg.RestartCommand) == 0 {
cfg.RestartCommand = []string{"systemctl", "restart", "homeagent"}
}
if cfg.Recovery.MaxAttempts < 1 {
cfg.Recovery.MaxAttempts = 1
}
// 缺省 failback 插件集
if len(cfg.Recovery.Plugins) == 0 {
cfg.Recovery.Plugins = []string{"webui", "pluginmgr", "recoverydiag"}
}
return cfg
}
// runGuard 父守护主循环:拉起 worker(--role=agent),心跳探活 + waitpid,
// 崩溃后按序 重试→LLM 配置基线恢复→failback 受限启动(N 轮有界,每轮复检)→L2 最后手段。
func runGuard(dataDir string) {
cfg := loadGuardConfig(dataDir)
applySystemConfig(cfg)
hbPath := filepath.Join(dataDir, "heartbeat")
os.MkdirAll(filepath.Join(dataDir, "log"), 0755)
exe, err := os.Executable()
if err != nil {
log.Fatalf("[guard] resolve executable: %v", err)
}
sigCh := make(chan os.Signal, 1)
signal.Notify(sigCh, syscall.SIGINT, syscall.SIGTERM)
log.Printf("[guard] starting, data=%s max_restarts=%d hb_timeout=%v last_resort=%s failback_rounds=%d",
dataDir, cfg.MaxRestarts, cfg.heartbeatTimeout, cfg.LastResort, cfg.Recovery.MaxAttempts)
// 探测自身所属的 systemd 单元(L2 自杀防护需要)。
// 拿不到就留空 —— 那种情况下跳过自指检测,而不是猜一个单元名。
ownUnit := detectOwnSystemdUnit()
if ownUnit != "" {
log.Printf("[guard] own systemd unit=%s", ownUnit)
} else {
log.Printf("[guard] own systemd unit unknown (L2 self-restart guard disabled)")
}
// 启动即捕获网络基线(L0:写前留档 + L1 还原依据),并给当前 worker 恢复代理环境
captureNetworkBaseline(dataDir)
failures := 0 // 连续 normal 崩溃次数
failbackRound := 0 // 已进行的 failback 轮次
failbackDone := false // 本轮 failback 是否已进入
for {
// 决定本次 boot 模式:normal 崩溃超限 → 进入 failback
boot := "normal"
if cfg.FailbackEnabled && !failbackDone && failures >= cfg.MaxRestarts {
log.Printf("[guard] %d failures >= max %d, entering failback (Safe-Mode)", failures, cfg.MaxRestarts)
// L1 前置:恢复 LLM 基线 + 还原 DNS/proxy + 写恢复任务
restoreLLMBaseline(dataDir, cfg.LLMSnapshot)
restoreNetworkBaseline(dataDir)
failbackRound = 1
failbackDone = true
if err := writeRecoveryTask(dataDir, cfg, failbackRound); err != nil {
log.Printf("[guard] write recovery task: %v", err)
}
boot = "failback"
} else if failbackDone {
boot = "failback"
}
// 恢复 agent 环境(代理变量)在 worker 拉起前注入
if b, err := system.LoadNetworkBaseline(dataDir); err == nil {
b.ApplyProxyEnv()
}
outcome, spawnErr := spawnWorkerOnce(exe, dataDir, boot, hbPath, cfg, sigCh)
if spawnErr != nil {
log.Printf("[guard] spawn worker: %v, last_resort=%s", spawnErr, cfg.LastResort)
doLastResortGuarded(cfg, ownUnit)
failures = 0
failbackDone = false
failbackRound = 0
time.Sleep(2 * time.Second)
continue
}
switch outcome {
case workerCleanExit:
log.Printf("[guard] worker exited cleanly, guard exiting")
return
case workerRestartRequested:
log.Printf("[guard] worker requested restart, respawning")
continue
case workerRecovered:
// failback 成功:重置失败轮次,交回主 agent(下一轮 normal boot)
log.Printf("[guard] failback recovery succeeded, handing back to main agent")
failures = 0
failbackDone = false
failbackRound = 0
continue
case workerCrash:
// fallthrough below
}
failures++
if failbackDone {
// failback 轮次内崩溃:读结果判定是否成功
if res, err := recovery.LoadResult(recovery.ResultPath(dataDir)); err == nil && res.Success {
log.Printf("[guard] failback round %d result success: %s", failbackRound, res.Quote())
failures = 0
failbackDone = false
failbackRound = 0
continue
}
if failbackRound >= cfg.Recovery.MaxAttempts {
log.Printf("[guard] failback exhausted after %d rounds, L2 last_resort=%s", failbackRound, cfg.LastResort)
if cfg.LastResortCfg.SnapshotBefore {
rollbackAgentFS(dataDir)
}
doLastResortGuarded(cfg, ownUnit)
failures = 0
failbackDone = false
failbackRound = 0
time.Sleep(2 * time.Second)
continue
}
// 进入下一轮 failback
failbackRound++
log.Printf("[guard] failback round %d failed, next round %d (max %d)", failbackRound-1, failbackRound, cfg.Recovery.MaxAttempts)
if err := writeRecoveryTask(dataDir, cfg, failbackRound); err != nil {
log.Printf("[guard] write recovery task: %v", err)
}
continue
}
if failures >= cfg.MaxRestarts {
log.Printf("[guard] %d normal failures, entering failback next loop", failures)
}
}
}
type workerOutcome int
const (
workerCleanExit workerOutcome = iota
workerCrash
workerRestartRequested
workerRecovered
)
// spawnWorkerOnce 拉起一个 worker 并监控到其退出。
// 返回 (outcome workerOutcome, spawnErr error);spawnErr 非 nil 表示未能拉起进程。
func spawnWorkerOnce(exe, dataDir, boot, hbPath string, cfg *guardConfig, sigCh chan os.Signal) (workerOutcome, error) {
cmd := exec.Command(exe, "--role=agent", "--data="+dataDir, "--boot="+boot)
cmd.Stdout = os.Stdout
cmd.Stderr = os.Stderr
cmd.Stdin = nil
if err := cmd.Start(); err != nil {
return workerCrash, err
}
pid := cmd.Process.Pid
log.Printf("[guard] worker up pid=%d boot=%s", pid, boot)
done := make(chan error, 1)
go func() { done <- cmd.Wait() }()
// ★ 启动宽限期:新 worker 要先做完全部重型初始化(graph/文本/向量/
// 多模态空间/知识库,实测冷启动约 5–8s)才开始写心跳(main.go:190)。
// 而 heartbeat 文件保存的是**上一代 worker** 的 mtime——停机 >heartbeatTimeout
// 后,新 worker 还没启动、文件就已"过期"。若无宽限,guard 的 heartbeatInterval
// ticker 先到、拿旧 mtime 判 stale → 把还在正常加载的 worker SIGKILL,
// 循环重启抖动(2026-10-12 部署实测触发:连续 6 次 failback Safe-Mode)。
// 宽限 = 给 worker 完整的启动时长再开始心跳判定。
startupGrace := cfg.heartbeatTimeout
startupDeadline := time.Now().Add(startupGrace)
hbTicker := time.NewTicker(cfg.heartbeatInterval)
defer hbTicker.Stop()
ipcClient := ipc.NewClient(dataDir)
for {
select {
case sig := <-sigCh:
log.Printf("[guard] signal %v, stopping worker", sig)
cmd.Process.Signal(syscall.SIGTERM)
select {
case <-done:
case <-time.After(10 * time.Second):
cmd.Process.Kill()
<-done
}
return workerCleanExit, nil
case err := <-done:
if err == nil {
log.Printf("[guard] worker pid=%d exited cleanly", pid)
return workerCleanExit, nil
}
var ee *exec.ExitError
if errors.As(err, &ee) {
switch ee.ExitCode() {
case exitRestartRequested:
log.Printf("[guard] worker pid=%d requested restart (exit %d), respawning without counting failure", pid, exitRestartRequested)
return workerRestartRequested, nil
case exitRecovered:
log.Printf("[guard] worker pid=%d recovered main agent (exit %d)", pid, exitRecovered)
return workerRecovered, nil
case exitRecoveryFailed:
log.Printf("[guard] worker pid=%d failback attempt failed (exit %d)", pid, exitRecoveryFailed)
return workerCrash, nil
}
}
log.Printf("[guard] worker pid=%d crashed: %v", pid, err)
return workerCrash, nil
case <-hbTicker.C:
// IPC PING/ACK 存活判定(带自诊断上报),失败回退文件心跳 mtime。
if st, perr := ipcClient.Ping(cfg.heartbeatTimeout); perr != nil {
// ★ 启动宽限:新 worker 先做完全部重型初始化(graph/文本/向量/
// 多模态空间/知识库,实测冷启动约 5–8s)才写心跳(main.go:190)。
// 而 heartbeat 文件 mtime 是**上一代 worker** 的——停机 >heartbeatTimeout
// 后,新 worker 还没启动、文件就已"过期"。无宽限时 guard 的 ticker
// 先到、拿旧 mtime 判 stale → 把还在加载的 worker SIGKILL,循环抖动
// (2026-10-12 部署实测触发:6 次 failback Safe-Mode)。
if shouldKillStaleHeartbeat(time.Now(), startupDeadline, hbPath, cfg.heartbeatTimeout) {
log.Printf("[guard] heartbeat stale for pid=%d (ipc: %v), treating as hang, SIGKILL", pid, perr)
cmd.Process.Kill()
<-done
return workerCrash, nil
}
} else if st != nil && st.LastDiag != "" {
log.Printf("[guard] worker pid=%d self-diagnosis: %s", pid, st.LastDiag)
}
}
}
}
// heartbeatStale 判心跳文件是否过期(纯函数,见 TestHeartbeatStale)。
func heartbeatStale(path string, timeout time.Duration) bool {
fi, err := os.Stat(path)
if err != nil {
// 无心跳文件:worker 刚启动或异常;宽限处理
return false
}
return time.Since(fi.ModTime()) > timeout
}
// shouldKillStaleHeartbeat 在启动宽限期满后,才对陈旧心跳做杀进程判定。
//
// 纯函数,把 spawnWorkerOnce 里的决策抽出来便于判据覆盖。
// 之所以不能只测 heartbeatStale:真正的回归是「拿上一代 worker 的
// 旧 mtime,在新 worker 还在加载时就判 stale」——只有与启动宽限
// 结合才暴露(见 TestStartupGraceAllowsInit)。
func shouldKillStaleHeartbeat(now, startupDeadline time.Time, hbPath string, timeout time.Duration) bool {
if now.Before(startupDeadline) {
return false // 启动宽限期:不判
}
return heartbeatStale(hbPath, timeout)
}
// restoreLLMBaseline 从文件基线恢复 core.llm.* 配置(存在才恢复)。
func restoreLLMBaseline(dataDir, snapPath string) {
if _, err := os.Stat(snapPath); err != nil {
log.Printf("[guard] no llm snapshot baseline at %s, skip restore", snapPath)
return
}
snap, err := internalConfig.LoadLLMSnapshot(snapPath)
if err != nil {
log.Printf("[guard] load llm snapshot %s: %v", snapPath, err)
return
}
cfgReg := internalConfig.NewConfigRegistry(filepath.Join(dataDir, "config.db"))
defer cfgReg.Close()
if err := cfgReg.RestoreCoreLLM(snap); err != nil {
log.Printf("[guard] restore llm baseline: %v", err)
return
}
log.Printf("[guard] restored %d llm keys from %s", len(snap), snapPath)
}
// captureNetworkBaseline L0:启动即捕获网络基线(DNS/hosts/代理),供 failback 还原。
func captureNetworkBaseline(dataDir string) {
base, err := system.CaptureNetwork()
if err != nil {
log.Printf("[guard] capture network baseline: %v", err)
return
}
if err := system.SaveNetworkBaseline(dataDir, base); err != nil {
log.Printf("[guard] save network baseline: %v", err)
return
}
log.Printf("[guard] network baseline captured: %s", base.Summary())
}
// restoreNetworkBaseline L1:把 resolv.conf/hosts 还原到基线(DNS/proxy 小修命中即停)。
func restoreNetworkBaseline(dataDir string) {
base, err := system.LoadNetworkBaseline(dataDir)
if err != nil {
log.Printf("[guard] no network baseline, skip DNS/proxy restore: %v", err)
return
}
changed, err := base.RestoreFiles()
if err != nil {
log.Printf("[guard] restore network baseline: %v", err)
return
}
if len(changed) > 0 {
log.Printf("[guard] restored network files: %v", changed)
} else {
log.Printf("[guard] network baseline already consistent")
}
}
// writeRecoveryTask 写本轮 failback 恢复任务文件。
func writeRecoveryTask(dataDir string, cfg *guardConfig, attempt int) error {
task := &recovery.Task{
Attempt: attempt,
MaxAttempts: cfg.Recovery.MaxAttempts,
AttemptTimeout: cfg.Recovery.AttemptTimeout,
TriggerPrompt: cfg.Recovery.TriggerPrompt,
KnowledgeBase: cfg.Recovery.KnowledgeBase,
PluginList: cfg.Recovery.Plugins,
}
for _, s := range cfg.LLM.Sources {
if s.Name == "rescue" || s.Name != "" {
task.RescueSource = s
break
}
}
return recovery.SaveTask(recovery.TaskPath(dataDir), task)
}
// rollbackAgentFS L2:guard 在 worker 离线时回滚 agentfs 最近快照(read changesets 逆应用)。
func rollbackAgentFS(dataDir string) {
workDir := filepath.Join(dataDir, "agentfs")
trk := tracker.NewOfflineTracker(dataDir, workDir)
n, err := trk.RollbackFromDisk()
if err != nil {
log.Printf("[guard] agentfs rollback: %v", err)
return
}
log.Printf("[guard] agentfs rolled back %d change sets", n)
}
func doLastResort(cfg *guardConfig) {
switch cfg.LastResort {
case "reboot":
log.Printf("[guard] last_resort=reboot, sync + reboot in %v", cfg.rebootGrace)
time.Sleep(cfg.rebootGrace)
syscall.Sync()
if err := syscall.Reboot(syscall.LINUX_REBOOT_CMD_RESTART); err != nil {
log.Printf("[guard] reboot failed (likely no privilege): %v", err)
}
case "restart_app":
cmd := exec.Command(cfg.RestartCommand[0], cfg.RestartCommand[1:]...)
cmd.Stdout = os.Stdout
cmd.Stderr = os.Stderr
if err := cmd.Run(); err != nil {
log.Printf("[guard] restart_app command %s: %v", strings.Join(cfg.RestartCommand, " "), err)
}
}
}
// ══════════════════════════════════════════════════════════════════════
//
// L2 自杀防护(2026-10-11)
//
// # 要防的是什么
//
// doLastResort(restart_app) 会执行 `systemctl restart <unit>`。而启用 guard 的
// 标准做法正是让 systemd 管理 `homed --role=guard` —— 也就是说 **<unit> 就是
// guard 自己所在的单元**。
//
// 于是 spawnWorker 失败时形成死循环:
//
// guard: doLastResort → systemctl restart homeagent
// → SIGTERM 杀掉自己 → systemd 按 Restart=always 拉起新 guard
// → 新 guard 再 spawn 失败 → 再自杀 ……
//
// 每轮都白跑一遍完整启动,且日志被刷爆。这与 2026-09-05 那次 systemd 审计
// 记录的事故同类(坏配置导致 836 次重启、79 分钟)。
//
// # 正确解法不是「换个单元名」
//
// 换成别的服务(重启 llmsproxy 之类)语义完全不对——L2 的本意是
// 「重启我自己」。而 systemd 的 Restart=already(always) 已经提供了这件事:
//
// guard 自行退出 == systemd 重新拉起 == 重启整个单元
//
// 所以自指时应当**直接退出**,效果与 restart_app 完全等价,且没有自杀窗口。
//
// # 为何还要保留 restart_command
//
// 两种部署形态都合法:
// - systemd 管 guard(推荐):自指 → 退出即可
// - 别的守护器管 guard(如 supervisor/前台 shell):此时 guard 不是
// systemd 单元的 MainPID,restart_command 可能指向一个**正确**的其它单元,
// 或者根本不该执行
// 故不删除,只在「确实是自指」时改走退出路径,并留下明确日志。
func doLastResortGuarded(cfg *guardConfig, unit string) {
if unit != "" && isSelfRestartCommand(cfg.RestartCommand, unit) {
log.Printf("[guard] last_resort=restart_app 但 restart_command 指向自身单元 %q:"+
"执行 systemctl restart 会杀掉自己并被 Restart=always 立即拉起,"+
"形成无限自杀重启。改为**直接退出** —— "+
"在 Restart=always 下这与 restart_app 等价且无自杀窗口。"+
"(若希望 guard 不被 systemd 管,请改用其它 last_resort 或外部守护器)",
unit)
// 交给 systemd 重新拉起(等价于 restart_app)。
// 退出码沿用 workerCleanExit 语义:正常路径下 guard 本就在 worker
// 干净退出时这样返回,systemd 看到非零退出也不会放弃(Restart=always)。
os.Exit(exitGuardRestartRequested)
}
doLastResort(cfg)
}
// isSelfRestartCommand 报告 restart_command 是否会重启 guard 自己所在的单元。
//
// 只认 `systemctl … restart <unit>` 与 `systemctl … restart <unit>.service`
// 两种形态;其它子命令(reload/restart-or-retry 等)不误判。
//
// unit 传空字符串时返回 false(检测不出来就别乱杀)。
func isSelfRestartCommand(cmd []string, unit string) bool {
if len(cmd) == 0 || unit == "" {
return false
}
base := strings.TrimSuffix(unit, ".service")
for i, arg := range cmd {
if arg != "restart" && arg != "restart-or-retry" {
continue
}
// restart 之后的下一个非 flag 参数就是目标单元
for _, target := range cmd[i+1:] {
if strings.HasPrefix(target, "-") {
continue
}
return strings.TrimSuffix(target, ".service") == base
}
}
return false
}
// detectOwnSystemdUnit 返回 guard 自己所属的 systemd 单元名(如 "homeagent.service")。
//
// 两个探测途径(都读 Linux 已有设施,不需额外依赖):
// 1. /proc/self/cgroup —— cgroup v2 下形如 /system.slice/homeagent.service
// 2. $INVOCATION_ID —— 反查 /run/systemd/invocation/<id> 的符号链接名
//
// 都拿不到时返回空字符串(调用方据此跳过自指检测,不猜)。
func detectOwnSystemdUnit() string {
// 途径 1:cgroup
if b, err := os.ReadFile("/proc/self/cgroup"); err == nil {
for _, line := range strings.Split(string(b), "\n") {
// "0::/system.slice/homeagent.service"
idx := strings.Index(line, "::")
if idx < 0 {
continue
}
path := line[idx+2:]
if j := strings.LastIndex(path, "/"); j >= 0 {
name := strings.TrimSpace(path[j+1:])
if strings.HasSuffix(name, ".service") {
return name
}
}
}
}
// 途径 2:INVOCATION_ID → /run/systemd/invocation/<id>
if id := os.Getenv("INVOCATION_ID"); id != "" {
if target, err := os.Readlink("/run/systemd/invocation/" + id); err == nil {
name := filepath.Base(target)
if strings.HasSuffix(name, ".service") {
return name
}
}
}
return ""
}
var _ = fmt.Sprintf