|
|
562ba6bd98
|
fix(guard): 启动宽限期 —— 停机重启后不再误杀加载中的 worker
## 故障（2026-10-12 部署实测，6 连杀 + 服务降级）
停机 34s 后重启：heartbeat 文件 mtime 停在**上一代 worker**（已远超
30s 阈值）。新 worker 要先做完全部重型初始化（chineseclip 512 +
两个静态词向量 + 知识重建，冷启动 5–8s）才写第一次心跳
（startHeartbeat 在 main.go:190，位于所有初始化之后）。
而 guard 的 5s ticker 先到、拿旧 mtime 判 stale → 把还在加载的
worker SIGKILL → 循环重启，guard 进入 failback Safe-Mode：
19:00:28 worker up pid=931403 boot=normal
19:00:33 heartbeat stale for pid=931403 ... SIGKILL ← 加载中
19:00:33 worker up pid=931557 boot=normal
19:00:38 heartbeat stale ... SIGKILL
...（6 连杀后）
19:00:43 3 failures >= max 3, entering failback (Safe-Mode)
worker 自身日志完全健康（graph/multimodal/knowledge 依次就绪），
纯死于"还没来得及写第一次心跳"。
## 根因
heartbeatStale 对「文件不存在」宽限，但对「文件存在、mtime 是
上一代的」不宽限——停机超过 heartbeatTimeout 的每一次重启都会踩。
旧内核未暴露只因它从未停机这么久（上一次是系统重启，mtime 新鲜）。
既有缺陷，block-union 重构未触碰该逻辑（main 分支同病）。
## 修法
spawn 后给一个 heartbeatTimeout 的**启动宽限期**：期间即使心跳
文件 mtime 极旧也不判杀。宽限期满后恢复原判定（卡死 worker 靠
宽限躲不过去）。决策抽成纯函数 shouldKillStaleHeartbeat。
## 判据（TestStartupGraceAllowsInit，变异测试通过）
(a) 宽限期内 + mtime 极旧（上一代遗留）→ 不许杀
（末沿 -50ms 也钉住：ticker 恰在 deadline 前触发是常态）
(b) 宽限期满 + mtime 极旧（真卡死）→ 必须杀
(c) 宽限期满 + mtime 新鲜（健康）→ 不许杀
变异（移除宽限判定、直接 heartbeatStale）→ (a) 两条断言当场 FAIL；
恢复后全绿。TestHeartbeatStale（三分支既有判据）不受影响。
cmd/homed 包全量测试通过；全仓生产编译 GREEN。
|
2026-10-12 19:16:57 +08:00 |
|
|
|
a7f89a1b45
|
fix(guard)!: L2 自杀防护 + 配置零值兜底 + 补齐零覆盖的测试
部署 guard 前的审查发现两个**致命**缺陷。它们此前都零测试覆盖 ——
正是「没测过才敢发现」。
## ① L2 自杀循环（启用 guard 就会触发）
doLastResort(restart_app) 执行 `systemctl restart <unit>`，而启用 guard 的
标准做法正是让 systemd 管理 `homed --role=guard` —— <unit> 就是它自己：
guard: doLastResort → systemctl restart homeagent
→ 杀掉自己 → systemd 按 Restart=always 拉起新 guard
→ 新 guard 再 spawn 失败 → 再自杀 …… 无限循环
每轮白跑一遍完整启动。与 2026-09-05 那次 systemd 审计记录的事故同类
（坏配置导致 836 次重启、79 分钟）。
### 修法：自指时直接退出，而不是换个单元名
「换个别的服务」语义完全不对 —— L2 的本意就是重启自己。而
`Restart=always` 已经提供了这件事：**guard 退出 == systemd 重新拉起 ==
重启整个单元**。所以自指时 os.Exit(41) 与 restart_app 完全等价，且无自杀窗口。
- `doLastResortGuarded(cfg, unit)`：判自指 → 退出 41；否则原逻辑
- `detectOwnSystemdUnit()`：读 /proc/self/cgroup（cgroup v2），兜底
$INVOCATION_ID → /run/systemd/invocation/<id>。**拿不到就返回空字符串**
让调用方跳过检测 —— 不猜单元名（猜错 = 拦错/杀错服务）
- `exitGuardRestartRequested = 41`：刻意避开 worker 的 42-44 区间
- 两处 doLastResort 调用点全部改走防护版
## ② 配置损坏 → agent 装上就崩
defaultGuardConfig **不解析时长字符串**（只给 "30s" 这类字面量），
parseDur 在 loadGuardConfig 里、且在 yaml.Unmarshal **失败时提前 return
之后**——那段根本不执行。
于是 guard.yaml 一旦写坏（缩进错、半截内容，手改文本极常见）：
| 字段 | 实际值 | 后果 |
|---|---|---|
| heartbeatTimeout | **0** | `time.Since(mtime) > 0` 恒真 → **每轮杀 worker** → 无限重启 |
| heartbeatInterval | 0 | `time.NewTicker(0)` panic |
| attemptTimeout | 0 | 恢复 probe 立即超时 → L1 梯子必败 |
| Recovery.Plugins | 空 | 受限启动什么都不加载 |
这不是「配置没生效」，是「装上就崩」。修法：把 parseDur 与插件集缺省
移进 defaultGuardConfig，任何路径都有正值兜底。
## ③ 测试：0 → 25 条（全可杀变异）
| 文件 | 覆盖 |
|---|---|
| `guard_config_test.go` | 配置默认值/YAML/损坏/越界 + 心跳三态 |
| `guard_lifecycle_test.go` | worker 生命周期：6 种退出码分类、信号转发、坏二进制、卡死压力测试、L2 防护行为、单元探测 |
| `guard_safety_test.go` | 破坏性路径：回滚不可逆、任务协议往返、failback 插件集 |
| `rollback_irreversible_test.go` | 不可逆性证据 + 二次回滚 no-op + 新建→删除 |
**7 个变异逐个实测被杀**：parseDur 移回原处 / 心跳漏判 / 心跳误判 /
插件集留空 / exitRecovered→crash / exitRecoveryFailed→recovered /
rollback 不删 changeset / L2 防护失效 / 单元探测返回假名。
### 判据自身被变异测试逼着改三次
1. `isSelfRestartCommand` 的测试全绿，但把 `doLastResortGuarded` 改成
直接调 `doLastResort`（防护完全不生效）时**仍然全绿** ⇒ 补了
**行为测试**：真子进程 + 假 systemctl（PATH 前置），验「自指时
restart_command 绝不被执行」
2. 单元探测只断言「非空+格式合法」，被 `return "wrong.service"` 骗过
⇒ 补了与**独立第二实现**（测试里重写一遍 cgroup 解析）的交叉核对
3. 信号转发测试用 `sleep 300` 会泄漏孤儿进程（sh fork 子进程，信号只到 sh）
⇒ 改 `exec sleep 300`，并加断言检测泄漏（60s → 0.52s）
### 踩到的两个坑（都记在判据注释里）
- **POSIX 环境变量不能含 NUL**：`\x00` 分隔符让 exec 直接报
"environment variable contains NUL"，改用 `\x1f`
- **测试函数里 os.Exit 会终止整个测试二进制** ⇒ 子进程入口必须用 TestMain
全仓 `go test ./... -count=1` → 48 包 ok / 0 FAIL。
|
2026-10-11 10:09:15 +08:00 |
|
