From 59f7001932075dc729883852949eaf3addc73258 Mon Sep 17 00:00:00 2001 From: JianFeeeee Date: Sun, 18 Oct 2026 13:20:54 +0800 Subject: [PATCH] =?UTF-8?q?fix(security):=20=E5=B7=A5=E5=85=B7=E8=BE=93?= =?UTF-8?q?=E5=87=BA=E4=B8=8E=E5=8F=82=E6=95=B0=E4=BC=9A=E5=8E=9F=E6=A0=B7?= =?UTF-8?q?=E5=86=99=E8=BF=9B=E6=97=A5=E5=BF=97=20=E2=80=94=E2=80=94=20?= =?UTF-8?q?=E8=90=BD=E7=9B=98=E5=89=8D=E8=84=B1=E6=95=8F?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit ## 缺陷 两处日志把工具内容原样打印，没有经过 security.Replace： task.go:1038 log.Printf("[agent] tool %s result: %s", ..., truncateStr(result, 100)) task.go:967 log.Printf("[agent] tool %s raw_arguments: %s", ..., truncateStr(tc.RawArguments, 300)) 实测场景：enc_shell 跑 curl 拿到 200，响应体里带着上游 key 的完整值 （`{"key":"sk-..."}`），这一行直接写进 /home/newqqagent/log/homed_*.log。 ## 为什么日志泄漏比上下文泄漏更严重 模型上下文 短期——一轮结束就不再发送 日志 长期——每天一个文件、从不自动清理，systemd journal 另存一份， 排查问题时还会被贴进 issue 一次落盘就是永久泄漏。凭据轮换前，任何拿到日志的人都能直接用。 ## 改动 · 新增 scrubForLog(text, where)：唯一入口，空安全（Global()==nil 时原样返回） · 两处日志调用点都改为先 scrubForLog 再落盘 · 拦截本身记一笔（只记模式与长度，不记原文），便于事后发现"哪个工具常吐凭据" ## 判据（4 条） · 明文被换成别名（真 Store，不用 mock） · 普通文本不被改动（不误伤） · Global() 为 nil 时不 panic（安全模块未启用是常态） · **接线**：两处调用点确实走了 scrubForLog（只测函数不测接线会漏掉原缺陷） 变异：scrubForLog 直接返回原文 → 咬；工具结果日志去掉 scrubForLog → 咬。 --- internal/agent/core/log_scrub.go | 60 +++++++++++++++++ internal/agent/core/log_scrub_test.go | 93 +++++++++++++++++++++++++++ internal/agent/core/task.go | 11 +++- internal/agent/core/toolcall.go | 38 +++++++++++ 4 files changed, 200 insertions(+), 2 deletions(-) create mode 100644 internal/agent/core/log_scrub.go create mode 100644 internal/agent/core/log_scrub_test.go diff --git a/internal/agent/core/log_scrub.go b/internal/agent/core/log_scrub.go new file mode 100644 index 00000000..e0cf5371 --- /dev/null +++ b/internal/agent/core/log_scrub.go @@ -0,0 +1,60 @@ +package core + +// 日志脱敏：写进日志的文本必须先清洗明文凭据。 +// +// ## 为什么这条比"拦住模型"更紧迫 +// +// 模型上下文是**短期**的：一轮对话结束就不再发送。 +// 而日志是**长期**的： +// +// /home/newqqagent/log/homed_*.log 每天一个文件，从不自动清理 +// systemd journal 另存一份 +// 用户/技术支持/issue 排查时会把日志贴出来 +// +// 一次泄漏进日志 = 永久泄漏。凭据被轮换前，任何拿到日志的人都能用。 +// +// ## 具体泄漏点（2026-10-18 审计） +// +// task.go:1031 log.Printf("[agent] tool %s result: %s", ..., truncateStr(result, 100)) +// ← 工具输出可能含服务端回显的凭据（enc_shell 跑 curl 拿 200） +// task.go:967 log.Printf("[agent] tool %s raw_arguments: %s", ..., truncateStr(tc.RawArguments, 300)) +// ← 模型给的原始参数。正常是别名，但插件工具可能被直接传明文 +// +// 两处都**原样打印**，没有经过 security.Replace。 +// +// ## 实现 +// +// scrubForLog 是唯一入口，所有"把工具内容写进日志"的地方都走它。 +// 空安全：security.Global() 未初始化时原样返回（不 panic、不阻塞）。 +// 幂等：已是别名（sec_xxx）的文本再扫一次不会被改动。 + +import ( + "log" + + "github.com/JianFeeeee/HomeAgent/internal/security" +) + +// scrubForLog 清洗要写进日志的文本。 +// +// where 用于日志里标注拦截位置（如 "tool_result:enc_shell"）， +// 便于事后审计"哪些工具的输出带凭据"。 +func scrubForLog(text, where string) string { + if text == "" { + return text + } + st := security.Global() + if st == nil { + return text + } + out, evts := st.Replace(text, "log:"+where, security.Patterns) + if len(evts) == 0 { + return text + } + // 拦截本身要记一笔（不打印原文，只打印模式与长度）—— + // 否则运维不知道"这个工具经常吐凭据"，也就不会去修插件。 + for _, e := range evts { + log.Printf("[security] 日志拦截 %s ← %s（%d 字节），原文未落盘", + where, e.Kind, e.Len) + } + return out +} diff --git a/internal/agent/core/log_scrub_test.go b/internal/agent/core/log_scrub_test.go new file mode 100644 index 00000000..ad7e7edd --- /dev/null +++ b/internal/agent/core/log_scrub_test.go @@ -0,0 +1,93 @@ +package core + +// 判据：写进日志的工具内容必须**先脱敏**。 +// +// ## 为什么日志泄漏比上下文泄漏更严重 +// +// 模型上下文 短期——一轮结束就不再发送 +// 日志 长期——每天一个文件、从不自动清理，systemd journal 另存一份， +// 排查问题/贴 issue 时还会再复制出去 +// +// 一次落盘就是永久泄漏。凭据轮换前，任何拿到日志的人都能直接用。 +// +// ## 具体缺陷（2026-10-18 审计） +// +// task.go:1031 log.Printf("[agent] tool %s result: %s", ..., truncateStr(result, 100)) +// task.go:967 log.Printf("[agent] tool %s raw_arguments: %s", ..., truncateStr(tc.RawArguments, 300)) +// +// 两处都原样打印。工具输出含服务端回显的凭据时（enc_shell 跑 curl 拿 200）， +// 明文直接写进日志文件。 +// +// ## 判据方式 +// +// 直接调 scrubForLog 验证行为（真 Store，不用 mock）， +// 再验证两处调用点确实走了它（接线）。 + +import ( + "os" + "strings" + "testing" +) + +// ★★★ 判据：scrubForLog 把明文换成别名。 +func TestScrubForLogReplacesPlaintext(t *testing.T) { + newScrubStore(t) + + const tok = "sk-" + "abcdefghijklmnopqrstuvwxyz0123" + in := `{"output":"HTTP 200 {` + `"key":"` + tok + `"}"}` + + out := scrubForLog(in, "tool_result:enc_shell") + if strings.Contains(out, tok) { + t.Fatalf("★ 日志文本里仍有明文 key：%s", out) + } + if !strings.Contains(out, "sec_") { + t.Fatalf("★ 没有替换成别名（而是被删掉了？）：%s", out) + } +} + +// ★★★ 判据：普通文本不被改动（不误伤）。 +func TestScrubForLogLeavesNormalTextAlone(t *testing.T) { + newScrubStore(t) + const normal = "工具 cmd_run 执行成功，输出 42 行，无异常" + if got := scrubForLog(normal, "tool_result:cmd_run"); got != normal { + t.Fatalf("★ 普通文本被改动了：%q → %q", normal, got) + } +} + +// ★★★ 判据：security.Global() 为 nil 时不 panic（安全模块未启用是常态）。 +func TestScrubForLogNilStoreIsSafe(t *testing.T) { + // 不初始化 store + got := scrubForLog("文本 sk-abcdefghijklmnopqrstuvwxyz0123", "x") + if got == "" { + t.Fatal("nil store 时不该返回空") + } +} + +// ★★★ 判据（接线）：两处日志调用点必须走 scrubForLog。 +// +// 只测函数不测接线 = 漏掉原始缺陷（函数写对了但没人调）。 +func TestLogCallSitesUseScrub(t *testing.T) { + b, err := os.ReadFile("task.go") + if err != nil { + t.Fatal(err) + } + src := string(b) + + for _, c := range []struct{ name, marker string }{ + {"工具结果日志", `log.Printf("[agent] tool %s result: %s"`}, + {"原始参数日志", `log.Printf("[agent] tool %s raw_arguments: %s"`}, + } { + i := strings.Index(src, c.marker) + if i < 0 { + t.Fatalf("找不到%s（被改名/删除了？）", c.name) + } + // 取该语句到结束（下一行 log/语句边界） + seg := src[i:] + if j := strings.Index(seg, "\n\n"); j > 0 { + seg = seg[:j] + } + if !strings.Contains(seg, "scrubForLog(") { + t.Fatalf("★ %s 没有走 scrubForLog —— 凭据会原样写进日志文件（永久泄漏）", c.name) + } + } +} diff --git a/internal/agent/core/task.go b/internal/agent/core/task.go index 61b54f51..028901d5 100644 --- a/internal/agent/core/task.go +++ b/internal/agent/core/task.go @@ -964,7 +964,11 @@ func (a *Agent) stepToolBegin(f *TaskFrame) stepOutcome { pluginName := a.resolveToolPlugin(tc.Name) log.Printf("[agent] executing tool: %s (plugin=%s, id=%s)", tc.Name, pluginName, tc.ID) if tc.RawArguments != "" { - log.Printf("[agent] tool %s raw_arguments: %s", tc.Name, truncateStr(tc.RawArguments, 300)) + // ★ 脱敏后再落盘：模型给的参数正常是别名（sec_xxx），但插件工具 + // 可能被直接传明文（例如模型自己拼了一个 key）。日志是永久的， + // 一旦落盘就再也收不回来。 + log.Printf("[agent] tool %s raw_arguments: %s", tc.Name, + scrubForLog(truncateStr(tc.RawArguments, 300), "raw_args:"+tc.Name)) } sdkTC := sdk.ToolCall{ID: tc.ID, Name: tc.Name, Plugin: pluginName, Arguments: tc.Arguments} @@ -1028,7 +1032,10 @@ func (a *Agent) stepToolExec(f *TaskFrame) stepOutcome { f.CurResult = result f.CurRaw = outcome.Raw f.ToolResults = append(f.ToolResults, ToolResultItem{Name: f.CurTool.Name, Output: result}) - log.Printf("[agent] tool %s result: %s", f.CurTool.Name, truncateStr(result, 100)) + // ★ 工具输出可能含服务端回显的凭据（实测场景：enc_shell 跑 curl 拿 200， + // 响应体里带着上游 key 的完整值）。这一行以前原样打印。 + log.Printf("[agent] tool %s result: %s", f.CurTool.Name, + scrubForLog(truncateStr(result, 100), "tool_result:"+f.CurTool.Name)) // Success 此前是**唯一**赋值点且硬编码 true ⇒ 该字段恒真、结构上不可能为 // false。工具失败是以 nil error + 错误**值**返回的，所以判据必须看返回值。 diff --git a/internal/agent/core/toolcall.go b/internal/agent/core/toolcall.go index 6c8fa8ae..a718db89 100644 --- a/internal/agent/core/toolcall.go +++ b/internal/agent/core/toolcall.go @@ -14,6 +14,7 @@ import ( "github.com/JianFeeeee/HomeAgent/internal/memory/document" "github.com/JianFeeeee/HomeAgent/internal/memory/text" sdk "github.com/JianFeeeee/HomeAgent/internal/sdk" + "github.com/JianFeeeee/HomeAgent/internal/security" ) // 工具执行超时的默认值与硬上限。 @@ -154,6 +155,43 @@ func (a *Agent) executeToolCallOutcome(tc agentAPI.ToolCall, channel string, tur "这是工具自身故障（不是你的参数问题），请勿原样重试；可换用其他工具或告知用户。") out = toolOutcome{Text: te.Error(), Raw: te} } + // ★★ 出向脱敏（2026-10-18 补）：工具返回值在交给模型**之前**必须清洗。 + // + // ## 原缺陷 + // + // 安全模块只做了**入向**回填（StageHost.ExecuteTool 里 FillMap， + // 把别名换成真凭据给插件用），**从不处理出向**。于是： + // + // 模型调 enc_shell 跑 curl → 服务端把 key 回显在响应体里 + // → 工具原样返回 → f.CurResult → f.Msgs（role=tool） + // → **明文 key 直接进了模型上下文** + // + // 实测证据（2026-10-18 08:48，/home/newqqagent/log）： + // `[security] 工具 enc_shell 参数回填 1 处（别名 [sec_...]）` ← 入向有 + // 紧随其后 `tool enc_shell result: {...}` ← 出向无 + // + // ## 为什么 scrubbing 已有却不管用 + // + // `scrubEventSecrets` 只在 `RelevanceContext.Append`（写上下文/记忆） + // 时运行 —— 那是**工具结果已经发出去之后**。同一轮里模型看到的是 + // 未清洗的 f.Msgs。记忆侧干净、当轮泄漏，是最坏的组合：事后查不到。 + // + // ## 为什么放在这个 defer 里 + // + // executeToolCallOutcome 有多个 return 出口（插件工具、io 工具、 + // 设备授权拒绝、不存在、panic），逐个加必然漏。defer 是唯一 + // 能覆盖全部分支的位置，且 panic 路径也一起覆盖。 + if out.Text != "" { + if st := security.Global(); st != nil { + if clean, evts := st.Replace(out.Text, "tool_out:"+tc.Name, security.Patterns); len(evts) > 0 { + out.Text = clean + for _, e := range evts { + log.Printf("[security] 工具输出 %s 拦截 %s（模式 %s，%d 字节）", + tc.Name, e.Alias, e.Kind, e.Len) + } + } + } + } }() done := make(chan toolOutcome, 1)