mirror of
https://gitcode.com/JianFeeeee/HomeAgent.git
synced 2026-11-01 06:47:29 +00:00
fix(security): 工具输出与参数会原样写进日志 —— 落盘前脱敏
## 缺陷
两处日志把工具内容原样打印，没有经过 security.Replace：
task.go:1038 log.Printf("[agent] tool %s result: %s", ..., truncateStr(result, 100))
task.go:967 log.Printf("[agent] tool %s raw_arguments: %s", ..., truncateStr(tc.RawArguments, 300))
实测场景：enc_shell 跑 curl 拿到 200，响应体里带着上游 key 的完整值
（`{"key":"sk-..."}`），这一行直接写进 /home/newqqagent/log/homed_*.log。
## 为什么日志泄漏比上下文泄漏更严重
模型上下文 短期——一轮结束就不再发送
日志 长期——每天一个文件、从不自动清理，systemd journal 另存一份，
排查问题时还会被贴进 issue
一次落盘就是永久泄漏。凭据轮换前，任何拿到日志的人都能直接用。
## 改动
· 新增 scrubForLog(text, where)：唯一入口，空安全（Global()==nil 时原样返回）
· 两处日志调用点都改为先 scrubForLog 再落盘
· 拦截本身记一笔（只记模式与长度，不记原文），便于事后发现"哪个工具常吐凭据"
## 判据（4 条）
· 明文被换成别名（真 Store，不用 mock）
· 普通文本不被改动（不误伤）
· Global() 为 nil 时不 panic（安全模块未启用是常态）
· **接线**：两处调用点确实走了 scrubForLog（只测函数不测接线会漏掉原缺陷）
变异：scrubForLog 直接返回原文 → 咬；工具结果日志去掉 scrubForLog → 咬。
This commit is contained in:
JianFeeeee
60
internal/agent/core/log_scrub.go
Normal file
60
internal/agent/core/log_scrub.go
Normal file
@ -0,0 +1,60 @@
|
||||
package core
|
||||
|
||||
// 日志脱敏：写进日志的文本必须先清洗明文凭据。
|
||||
//
|
||||
// ## 为什么这条比"拦住模型"更紧迫
|
||||
//
|
||||
// 模型上下文是**短期**的：一轮对话结束就不再发送。
|
||||
// 而日志是**长期**的：
|
||||
//
|
||||
// /home/newqqagent/log/homed_*.log 每天一个文件，从不自动清理
|
||||
// systemd journal 另存一份
|
||||
// 用户/技术支持/issue 排查时会把日志贴出来
|
||||
//
|
||||
// 一次泄漏进日志 = 永久泄漏。凭据被轮换前，任何拿到日志的人都能用。
|
||||
//
|
||||
// ## 具体泄漏点（2026-10-18 审计）
|
||||
//
|
||||
// task.go:1031 log.Printf("[agent] tool %s result: %s", ..., truncateStr(result, 100))
|
||||
// ← 工具输出可能含服务端回显的凭据（enc_shell 跑 curl 拿 200）
|
||||
// task.go:967 log.Printf("[agent] tool %s raw_arguments: %s", ..., truncateStr(tc.RawArguments, 300))
|
||||
// ← 模型给的原始参数。正常是别名，但插件工具可能被直接传明文
|
||||
//
|
||||
// 两处都**原样打印**，没有经过 security.Replace。
|
||||
//
|
||||
// ## 实现
|
||||
//
|
||||
// scrubForLog 是唯一入口，所有"把工具内容写进日志"的地方都走它。
|
||||
// 空安全：security.Global() 未初始化时原样返回（不 panic、不阻塞）。
|
||||
// 幂等：已是别名（sec_xxx）的文本再扫一次不会被改动。
|
||||
|
||||
import (
|
||||
"log"
|
||||
|
||||
"github.com/JianFeeeee/HomeAgent/internal/security"
|
||||
)
|
||||
|
||||
// scrubForLog 清洗要写进日志的文本。
|
||||
//
|
||||
// where 用于日志里标注拦截位置（如 "tool_result:enc_shell"），
|
||||
// 便于事后审计"哪些工具的输出带凭据"。
|
||||
func scrubForLog(text, where string) string {
|
||||
if text == "" {
|
||||
return text
|
||||
}
|
||||
st := security.Global()
|
||||
if st == nil {
|
||||
return text
|
||||
}
|
||||
out, evts := st.Replace(text, "log:"+where, security.Patterns)
|
||||
if len(evts) == 0 {
|
||||
return text
|
||||
}
|
||||
// 拦截本身要记一笔（不打印原文，只打印模式与长度）——
|
||||
// 否则运维不知道"这个工具经常吐凭据"，也就不会去修插件。
|
||||
for _, e := range evts {
|
||||
log.Printf("[security] 日志拦截 %s ← %s（%d 字节），原文未落盘",
|
||||
where, e.Kind, e.Len)
|
||||
}
|
||||
return out
|
||||
}
|
||||
93
internal/agent/core/log_scrub_test.go
Normal file
93
internal/agent/core/log_scrub_test.go
Normal file
@ -0,0 +1,93 @@
|
||||
package core
|
||||
|
||||
// 判据：写进日志的工具内容必须**先脱敏**。
|
||||
//
|
||||
// ## 为什么日志泄漏比上下文泄漏更严重
|
||||
//
|
||||
// 模型上下文 短期——一轮结束就不再发送
|
||||
// 日志 长期——每天一个文件、从不自动清理，systemd journal 另存一份，
|
||||
// 排查问题/贴 issue 时还会再复制出去
|
||||
//
|
||||
// 一次落盘就是永久泄漏。凭据轮换前，任何拿到日志的人都能直接用。
|
||||
//
|
||||
// ## 具体缺陷（2026-10-18 审计）
|
||||
//
|
||||
// task.go:1031 log.Printf("[agent] tool %s result: %s", ..., truncateStr(result, 100))
|
||||
// task.go:967 log.Printf("[agent] tool %s raw_arguments: %s", ..., truncateStr(tc.RawArguments, 300))
|
||||
//
|
||||
// 两处都原样打印。工具输出含服务端回显的凭据时（enc_shell 跑 curl 拿 200），
|
||||
// 明文直接写进日志文件。
|
||||
//
|
||||
// ## 判据方式
|
||||
//
|
||||
// 直接调 scrubForLog 验证行为（真 Store，不用 mock），
|
||||
// 再验证两处调用点确实走了它（接线）。
|
||||
|
||||
import (
|
||||
"os"
|
||||
"strings"
|
||||
"testing"
|
||||
)
|
||||
|
||||
// ★★★ 判据：scrubForLog 把明文换成别名。
|
||||
func TestScrubForLogReplacesPlaintext(t *testing.T) {
|
||||
newScrubStore(t)
|
||||
|
||||
const tok = "sk-" + "abcdefghijklmnopqrstuvwxyz0123"
|
||||
in := `{"output":"HTTP 200 {` + `"key":"` + tok + `"}"}`
|
||||
|
||||
out := scrubForLog(in, "tool_result:enc_shell")
|
||||
if strings.Contains(out, tok) {
|
||||
t.Fatalf("★ 日志文本里仍有明文 key：%s", out)
|
||||
}
|
||||
if !strings.Contains(out, "sec_") {
|
||||
t.Fatalf("★ 没有替换成别名（而是被删掉了？）：%s", out)
|
||||
}
|
||||
}
|
||||
|
||||
// ★★★ 判据：普通文本不被改动（不误伤）。
|
||||
func TestScrubForLogLeavesNormalTextAlone(t *testing.T) {
|
||||
newScrubStore(t)
|
||||
const normal = "工具 cmd_run 执行成功，输出 42 行，无异常"
|
||||
if got := scrubForLog(normal, "tool_result:cmd_run"); got != normal {
|
||||
t.Fatalf("★ 普通文本被改动了：%q → %q", normal, got)
|
||||
}
|
||||
}
|
||||
|
||||
// ★★★ 判据：security.Global() 为 nil 时不 panic（安全模块未启用是常态）。
|
||||
func TestScrubForLogNilStoreIsSafe(t *testing.T) {
|
||||
// 不初始化 store
|
||||
got := scrubForLog("文本 sk-abcdefghijklmnopqrstuvwxyz0123", "x")
|
||||
if got == "" {
|
||||
t.Fatal("nil store 时不该返回空")
|
||||
}
|
||||
}
|
||||
|
||||
// ★★★ 判据（接线）：两处日志调用点必须走 scrubForLog。
|
||||
//
|
||||
// 只测函数不测接线 = 漏掉原始缺陷（函数写对了但没人调）。
|
||||
func TestLogCallSitesUseScrub(t *testing.T) {
|
||||
b, err := os.ReadFile("task.go")
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
src := string(b)
|
||||
|
||||
for _, c := range []struct{ name, marker string }{
|
||||
{"工具结果日志", `log.Printf("[agent] tool %s result: %s"`},
|
||||
{"原始参数日志", `log.Printf("[agent] tool %s raw_arguments: %s"`},
|
||||
} {
|
||||
i := strings.Index(src, c.marker)
|
||||
if i < 0 {
|
||||
t.Fatalf("找不到%s（被改名/删除了？）", c.name)
|
||||
}
|
||||
// 取该语句到结束（下一行 log/语句边界）
|
||||
seg := src[i:]
|
||||
if j := strings.Index(seg, "\n\n"); j > 0 {
|
||||
seg = seg[:j]
|
||||
}
|
||||
if !strings.Contains(seg, "scrubForLog(") {
|
||||
t.Fatalf("★ %s 没有走 scrubForLog —— 凭据会原样写进日志文件（永久泄漏）", c.name)
|
||||
}
|
||||
}
|
||||
}
|
||||
@ -964,7 +964,11 @@ func (a *Agent) stepToolBegin(f *TaskFrame) stepOutcome {
|
||||
pluginName := a.resolveToolPlugin(tc.Name)
|
||||
log.Printf("[agent] executing tool: %s (plugin=%s, id=%s)", tc.Name, pluginName, tc.ID)
|
||||
if tc.RawArguments != "" {
|
||||
log.Printf("[agent] tool %s raw_arguments: %s", tc.Name, truncateStr(tc.RawArguments, 300))
|
||||
// ★ 脱敏后再落盘：模型给的参数正常是别名（sec_xxx），但插件工具
|
||||
// 可能被直接传明文（例如模型自己拼了一个 key）。日志是永久的，
|
||||
// 一旦落盘就再也收不回来。
|
||||
log.Printf("[agent] tool %s raw_arguments: %s", tc.Name,
|
||||
scrubForLog(truncateStr(tc.RawArguments, 300), "raw_args:"+tc.Name))
|
||||
}
|
||||
|
||||
sdkTC := sdk.ToolCall{ID: tc.ID, Name: tc.Name, Plugin: pluginName, Arguments: tc.Arguments}
|
||||
@ -1028,7 +1032,10 @@ func (a *Agent) stepToolExec(f *TaskFrame) stepOutcome {
|
||||
f.CurResult = result
|
||||
f.CurRaw = outcome.Raw
|
||||
f.ToolResults = append(f.ToolResults, ToolResultItem{Name: f.CurTool.Name, Output: result})
|
||||
log.Printf("[agent] tool %s result: %s", f.CurTool.Name, truncateStr(result, 100))
|
||||
// ★ 工具输出可能含服务端回显的凭据（实测场景：enc_shell 跑 curl 拿 200，
|
||||
// 响应体里带着上游 key 的完整值）。这一行以前原样打印。
|
||||
log.Printf("[agent] tool %s result: %s", f.CurTool.Name,
|
||||
scrubForLog(truncateStr(result, 100), "tool_result:"+f.CurTool.Name))
|
||||
|
||||
// Success 此前是**唯一**赋值点且硬编码 true ⇒ 该字段恒真、结构上不可能为
|
||||
// false。工具失败是以 nil error + 错误**值**返回的，所以判据必须看返回值。
|
||||
|
||||
@ -14,6 +14,7 @@ import (
|
||||
"github.com/JianFeeeee/HomeAgent/internal/memory/document"
|
||||
"github.com/JianFeeeee/HomeAgent/internal/memory/text"
|
||||
sdk "github.com/JianFeeeee/HomeAgent/internal/sdk"
|
||||
"github.com/JianFeeeee/HomeAgent/internal/security"
|
||||
)
|
||||
|
||||
// 工具执行超时的默认值与硬上限。
|
||||
@ -154,6 +155,43 @@ func (a *Agent) executeToolCallOutcome(tc agentAPI.ToolCall, channel string, tur
|
||||
"这是工具自身故障（不是你的参数问题），请勿原样重试；可换用其他工具或告知用户。")
|
||||
out = toolOutcome{Text: te.Error(), Raw: te}
|
||||
}
|
||||
// ★★ 出向脱敏（2026-10-18 补）：工具返回值在交给模型**之前**必须清洗。
|
||||
//
|
||||
// ## 原缺陷
|
||||
//
|
||||
// 安全模块只做了**入向**回填（StageHost.ExecuteTool 里 FillMap，
|
||||
// 把别名换成真凭据给插件用），**从不处理出向**。于是：
|
||||
//
|
||||
// 模型调 enc_shell 跑 curl → 服务端把 key 回显在响应体里
|
||||
// → 工具原样返回 → f.CurResult → f.Msgs（role=tool）
|
||||
// → **明文 key 直接进了模型上下文**
|
||||
//
|
||||
// 实测证据（2026-10-18 08:48，/home/newqqagent/log）：
|
||||
// `[security] 工具 enc_shell 参数回填 1 处（别名 [sec_...]）` ← 入向有
|
||||
// 紧随其后 `tool enc_shell result: {...}` ← 出向无
|
||||
//
|
||||
// ## 为什么 scrubbing 已有却不管用
|
||||
//
|
||||
// `scrubEventSecrets` 只在 `RelevanceContext.Append`（写上下文/记忆）
|
||||
// 时运行 —— 那是**工具结果已经发出去之后**。同一轮里模型看到的是
|
||||
// 未清洗的 f.Msgs。记忆侧干净、当轮泄漏，是最坏的组合：事后查不到。
|
||||
//
|
||||
// ## 为什么放在这个 defer 里
|
||||
//
|
||||
// executeToolCallOutcome 有多个 return 出口（插件工具、io 工具、
|
||||
// 设备授权拒绝、不存在、panic），逐个加必然漏。defer 是唯一
|
||||
// 能覆盖全部分支的位置，且 panic 路径也一起覆盖。
|
||||
if out.Text != "" {
|
||||
if st := security.Global(); st != nil {
|
||||
if clean, evts := st.Replace(out.Text, "tool_out:"+tc.Name, security.Patterns); len(evts) > 0 {
|
||||
out.Text = clean
|
||||
for _, e := range evts {
|
||||
log.Printf("[security] 工具输出 %s 拦截 %s（模式 %s，%d 字节）",
|
||||
tc.Name, e.Alias, e.Kind, e.Len)
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
}()
|
||||
|
||||
done := make(chan toolOutcome, 1)
|
||||
|
||||
Reference in New Issue
Block a user