mirror of
https://gitcode.com/JianFeeeee/HomeAgent.git
synced 2026-10-03 15:53:56 +00:00
feat(core): 注入行为的记忆/裁剪标志位落地 + jieba 词库内嵌 + Windows 改走 WSL
配套 SDK 提交：homeagent-sdk ba49dfd（公开 API 纯追加，无签名变更）。
本仓第三方的库镜像同步至该版本，以保证全新 clone 能编译。
## 1. 注入标志位（内核侧）
- 7 条注入路径（排队/中断/同步 × 纯文本/带媒体 + 旧 NoMem 变体）解析并转发
no_memory / context_policy / cleaner_name；策略在入口**校验**，
非法值报错而不是静默降级成 none（降级会让调用方以为自己声明的裁剪在生效）。
- 新增 validateContextPolicy（与 tool.register 同一套规则）与 pubSdkInjectOpts。
- input.register 不再手写字段白名单重建 ChannelDef，改为整体传递 + 补 ContextPolicy。
- io 层：applyInjectOpts 把标志位写进事件 payload，仅非零时写
（零值与旧 payload 逐字节一致，事件订阅方与旧内核都不受影响）。
- ioAdapter / procCore / internal-sdk 别名补齐六个 *Opts 实现。
## 2. 修掉「输入无条件裁剪」这个真缺陷
eventloop 此前对**每条非中断输入**都调 `context.Prune(...)`：破坏性（低相关事件被
归档移出上下文）且无法从调用点看出是谁触发的。改为 pruneOnInput/pruneDeclared：
优先级：注入点声明（payload.context_policy）> 通道声明（ChannelDef.ContextPolicy）
> 默认**不裁剪**
查询向量仍取清洗后的内容；新增 cleanInputFor 解析清洗文本，优先级为
注入点声明的 cleaner（cleaner_name）> 按 source 查到的通道 cleaner > 原文，
名字查不到时**记日志再回退**（注入是 fire-and-forget，插件看不到错误，
至少要在内核日志留下「你声明的清洗没生效」的痕迹）。
## 3. jieba 词库内嵌（修「猜 GOMODCACHE → 静默失效」）
原 jiebaDictDir() 去猜 GOMODCACHE/GOPATH/~/go/pkg/mod，部署机上通常没有 Go 模块
缓存 → GetJieba() 返回 nil → 分词/关键词提取/NLP 依存解析（进而 doc→graph 三元组
抽取）/静态词向量 tokenizer **一律静默返回空列表**，只有一行日志。本机看起来正常
只因开发机与生产机重合、恰好有那份缓存。
现在词库随二进制分发：internal/memory/jiebadict/ 5 文件约 11.6MB + go:embed，
按**内容哈希**命名缓存目录落盘（词库升级不复用旧文件），已齐全则跳过写入。
模块缓存降为兜底。homed 体积 32MB。
顺带确认（并有测试佐证）：gojieba 的 Tag() 不需要 pos_dict/ 目录——
cppjieba 的 PosTagger 从主词典每行的词性列取 tag。
## 4. homed 放弃 Windows 原生，改走 WSL2
插件体系依赖「继承的 fd」+「统一共享内存区的段内偏移解引用」，Windows 既无 fd
继承语义，其句柄模型也无法表达后者；强行适配等于再维护一套平台专属 ABI
（C ABI 时代三套 ABI 并存曾导致改写型插件在某平台静默失效）。
- cmd/homed/platform_{windows,other}.go：原生 Windows 启动即拒绝并打印 WSL2 指引。
- internal/plugin/proc/shmalloc_windows.go：allocShm 直接返回「请用 WSL2」，
**不返回半可用的段**（与 shmalloc_other.go 同风格：未支持平台显式报错）；
procEnvForShm 返回 nil。顺手修掉两处长期编译错误
（cryptorand→rand、h.evData→h.unified.evtData），使 GOOS=windows 至少能编译。
注：homed 本就编不出 Windows——internal/memory 依赖 cgo-only 的 gojieba。
- deploy/packaging/installer.nsi：不再安装 homed.exe/initconfig.exe，改为携带
**linux payload** 并调用新的 install-via-wsl.ps1；退出码 20/21 表示
「需先装 WSL/发行版」，走指引而非报错。
- deploy/packaging/windows/install-via-wsl.ps1（新）：检测 WSL → 引导安装 →
确保 WSL2 → 送包进发行版 → 在 WSL 内按 Linux 方式安装。**复用 Linux 包与
linux/setup.sh**，不另写一套安装逻辑；落点与 deb 布局统一
（/usr/bin/homed + /usr/lib/homeagent/setup.sh）。
- deploy/packaging/linux/setup.sh：API Key 允许 HOMEAGENT_API_KEY 覆盖
（否则安装器界面显示一份、config.db 里另一份 → 登录不上）。
- deploy/packaging/build.sh：windows 目标只构建 waiter + gui，并新增
stage_linux_payload 把 Linux 包暂存给安装器；homed/initconfig 在 windows
目标下明确拒绝。
## 5. 插件调用点统一写明意图
- webui 的 OpenAI 兼容端点（固定提示词模板）→ InjectTextSyncNoMemory。
- agentcli 的 5 处纯状态通知（已启动/超时/执行结束/进程退出/读取结束）→ NoMemory；
**带输出**的 2 处（定时反馈、有新输出）刻意保留记忆并注明理由。
- timer 的定时提醒 → NoMemory（中断本来也隐含 NoMemory，这里是写明意图）。
## 6. 版本
meta.Version 仍为 1.2.0（main 是下一个未发布中版本）；
SDKCompatibleVersion 1.1.0 → **1.2.0**（本内核已实现 SDK 1.2.0 全部新增方法）。
## 测试
- core：默认不裁剪（无声明/none/空）、通道 opt-in、注入点双向覆盖通道、
nil context/io 安全、cleaner 优先级与未知名回退。
- io：零值 opts 与历史 payload 逐键相同；text/中断/媒体三类注入标志位都落到
payload；旧方法仍生效。
- proc：validateContextPolicy 只接受 ""/none/prune，报错含位置与实际值；
**跨进程** e2e——testdata 插件经 io.injectText 送出三个标志位，断言它们穿过 RPC
到达内核。
- memory：模块缓存不可见时内嵌词库仍可用（分词与 POS 内容词均非空）、
落盘幂等、内容哈希稳定。
验证：go build ./... / go vet ./... / go vet -tags onnxruntime ./...
go test -short ./internal/memory/... ./internal/nlp/... ./internal/plugin/...
./internal/agent/{core,io}/... ./pkg/...
This commit is contained in:
JianFeeeee
@ -400,7 +400,7 @@ func (a *Agent) processInput(evt *agentIO.InputEvent) {
|
||||
}
|
||||
a.publishEvent(events.EventRawInput, rawPayload)
|
||||
|
||||
archived := a.context.Prune(cleanInput, a.maxContextSize-1, a.docStore)
|
||||
archived := a.pruneOnInput(evt, cleanInput)
|
||||
if archived > 0 {
|
||||
log.Printf("[agent] pruned %d low-relevance events to document memory", archived)
|
||||
}
|
||||
@ -522,3 +522,66 @@ func (a *Agent) drainInterrupts() []string {
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// pruneOnInput 按声明的上下文策略裁剪上下文，返回归档的事件数。
|
||||
//
|
||||
// 默认**不裁剪**：ContextPolicy 必须在注入点（payload 的 context_policy）
|
||||
// 或通道定义（ChannelDef.ContextPolicy）上显式声明为 prune 才会裁剪。
|
||||
//
|
||||
// 为什么把无条件裁剪改成需声明：裁剪会把低相关事件归档到文档记忆并从上下文里
|
||||
// 移走，是破坏性的。此前每条输入都裁一次，于是「谁把上下文裁了」在排查时无从
|
||||
// 得知；而插件注入的内容也会被不相关的内容挤掉。按来源/注入点声明后，触发条件
|
||||
// 是可枚举、可审计的。
|
||||
//
|
||||
// 查询向量取**清洗后**的输入（通道 Cleaner 的输出），与工具侧同一套语义：
|
||||
// 原始输入里的 ANSI/base64/JSON 包装会把相关性打分带偏，裁掉本该保留的事件。
|
||||
func (a *Agent) pruneOnInput(evt *agentIO.InputEvent, cleanInput string) int {
|
||||
if a.context == nil || !a.pruneDeclared(evt) {
|
||||
return 0
|
||||
}
|
||||
topK := a.maxContextSize - 1
|
||||
if topK < 1 {
|
||||
topK = 1
|
||||
}
|
||||
return a.context.Prune(cleanInput, topK, a.docStore)
|
||||
}
|
||||
|
||||
// pruneDeclared 判定这次输入是否显式声明了裁剪。
|
||||
//
|
||||
// 优先级：注入点声明的（payload）> 通道声明的（ChannelDef）> 默认不裁剪。
|
||||
// 注入点是更窄的声明面，同一通道下的不同注入可以有不同意图。
|
||||
func (a *Agent) pruneDeclared(evt *agentIO.InputEvent) bool {
|
||||
if p, ok := evt.Payload["context_policy"].(string); ok && p != "" {
|
||||
return p == pubsdk.ContextPolicyPrune
|
||||
}
|
||||
if a.io != nil {
|
||||
if chDef, ok := a.io.GetInputChannelDef(evt.Source); ok {
|
||||
return chDef.ContextPolicy == pubsdk.ContextPolicyPrune
|
||||
}
|
||||
}
|
||||
return false
|
||||
}
|
||||
|
||||
// cleanInputFor 解析这条输入在计算层应当使用的清洗文本。
|
||||
//
|
||||
// 优先级：注入点声明的 cleaner（payload.cleaner_name，引用某个已注册的通道
|
||||
// cleaner）> 按 source 查到的通道 cleaner > 原文。
|
||||
//
|
||||
// 声明的 cleaner 名字查不到时**记日志并回退**，而不是静默当没声明：
|
||||
// 注入是 fire-and-forget 的，插件那边看不到错误；至少要在内核日志里留下
|
||||
// 「你声明的清洗没生效」的痕迹，否则排查时只能看到「记忆里的内容很脏」。
|
||||
func (a *Agent) cleanInputFor(evt *agentIO.InputEvent, input string) string {
|
||||
if a.io == nil {
|
||||
return input
|
||||
}
|
||||
if name, ok := evt.Payload["cleaner_name"].(string); ok && name != "" {
|
||||
if chDef, ok := a.io.GetInputChannelDef(name); ok && chDef.Cleaner != nil {
|
||||
return chDef.Cleaner(input)
|
||||
}
|
||||
log.Printf("[agent] 注入声明了 cleaner_name=%q 但没有注册过该通道的 Cleaner，已回退", name)
|
||||
}
|
||||
if chDef, ok := a.io.GetInputChannelDef(evt.Source); ok && chDef.Cleaner != nil {
|
||||
return chDef.Cleaner(input)
|
||||
}
|
||||
return input
|
||||
}
|
||||
|
||||
119
internal/agent/core/prunepolicy_test.go
Normal file
119
internal/agent/core/prunepolicy_test.go
Normal file
@ -0,0 +1,119 @@
|
||||
package core
|
||||
|
||||
import (
|
||||
"testing"
|
||||
|
||||
agentIO "gitcode.com/JianFeeeee/HomeAgent/internal/agent/io"
|
||||
pubsdk "gitcode.com/JianFeeeee/homeagent-sdk/sdk"
|
||||
)
|
||||
|
||||
// 这一组测试锁死「默认不裁剪」这条语义。
|
||||
//
|
||||
// 改动前：每条非中断输入都无条件 Prune 一次，没有任何声明能关掉它。
|
||||
// 这是破坏性行为（低相关事件被归档并从上下文移走），却无法从调用点看出
|
||||
// 「谁触发的裁剪」。改成需声明后，必须逐条验证默认值确实是不裁剪。
|
||||
func TestPruneDeclared_DefaultsToNoPrune(t *testing.T) {
|
||||
m := agentIO.NewIOManager()
|
||||
a := &Agent{io: m}
|
||||
|
||||
evt := &agentIO.InputEvent{Source: "unknown_source", Payload: map[string]interface{}{}}
|
||||
if a.pruneDeclared(evt) {
|
||||
t.Fatal("既没有通道声明也没有注入声明的输入，默认必须不裁剪")
|
||||
}
|
||||
|
||||
// 通道注册了、但策略是 none / 空：仍然不裁剪。
|
||||
m.RegisterInputChannel("quiet", pubsdk.ChannelDef{ContextPolicy: pubsdk.ContextPolicyNone})
|
||||
if a.pruneDeclared(&agentIO.InputEvent{Source: "quiet", Payload: map[string]interface{}{}}) {
|
||||
t.Fatal("ChannelDef.ContextPolicy=none 不应裁剪")
|
||||
}
|
||||
m.RegisterInputChannel("empty", pubsdk.ChannelDef{})
|
||||
if a.pruneDeclared(&agentIO.InputEvent{Source: "empty", Payload: map[string]interface{}{}}) {
|
||||
t.Fatal("ChannelDef 未设 ContextPolicy 不应裁剪")
|
||||
}
|
||||
}
|
||||
|
||||
// 通道显式声明 prune 才裁剪。
|
||||
func TestPruneDeclared_ChannelOptIn(t *testing.T) {
|
||||
m := agentIO.NewIOManager()
|
||||
m.RegisterInputChannel("noisy", pubsdk.ChannelDef{ContextPolicy: pubsdk.ContextPolicyPrune})
|
||||
a := &Agent{io: m}
|
||||
|
||||
if !a.pruneDeclared(&agentIO.InputEvent{Source: "noisy", Payload: map[string]interface{}{}}) {
|
||||
t.Fatal("通道声明 prune 后应裁剪")
|
||||
}
|
||||
}
|
||||
|
||||
// 注入点声明的优先级高于通道定义：同一通道下的不同注入可以有不同意图。
|
||||
func TestPruneDeclared_InjectionOverridesChannel(t *testing.T) {
|
||||
m := agentIO.NewIOManager()
|
||||
a := &Agent{io: m}
|
||||
m.RegisterInputChannel("chan", pubsdk.ChannelDef{ContextPolicy: pubsdk.ContextPolicyPrune})
|
||||
|
||||
// 注入点说 none → 即使通道说 prune 也不裁。
|
||||
evt := &agentIO.InputEvent{Source: "chan", Payload: map[string]interface{}{
|
||||
"context_policy": pubsdk.ContextPolicyNone,
|
||||
}}
|
||||
if a.pruneDeclared(evt) {
|
||||
t.Fatal("注入点声明 none 应覆盖通道的 prune")
|
||||
}
|
||||
|
||||
// 通道没说，注入点说 prune → 裁。
|
||||
m.RegisterInputChannel("plain", pubsdk.ChannelDef{})
|
||||
evt = &agentIO.InputEvent{Source: "plain", Payload: map[string]interface{}{
|
||||
"context_policy": pubsdk.ContextPolicyPrune,
|
||||
}}
|
||||
if !a.pruneDeclared(evt) {
|
||||
t.Fatal("注入点声明 prune 应生效")
|
||||
}
|
||||
}
|
||||
|
||||
// 没有 context 时不能 panic，也不该裁剪。
|
||||
func TestPruneOnInput_NilContextIsSafe(t *testing.T) {
|
||||
m := agentIO.NewIOManager()
|
||||
m.RegisterInputChannel("noisy", pubsdk.ChannelDef{ContextPolicy: pubsdk.ContextPolicyPrune})
|
||||
a := &Agent{io: m}
|
||||
if got := a.pruneOnInput(&agentIO.InputEvent{Source: "noisy", Payload: map[string]interface{}{}}, "x"); got != 0 {
|
||||
t.Fatalf("nil context 应返回 0，实际 %d", got)
|
||||
}
|
||||
}
|
||||
|
||||
// cleanInputFor 的优先级：注入点声明的 cleaner > 按 source 查的 cleaner > 原文。
|
||||
func TestCleanInputFor_Priority(t *testing.T) {
|
||||
m := agentIO.NewIOManager()
|
||||
m.RegisterInputChannel("src", pubsdk.ChannelDef{
|
||||
Cleaner: func(s string) string { return "by-source:" + s },
|
||||
})
|
||||
m.RegisterInputChannel("explicit", pubsdk.ChannelDef{
|
||||
Cleaner: func(s string) string { return "by-name:" + s },
|
||||
})
|
||||
a := &Agent{io: m}
|
||||
|
||||
// 无声明 → 用 source 的 cleaner
|
||||
evt := &agentIO.InputEvent{Source: "src", Payload: map[string]interface{}{}}
|
||||
if got := a.cleanInputFor(evt, "raw"); got != "by-source:raw" {
|
||||
t.Fatalf("应回退到 source 的 cleaner，实际 %q", got)
|
||||
}
|
||||
|
||||
// 注入点指定 cleaner_name → 覆盖 source 的
|
||||
evt = &agentIO.InputEvent{Source: "src", Payload: map[string]interface{}{"cleaner_name": "explicit"}}
|
||||
if got := a.cleanInputFor(evt, "raw"); got != "by-name:raw" {
|
||||
t.Fatalf("注入点声明的 cleaner 应优先，实际 %q", got)
|
||||
}
|
||||
|
||||
// 完全没有 cleaner → 原文
|
||||
evt = &agentIO.InputEvent{Source: "nobody", Payload: map[string]interface{}{}}
|
||||
if got := a.cleanInputFor(evt, "raw"); got != "raw" {
|
||||
t.Fatalf("没有 cleaner 时应返回原文，实际 %q", got)
|
||||
}
|
||||
|
||||
// 声明的名字查不到 → 回退到 source 的 cleaner（并记日志），不能 panic、不能丢内容
|
||||
evt = &agentIO.InputEvent{Source: "src", Payload: map[string]interface{}{"cleaner_name": "missing"}}
|
||||
if got := a.cleanInputFor(evt, "raw"); got != "by-source:raw" {
|
||||
t.Fatalf("未知 cleaner_name 应回退，实际 %q", got)
|
||||
}
|
||||
|
||||
// nil IOManager 不能 panic
|
||||
if got := (&Agent{}).cleanInputFor(evt, "raw"); got != "raw" {
|
||||
t.Fatalf("nil io 应返回原文，实际 %q", got)
|
||||
}
|
||||
}
|
||||
Reference in New Issue
Block a user