feat(knowledge): 目录批量导入 + 派生数据批量收口

## 能力缺口

导入只能一条条 Add(knowledge_create)。agent 拿到一份 200 页的
文档目录要调 200 次工具,且每次都得自己决定分类与名字。

新增工具 `knowledge_import_dir(dir, category?, include_media?, dry_run?, max_items?)`。
语义是**复制**不是引用:源文件删改不影响已导入的副本。
- 文本经 Write 整份写入 <知识根>/<分类>/<名>/content.md
- 媒体按 sha256 进媒体库(内容寻址天然去重),条目只存 digest 引用

## 目录约定(自动适配,不要求改造资料)

1. 含 content.md 的目录 ⇒ 整体作为一个条目(与 scanDir 既有语义一致,
   所以知识库自身目录能被原样再导入而不会被拆散)
2. 否则 .md/.txt 等文件各成一条,**目录路径即分类**

## 三个语义决策

- category 是**前缀叠加**(tech + 源结构),不替换:替换会丢掉源目录
  自身最有价值的层级信息
- 同名冲突**跳过并计数**,绝不覆盖:Write 对同名本就是覆盖语义
  (knowledge_create 靠它做更新),若直接调它,一次重导就会把手工
  补充的内容悄悄抹掉,而日志只写"导入完成"
- dry_run **默认 true**:批量写,agent 第一次试某目录应先看清会写什么

## 安全边界(批量操作,缺一道就可能读到不该读的)

- 必须绝对路径:agent 的 cwd 不受控,相对路径会静默导到别处
- 符号链接不跟随:否则一个软链就把知识根之外的文件导进来
- 拒绝把知识库自身当源(自导会无限自我复制)
- category 复用 normalizeName(与 Write 同一道闸,两处分叉就成了绕过)
- MaxItems 默认 500:防 agent 误传 "/" 把盘灌满

## ★ 批量导入暴露的既有 O(N²)

Write 每条末尾都调 flushDenseLocked,而 saveDenseCacheLocked 是
**全量序列化整个 items map 再重写整个文件**。按 512 维 float64 估,
单条约 10KB,导入 500 条累计要写约 1.4GB。

仓库里索引侧早已有 indexDirty 的「标脏+延迟收口」(实测 writeIndexLocked
6.7ms/次、占单条 Add 绝大部分),**稠密缓存却还是逐条全量重写** ——
同一类开销只修了一半。

照 indexDirty 的模式补 batchDepth:批量期只标脏,endBatch 收口一次。
用 defer 保证提前 return 也会收口 —— 否则这批向量会留成"标脏未写",
下次启动被当作缺失而全量重算。

## 判据:17 条 + 变异

安全边界做了 4 组变异验证(去符号链接拦截/去绝对路径要求/去自导检查/
content.md 目录不下钻)。

★ 判据第一版有两处自己骗自己,被变异抓出来:
1. 符号链接判据造的是**目录软链**,而 WalkDir 对目录软链本来就不下钻
   ⇒ 有无防护结果都一样,是假绿。改成**文件软链**后才真正判红。
2. 同名冲突判据里已有条目写成 "a/b"、源映射出的是 "b"(不同名),
   判据自己就错了 —— 修判据而不是改实现。

媒体路径用假 MediaPutter:验的是「调了 Put 且 digest 挂到条目上」,
媒体库自身的落盘去重是 media 包的判据,不该在这里重测。

全量 41 包绿。
This commit is contained in:
JianFeeeee
2026-09-26 16:19:10 +08:00
parent ef695c2723
commit 5dd98d7a05
9 changed files with 1128 additions and 1 deletions

View File

@ -121,6 +121,9 @@ type Store struct {
mu sync.RWMutex
items map[string]*Knowledge
// mediaPut 是媒体写入器(ImportDir 复制媒体时用),见 SetMediaPutter。
mediaPut MediaPutter
indexPath string
denseCachePath string
denseDirty bool
@ -128,6 +131,10 @@ type Store struct {
// 由 flushIndex 收口:实测 writeIndexLocked 是 Add 的主开销
// (N=400 时 6.7ms/次,占单条 Add 的绝大部分)。
indexDirty bool
// batchDepth > 0 表示处于批量写入期(ImportDir)。此时逐条写出的
// flushDenseLocked 只标脏不落盘,由 endBatch 收口一次 —— 否则批量导入
// 的派生数据写入量是 O(N²)(见 import.go 的说明)。
batchDepth int
// denseCacheLoaded 保证缓存只尝试恢复一次;scanned 表示 items 已扫盘就绪。
// 两个状态位缺一不可:接线(SetDenseSpace)与扫盘(Start)的先后顺序
// 在调用方是自由的,缓存恢复必须等**两者都就绪**才可能成功,
@ -220,6 +227,17 @@ func (s *Store) SetMediaGetter(g MediaGetter) {
s.mediaGet = g
}
// SetMediaPutter 注入媒体写入器(ImportDir 把图片/音视频复制进媒体库时用)。
//
// 与 SetMediaGetter 分开:一个是取(算嵌入时读回媒体块),一个是存
// (目录导入时收字节)。合成一个接口会强迫测试同时实现两侧。
// 不注入时 ImportDir 仍能导入正文,只是媒体被跳过并记原因。
func (s *Store) SetMediaPutter(p MediaPutter) {
s.mu.Lock()
defer s.mu.Unlock()
s.mediaPut = p
}
// denseEnabled 报告稠密路是否可用(供 Stats/自证与分支判断)。
// 调用方必须已持锁。
func (s *Store) denseEnabled() bool {
@ -1188,6 +1206,11 @@ func (s *Store) flushDenseLocked() error {
if !s.denseDirty {
return nil
}
// 批量期不落盘:saveDenseCacheLocked 是全量序列化 + 重写整个文件,
// 逐条做就是 O(N²)。由 endBatch 收口一次。
if s.batchDepth > 0 {
return nil
}
s.saveDenseCacheLocked()
s.denseDirty = false
return nil