fix(knowledge): 覆盖同名条目时摘掉旧向量

从一次真实的知识库更新里发现:在线实例更新一个已有条目之后,
knowledge_count=32 而 vector_count=33——多出来的那一条是上一版的副本。

成因:vector.Store.Insert 是**追加**语义(s.docs = append + index.Add),不按 id 去重;
而 Store.Add 走的是「写 content.md + 覆盖 items[id] + Insert 向量」。
文件与内存条目都被正确替换了,只有向量索引多留了一份。

危害不在于多占内存:**检索可能命中已被替换掉的旧内容**,而且完全静默——
条目数看起来是对的,只有向量数比条目数多。

修法:Insert 之前先 s.vec.Remove(id)(Remove 已按 id 过滤 docs 与倒排索引)。
回归测试 TestAddOverwriteReplacesVector 钉住 knowledge_count / vector_count /
content.md 三者都必须只剩新版。

注:该文件在 origin/main 上本就有 32 行 gofmt 差异(结构体字段注释对齐),
不属本次改动,按纪律不做整体重排。
This commit is contained in:
JianFeeeee
2026-09-12 08:30:22 +08:00
parent dd99105d66
commit 685ed7e4a0
2 changed files with 52 additions and 0 deletions

View File

@ -44,6 +44,51 @@ func TestAddAndSearch(t *testing.T) {
}
}
// 覆盖同名条目必须把旧向量摘掉,而不是再插一份。
//
// 这条是从一次真实的知识库更新里发现的:在线上实例更新一个已有条目后,
// knowledge_count=32 但 vector_count=33 ——多出来的那一条是上一版的副本。
// 成因是 vector.Store.Insert 为追加语义s.docs = append + index.Add不按 id 去重。
// 危害不在于多占一份内存:检索可能命中**已被替换掉的旧内容**。
func TestAddOverwriteReplacesVector(t *testing.T) {
dir, err := os.MkdirTemp("", "know_overwrite_*")
if err != nil {
t.Fatal(err)
}
defer os.RemoveAll(dir)
s := NewStore(dir)
s.Start()
defer s.Stop()
if err := s.Add("recent", "第一版内容:旧的多模态描述式索引"); err != nil {
t.Fatal(err)
}
if got := s.Stats()["vector_count"].(int); got != 1 {
t.Fatalf("首次写入后 vector_count 应为 1实为 %d", got)
}
if err := s.Add("recent", "第二版内容:媒体已成为图记忆的一等节点"); err != nil {
t.Fatal(err)
}
if n := s.Stats()["knowledge_count"].(int); n != 1 {
t.Fatalf("同名覆盖后 knowledge_count 应为 1实为 %d", n)
}
if n := s.Stats()["vector_count"].(int); n != 1 {
t.Fatalf("同名覆盖后 vector_count 应为 1多了就是旧版没被摘掉实为 %d", n)
}
// 目录里也只应有一份内容,且是新的那份
b, err := os.ReadFile(dir + "/recent/content.md")
if err != nil {
t.Fatal(err)
}
if string(b) != "第二版内容:媒体已成为图记忆的一等节点" {
t.Fatalf("content.md 未被新内容覆盖,实为 %q", string(b))
}
}
func TestList(t *testing.T) {
dir, err := os.MkdirTemp("", "know_list_*")
if err != nil {