refactor(memory): 移除 media_refs/引用计数，媒体成为一等记忆块

媒体此前是"文本块 + digest 引用 + owner 账本 + 独立 GC"：ContextEvent.Media 记 digest，media_refs 表用 owner_kind/owner_id 保活，ref_count 决定 GC 能否清。这与文本记忆块的管理方式不一致，也是本次一并纠正的核心偏差。改为与文本块完全一致的生命周期： 1. 一等记忆块直接由所在层持有 - ContextEvent.Blocks / Doc.Blocks / GraphDB memory_blocks - 块带 modality/digest/MIME/size/vector/fingerprint，文本、图片、视频同构 - Context→Document→Graph 迁移的是块本身（ID 不变），迁移后清空源容器，同一块不同时存在于两层 2. 删除平行生命周期账本 - media.Store 去掉 media_refs 表、OwnerKind 常量、RefCount 字段、 AddRef/DropRef/DropOwner/Refs、ref_count 列与索引 - 删除 mediaGCLoop、GC(keep,minAge)、容量上限与 media.gc_* / media.max_mb 配置 - 媒体内容在块被永久删除时一并删除（media.Store.Delete + forgetPayloads），与"删除文本块即删除内容"同一语义 3. L3 原生结构 - memory_blocks / memory_block_edges（contains/depicts/derived_from） - 边端点必须是真实图节点，不再用 owner 字符串伪装关系 - BlocksForNode 支持 sentence --contains--> block 反查 4. SDK 与检索同步 - 插件附件/标记直接变成块，不再 AddRef - 跨模态检索改用 QueryMediaScored（CAS 内不再有孤儿缓存需要过滤）测试全部改写为块语义：删除 refcount/media_refs/GC 断言，新增块迁移、单层不变量、Delete 语义与并发删除回归。注：cmd/homed/main.go 同时携带工作区中既有的 CLIP→Qwen 模型目录接线改动。
2026-10-02 23:33:58 +00:00 · 2026-09-11 10:57:22 +08:00
parent 46f833cb79
commit 2330db8a2b
27 changed files with 1391 additions and 1969 deletions
--- a/internal/agent/core/mediaref_test.go
+++ b/internal/agent/core/mediaref_test.go
@ -24,7 +24,7 @@ import (
 func newTestAgentWithMedia(t *testing.T) (*Agent, *media.Store) {
 	t.Helper()
 	dir := t.TempDir()
-	ms, err := media.New(filepath.Join(dir, "media"), 0)
+	ms, err := media.New(filepath.Join(dir, "media"))
 	if err != nil {
 		t.Fatalf("media.New: %v", err)
 	}
@ -35,7 +35,6 @@ func newTestAgentWithMedia(t *testing.T) (*Agent, *media.Store) {
 		mediaStore: ms,
 		context:    NewRelevanceContext(filepath.Join(dir, "context.json"), emb),
 	}
-	a.context.SetMediaStore(ms)
 	return a, ms
 }

@ -104,10 +103,10 @@ func TestCaptureBlockMedia_NilStoreIsNoop(t *testing.T) {
 	// bindEventMedia 对 nil store 也必须安全
 	evt := &ContextEvent{}
 	a.bindEventMedia(evt, []string{"deadbeef"})
-	if len(evt.Media) != 0 || evt.ID != "" {
+	if len(evt.Blocks) != 0 || evt.ID != "" {
 		t.Fatalf("nil store 时不该改动事件: %+v", evt)
 	}
-	if s := a.mediaSummaryForEvent([]string{"deadbeef"}); s != "" {
+	if s := a.mediaSummaryForEvent(nil); s != "" {
 		t.Fatalf("nil store 时摘要应为空，得到 %q", s)
 	}
 }
@ -152,7 +151,7 @@ func TestStageDrainMediaDigests(t *testing.T) {
 	}
 }

-func TestBindEventMedia_CreatesIDAndRefs(t *testing.T) {
+func TestBindEventMedia_CreatesBlocks(t *testing.T) {
 	a, ms := newTestAgentWithMedia(t)

 	d, err := ms.Put([]byte("img"), media.Item{MIME: "image/png"})
@ -166,17 +165,11 @@ func TestBindEventMedia_CreatesIDAndRefs(t *testing.T) {
 	if evt.ID == "" {
 		t.Fatal("应懒生成事件 ID")
 	}
-	if len(evt.Media) != 1 || evt.Media[0] != d {
-		t.Fatalf("事件应记住 digest: %+v", evt.Media)
+	if len(evt.Blocks) != 1 || evt.Blocks[0].PayloadDigest != d {
+		t.Fatalf("事件应持有一等记忆块: %+v", evt.Blocks)
 	}
-	// 双向落地：CAS 侧也要知道谁在引用，否则 GC 会误删
-	it, _ := ms.Stat(d)
-	if it.RefCount != 1 {
-		t.Fatalf("引用计数应为 1，实际 %d", it.RefCount)
-	}
-	refs, _ := ms.Refs(media.OwnerContext, evt.ID)
-	if len(refs) != 1 {
-		t.Fatalf("media_refs 应有 1 条，实际 %d", len(refs))
+	if evt.Blocks[0].Modality != memory.BlockImage || evt.Blocks[0].MIME != "image/png" {
+		t.Fatalf("块元数据不对: %+v", evt.Blocks[0])
 	}
 }

@ -196,12 +189,16 @@ func TestMediaSummary_DescriptionIsThePersistentMemory(t *testing.T) {
 	a, ms := newTestAgentWithMedia(t)

 	d, _ := ms.Put([]byte("img"), media.Item{MIME: "image/png"})
-	if s := a.mediaSummaryForEvent([]string{d}); s == "" {
+	b, ok := a.blockFromDigest(d)
+	if !ok {
+		t.Fatal("blockFromDigest 失败")
+	}
+	if s := a.mediaSummaryForEvent([]memory.MemoryBlock{b}); s == "" {
 		t.Fatal("未描述项也应产出一行（标注未描述）")
 	}

 	ms.Describe(d, "一张紫蓝红三色带图", "visionllm")
-	s := a.mediaSummaryForEvent([]string{d})
+	s := a.mediaSummaryForEvent([]memory.MemoryBlock{b})
 	if s == "" {
 		t.Fatal("应产出摘要")
 	}
@ -213,97 +210,15 @@ func TestMediaSummary_DescriptionIsThePersistentMemory(t *testing.T) {
 	}
 }

-func TestPrune_TransfersMediaRefsToDocument(t *testing.T) {
-	// L0→L2 归档：媒体引用从 context 事件转到归档文档，
-	// 且转移期间内容必须始终可读（先挂后销，不留归零窗口）。
-	dir := t.TempDir()
-	ms, err := media.New(filepath.Join(dir, "media"), 0)
-	if err != nil {
-		t.Fatal(err)
-	}
-	defer ms.Close()
-
-	emb := memory.NewStaticEmbedder()
-	docStore := document.NewStore(filepath.Join(dir, "docs"))
-	if err := docStore.Start(); err != nil {
-		t.Fatal(err)
-	}
-	rc := NewRelevanceContext(filepath.Join(dir, "context.json"), emb)
-	rc.SetMediaStore(ms)
-
-	a := &Agent{mediaStore: ms, context: rc}
-
-	// 造一张被引用的图，挂到一条会被淘汰的老事件上
-	payload := []byte("archived-image")
-	d, _ := ms.Put(payload, media.Item{MIME: "image/png"})
-	oldEvt := ContextEvent{
-		Timestamp: time.Now().Add(-time.Hour),
-		Source:    "qq",
-		Input:     "很久以前的一张图",
-	}
-	a.bindEventMedia(&oldEvt, []string{d})
-	oldEvtID := oldEvt.ID
-	rc.Append(oldEvt)
-
-	// 再塞满 12 条新事件，逼 Prune 把老事件淘汰
-	// （Prune 保护最近 10 条，topK 传 5 使候选全部进归档）
-	for i := 0; i < 12; i++ {
-		rc.Append(ContextEvent{
-			Timestamp: time.Now().Add(time.Duration(i) * time.Second),
-			Source:    "qq",
-			Input:     "无关内容",
-		})
-	}
-
-	archived := rc.Prune("完全不相关的查询", 5, docStore)
-	if archived == 0 {
-		t.Fatal("应有事件被归档")
-	}
-
-	// 关键断言：内容仍可读（引用被转走而非归零后被清）
-	got, err := ms.Get(d)
-	if err != nil {
-		t.Fatalf("归档后内容应仍可读: %v", err)
-	}
-	if string(got) != string(payload) {
-		t.Fatal("内容被改")
-	}
-
-	it, err := ms.Stat(d)
-	if err != nil {
-		t.Fatal(err)
-	}
-	if it.RefCount < 1 {
-		t.Fatalf("引用应转移而非归零，实际 refcount=%d", it.RefCount)
-	}
-	// 原 context 引用应已注销
-	if refs, _ := ms.Refs(media.OwnerContext, oldEvtID); len(refs) != 0 {
-		t.Fatalf("原事件引用应已注销，仍有 %d 条", len(refs))
-	}
-	// 应挂到某个 document owner 上
-	var docOwned bool
-	docs := docStore.RecentDocs(10)
-	for _, doc := range docs {
-		if refs, _ := ms.Refs(media.OwnerDocument, doc.ID); len(refs) > 0 {
-			docOwned = true
-			break
-		}
-	}
-	if !docOwned {
-		t.Fatal("引用应已挂到归档文档上")
-	}
-}
-
 func TestPrune_NilMediaStoreStillArchives(t *testing.T) {
 	// 媒体存储未启用时归档链路必须照常工作
 	dir := t.TempDir()
 	emb := memory.NewStaticEmbedder()
-	docStore := document.NewStore(filepath.Join(dir, "docs"))
+	docStore := document.NewStore(filepath.Join(dir, "docs"), memory.TokenizeWords)
 	if err := docStore.Start(); err != nil {
 		t.Fatal(err)
 	}
 	rc := NewRelevanceContext(filepath.Join(dir, "context.json"), emb)
-	// 刻意不 SetMediaStore

 	for i := 0; i < 15; i++ {
 		rc.Append(ContextEvent{
@ -317,13 +232,13 @@ func TestPrune_NilMediaStoreStillArchives(t *testing.T) {
 	}
 }

-func TestContextEvent_MediaFieldRoundTrip(t *testing.T) {
-	// context.json 加字段必须向后兼容：存量文件读回来 Media 为空、ID 为空，
+func TestContextEvent_BlocksFieldRoundTrip(t *testing.T) {
+	// context.json 加字段必须向后兼容：存量文件读回来 Blocks 为空、ID 为空，
 	// 不影响任何既有行为。
 	dir := t.TempDir()
 	path := filepath.Join(dir, "context.json")

-	// 写一份"存量格式"（无 id / media 字段）
+	// 写一份"存量格式"（无 id / blocks 字段）
 	legacy := `[{"timestamp":"2026-09-04T10:00:00Z","source":"qq","input":"老数据","response":"回复"}]`
 	if err := os.WriteFile(path, []byte(legacy), 0644); err != nil {
 		t.Fatal(err)
@ -335,8 +250,8 @@ func TestContextEvent_MediaFieldRoundTrip(t *testing.T) {
 		t.Fatalf("应读回 1 条，实际 %d", rc.Len())
 	}

-	// 新写入带媒体的事件，再读回
-	ms, err := media.New(filepath.Join(dir, "media"), 0)
+	// 新写入带记忆块的事件，再读回
+	ms, err := media.New(filepath.Join(dir, "media"))
 	if err != nil {
 		t.Fatal(err)
 	}
@ -352,4 +267,71 @@ func TestContextEvent_MediaFieldRoundTrip(t *testing.T) {
 	if rc2.Len() != 2 {
 		t.Fatalf("应有 2 条，实际 %d", rc2.Len())
 	}
+	var persisted int
+	for _, e := range rc2.Recent(10) {
+		persisted += len(e.Blocks)
+	}
+	if persisted != 1 {
+		t.Fatalf("块应随 context.json 持久化，实际 %d 个", persisted)
+	}
+}
+
+func TestPruneMigratesBlocksToDocument(t *testing.T) {
+	// 一等记忆块的 L0→L2 迁移：块随事件离开 Context、进入 Document，
+	// 身份（ID/模态/digest/向量）原样保留；同一块不能同时留在两层。
+	// 这条路径不依赖 media_refs/ref_count。
+	dir := t.TempDir()
+	emb := memory.NewStaticEmbedder()
+	docStore := document.NewStore(filepath.Join(dir, "docs"), memory.TokenizeWords)
+	if err := docStore.Start(); err != nil {
+		t.Fatal(err)
+	}
+	rc := NewRelevanceContext(filepath.Join(dir, "context.json"), emb)
+
+	block := memory.MemoryBlock{
+		ID: "blk_migrate_1", Modality: memory.BlockImage,
+		PayloadDigest: "deadbeef", MIME: "image/png", Size: 42,
+		Vector: []float64{0.1, 0.2, 0.3}, Fingerprint: "qwen:test",
+	}
+	rc.Append(ContextEvent{
+		Timestamp: time.Now().Add(-time.Hour),
+		Source:    "qq", Input: "很久以前的一张图",
+		Blocks: []memory.MemoryBlock{block},
+	})
+	for i := 0; i < 12; i++ {
+		rc.Append(ContextEvent{
+			Timestamp: time.Now().Add(time.Duration(i) * time.Second),
+			Source:    "qq", Input: "无关内容",
+		})
+	}
+
+	if n := rc.Prune("完全不相关的查询", 5, docStore); n == 0 {
+		t.Fatal("应有事件被归档")
+	}
+
+	// 块应已到达 L2，且身份不变。
+	var found *document.Doc
+	for _, d := range docStore.RecentDocs(20) {
+		if len(d.Blocks) > 0 {
+			found = d
+			break
+		}
+	}
+	if found == nil {
+		t.Fatal("归档文档应持有一等记忆块")
+	}
+	if len(found.Blocks) != 1 {
+		t.Fatalf("文档应有 1 个块，实际 %d", len(found.Blocks))
+	}
+	got := found.Blocks[0]
+	if got.ID != block.ID || got.Modality != block.Modality || got.PayloadDigest != block.PayloadDigest || got.Fingerprint != block.Fingerprint || len(got.Vector) != len(block.Vector) {
+		t.Fatalf("块身份应原样迁移:\n got  %+v\n want %+v", got, block)
+	}
+
+	// 同一块不能同时留在 L0。
+	for _, e := range rc.Recent(100) {
+		if len(e.Blocks) > 0 {
+			t.Fatalf("块仍留在 L0（同一块同时存在于两层）: %+v", e.Blocks)
+		}
+	}
 }