refactor(memory)!: 删除 CAS 包与第二套召回(块 union 化第四阶段:收尾)

块 union 化前三阶段已让块自带负载、回填存量字节。本提交拆掉 CAS 本身:
`internal/memory/media/`(2100 行)+ `QueryMediaScored`(第二套召回)
+ `media_refs`/`ref_count` 引用账本 + `internal/sdk/media.go`(MediaAPI)
+ `SDKConfig.Media` / `SetMediaStore` 接线。删完 CAS 才真正不存在。

## 为何可删(不是"先删了再说")

- **MediaAPI 在生产早已是死的**:`SDKConfig.Media` 自 86572d13 起从未被设置,
  `sdk.Media()` 恒为 nil,插件 digest 路径一直走"内容寻址库不可用"分支。
  删的是死代码,不是活路径。
- **第二套召回确无调用方**:`QueryMediaScored` 仅被 media 包自身的测试引用,
  跨包引用为 0(块召回走 `RecallBlocks`)。
- **heldMediaDigests 补丁**(crossmodal 靠它防召回"无处可归的媒体")
  已在 86572d13 删除 —— 两套存储才需要的那种补丁,随存储一起没了。

## 替代路径:块引用取代 digest

插件取媒体从 `sdk.Media().Get(digest)` 改为 `sdk.Memory().MediaBytes(ref)`:

- **新增 `MemoryAPI.MediaBytes(ref) (data, mime, ok, err)`**(内置接口,非 pubsdk):
  按块引用(完整块 ID 或唯一前缀)取字节;`ok=false` 而非 error ——
  "这个引用没有媒体"是调用方能处理的常态。
- **seemedia / multimodal**:`digest` 参数语义改为**媒体块引用**,工具描述同步。
  path/url 两条来源不变(生产实际只用这两条)。
- **webui 知识上传**:媒体字节不再 Put 进 CAS 再拿 digest,而是作为
  `KnowledgeMediaRef.Data` 随引用携带,由 knowledge.Write 落进条目目录
  (与 content.md 同生共灭,Remove 的 RemoveAll 天然清掉)。
- **回填命令去依赖**:cmd/homed-media-backfill 不再 import 待删的 media 包,
  改为直接读**冻结的历史布局** blobs/<d[:2]>/<d[2:]> 并自校验 sha256。
  依赖待删代码的迁移工具会在删包那刻失效 —— 迁移必须比被迁移的东西活得久。

## 判据(全部做过变异测试)

- `TestMemoryBytes_ByBlockRef`:完整 ID / 唯一前缀可取回且逐字节一致;
  不存在→ok=false;过短前缀(歧义)→ok=false;无负载块→ok=false;空引用不 panic。
  变异(不校验 ok,把不存在当有)当场被 3 条断言抓住。
- `TestE2EMediaBytesAgainstBackfilledDB`(-tags e2e,读真回填库):
  10/10 块经 MediaBytes 取回的字节与块 data 的 sha256 完全一致。
- `TestKnowledgeUploadedMediaRetrievable` 重写为**条目目录自带字节**判据
  (不再是"向存储按 digest 读回");`TestKnowledgeUploadMediaNeedsNoStore`
  改为"上传无外部存储依赖也必须成功"(旧的 503 语义已随 CAS 消失)。

## 静态确认
`QueryMediaScored` / `internal/memory/media` import / `MediaAPI` /
`sdk.Media()` / `SetMediaStore` / `heldMediaDigests` 全仓均为 0 处
(仅剩 medialoop.go 一句历史注释)。

回归:memory / sdk / agent-core / knowledge / plugin / webui / seemedia /
multimodal 八包全绿;全仓生产编译 GREEN。
This commit is contained in:
JianFeeeee
2026-10-12 16:52:43 +08:00
parent 2585bc67ef
commit 9f7d91c219
24 changed files with 373 additions and 2374 deletions

View File

@ -6,9 +6,13 @@
// 但存量库里 data 为空、payload_digest 仍指向 CAS 的 blob —— 必须一次性
// 把字节搬进块,否则 CAS 目录一删,BlockData 就取不到字节(图永久丢失)。
//
// ★ 本命令**不 import internal/memory/media**:那个包正是要删掉的。
// 迁移工具只读**冻结的历史格式**:blobs/<digest[:2]>/<digest[2:]>。
// 依赖待删代码的迁移工具会在删包那一刻失效 —— 迁移必须比被迁移的东西活得久。
//
// 存量事实(生产 /home/newqqagent/memory):
// - graph.db 有 112 个媒体块,引 106 个唯一 digest
// - media.db 156 条,blobs 84M,106 digest 抽样 100% 命中
// - blobs 87M,112/112 digest 命中
//
// 安全设计(与 homed-graph-migrate 同款)
// --------------------------------------
@ -16,27 +20,31 @@
// 2. 单事务、全成功或全回滚。幂等:只处理 data 为空且 payload_digest 非空的块。
// 3. 迁移前自动快照 graph.db 到 <db>.bak-<时间戳>。
// 4. CAS 里取不到字节的块计为 Missing 并跳过(既有数据损失,不阻断其余回填)。
// 5. 读出的字节按 sha256 校验 == payload_digest —— 这正是旧 CAS 的不变量,
// 现在由迁移工具自己守着(不再有 media.Store 代劳)。
//
// 用法:
//
// homed-media-backfill -db /data/homeagent/memory/graph.db -media /data/homeagent/memory/media # 报告
// homed-media-backfill -db ... -media ... -apply # 回填
// homed-media-backfill -db ... -apply -no-snapshot # 跳过快照(已自行备份)
// homed-media-backfill -db .../graph.db -media .../memory/media # 报告
// homed-media-backfill -db .../graph.db -media .../memory/media -apply # 回填
// homed-media-backfill -db ... -media ... -apply -no-snapshot # 跳过快照
package main
import (
"crypto/sha256"
"encoding/hex"
"flag"
"fmt"
"os"
"path/filepath"
"time"
"github.com/JianFeeeee/HomeAgent/internal/memory"
"github.com/JianFeeeee/HomeAgent/internal/memory/media"
)
func main() {
dbPath := flag.String("db", "", "graph.db 路径(必填)")
mediaDir := flag.String("media", "", "旧 CAS 目录(含 media.db + blobs/,必填)")
mediaDir := flag.String("media", "", "旧 CAS 目录(含 blobs/,必填)")
apply := flag.Bool("apply", false, "真正回填(缺省只报告)")
noSnapshot := flag.Bool("no-snapshot", false, "跳过 graph.db 快照(已自行备份时用)")
flag.Parse()
@ -57,6 +65,9 @@ func main() {
}
defer g.Close()
cas := &blobReader{dir: filepath.Join(*mediaDir, "blobs")}
resolve := func(digest string) ([]byte, bool) { return cas.get(digest) }
// 报告:有多少块待回填
cands, err := g.CountBlockDataBackfillCandidates()
if err != nil {
@ -69,29 +80,12 @@ func main() {
return
}
// CAS 逐个取字节(顺带校验:media.Store.Get 内部 sha256 校验)
var ms *media.Store
ms, err = media.New(*mediaDir)
if err != nil {
fmt.Fprintf(os.Stderr, "错误:打开 CAS 失败: %v\n", err)
os.Exit(1)
}
defer ms.Close()
resolve := func(digest string) ([]byte, bool) {
data, err := ms.Get(digest)
if err != nil {
return nil, false
}
return data, true
}
// 报告:CAS 能取到多少字节(dry-run 探针,不写库)
probe, err := g.ProbeBackfillAvailability(resolve)
if err != nil {
fmt.Fprintf(os.Stderr, "警告:CAS 探针失败: %v\n", err)
probe, perr := g.ProbeBackfillAvailability(resolve)
if perr != nil {
fmt.Fprintf(os.Stderr, "警告:CAS 探针失败: %v\n", perr)
probe = -1
}
if !*apply {
fmt.Printf("\n这是报告模式(缺省)。加 -apply 真正回填。\n")
if probe >= 0 {
@ -115,7 +109,6 @@ func main() {
st, err := g.BackfillBlockData(resolve)
if err != nil {
fmt.Fprintf(os.Stderr, "\n回填失败(已整体回滚): %v\n", err)
fmt.Fprintf(os.Stderr, "快照可用于人工核对\n")
os.Exit(1)
}
fmt.Printf("\n回填完成(%.1fs)\n", time.Since(t0).Seconds())
@ -127,7 +120,8 @@ func main() {
// 验证:回填后立刻 BlockData 取一次样
fmt.Println("\n抽样验证(BlockData 取回前 3 块):")
for i, id := range sampleFilled(g, 3) {
ids, _ := g.SampleFilledBlockIDs(3)
for i, id := range ids {
data, err := g.BlockData(id)
if err != nil {
fmt.Printf(" %d. %s ⚠️ BlockData 失败: %v\n", i+1, id, err)
@ -137,12 +131,33 @@ func main() {
}
}
// sampleFilled 返回前 n 个已回填字节的块 id(供验证 BlockData)。
func sampleFilled(g *memory.GraphDB, n int) []string {
ids, _ := g.SampleFilledBlockIDs(n)
return ids
// blobReader 按旧 CAS 的冻结布局读字节并校验内容摘要。
//
// 布局:blobs/<digest[:2]>/<digest[2:]>(digest < 4 字符时不分目录)。
// 校验:sha256(字节) == digest —— 旧 CAS 的核心不变量,迁移自己守。
func (b *blobReader) get(digest string) ([]byte, bool) {
if digest == "" {
return nil, false
}
var p string
if len(digest) < 4 {
p = filepath.Join(b.dir, digest)
} else {
p = filepath.Join(b.dir, digest[:2], digest[2:])
}
data, err := os.ReadFile(p)
if err != nil {
return nil, false
}
sum := sha256.Sum256(data)
if hex.EncodeToString(sum[:]) != digest {
return nil, false // 内容与摘要不符(位翻转/外部误改):当作不可用
}
return data, true
}
type blobReader struct{ dir string }
func copyFile(src, dst string) error {
data, err := os.ReadFile(src)
if err != nil {

View File

@ -26,7 +26,6 @@ import (
"github.com/JianFeeeee/HomeAgent/internal/memory"
"github.com/JianFeeeee/HomeAgent/internal/memory/distill"
"github.com/JianFeeeee/HomeAgent/internal/memory/document"
"github.com/JianFeeeee/HomeAgent/internal/memory/media"
"github.com/JianFeeeee/HomeAgent/internal/memory/pipeline"
"github.com/JianFeeeee/HomeAgent/internal/memory/social"
"github.com/JianFeeeee/HomeAgent/internal/memory/text"
@ -299,34 +298,6 @@ func initDocStore(cfg *types.Config) (*document.Store, func()) {
return docStore, func() { docStore.Stop() }
}
// initMediaStore 按开关启动内容寻址的媒体存储;开不起来只告警(媒体记忆非对话必需品)。
//
// 本函数体是 main() 里对应启动阶段的整块平移:语句、日志文本、错误语义不变,
// 只把「*dataDir」变成参数、把 defer 变成由调用点注册的 cleanup。
func initMediaStore(cfgReg *internalConfig.ConfigRegistry, cfg *types.Config) (*media.Store, func()) {
var mediaStore *media.Store
if cfgReg.GetBool("core.memory.media.enabled", true) {
mediaDir := cfgReg.GetString("core.memory.media.dir",
filepath.Join(cfg.Daemon.DataDir, "memory", "media"))
ms, err := media.New(mediaDir)
if err != nil {
// 媒体存储开不起来不该阻止启动——它是记忆增强,不是对话必需品
log.Printf("[homed] warning: media store: %v(媒体记忆已禁用)", err)
} else {
mediaStore = ms
st := mediaStore.Stats()
log.Printf("[homed] media store active: %v 条 / %v 字节",
st["count"], st["total_bytes"])
}
}
return mediaStore, func() {
if mediaStore != nil {
mediaStore.Close()
}
}
}
// initDistillSplitter 按配置打开蒸馏用的生成侧 provider 并组装拆分器。
//
// 返回 nil 表示不启用(未配置 provider、或打开失败)—— 此时蒸馏回退既有的
@ -517,7 +488,7 @@ func loadPersonality(cfg *types.Config, cfgReg *internalConfig.ConfigRegistry) *
// 只把「*dataDir」变成参数、把 defer 变成由调用点注册的 cleanup。
func newStageAndRegistry(cfg *types.Config, cfgReg *internalConfig.ConfigRegistry, iom *agentIO.IOManager,
evBus *events.Bus, memDB *memory.GraphDB, textMem *text.Memory, docStore *document.Store,
mediaStore *media.Store, ks *knowledge.Store, providerMgr *agentAPI.ProviderManager,
ks *knowledge.Store, providerMgr *agentAPI.ProviderManager,
dataDir string) (*agentCore.StageHost, *plugin.Registry) {
stageHost := agentCore.NewStageHost()
@ -527,7 +498,6 @@ func newStageAndRegistry(cfg *types.Config, cfgReg *internalConfig.ConfigRegistr
pluginReg.SetMemory(memDB)
pluginReg.SetTextMemory(textMem)
pluginReg.SetDocStore(docStore)
pluginReg.SetMediaStore(mediaStore) // 插件写入的记忆也走媒体链路;nil 时静默降级
pluginReg.SetKnowledge(ks)
pluginReg.SetProviderManager(providerMgr)
pluginReg.SetConfigRegistry(cfgReg)
@ -557,7 +527,7 @@ func newStageAndRegistry(cfg *types.Config, cfgReg *internalConfig.ConfigRegistr
func newMainAgent(cfg *types.Config, cfgReg *internalConfig.ConfigRegistry, provider agentAPI.Provider,
providerMgr *agentAPI.ProviderManager, iom *agentIO.IOManager, memDB *memory.GraphDB,
memIdx *memory.Indexer, trk *tracker.Tracker, docStore *document.Store, ks *knowledge.Store,
socialStore *social.SocialStore, textMem *text.Memory, mediaStore *media.Store,
socialStore *social.SocialStore, textMem *text.Memory,
personality *agentPkg.Personality, pluginReg *plugin.Registry, embedder *memory.StaticEmbedder,
multimodalSpace vector.MultimodalEmbedder, mmProviderName, mmErr string,
stageHost *agentCore.StageHost, evBus *events.Bus) *agentCore.Agent {

View File

@ -133,9 +133,6 @@ func main() {
docStore, closeDocStore := initDocStore(cfg)
defer closeDocStore()
mediaStore, closeMediaStore := initMediaStore(cfgReg, cfg)
defer closeMediaStore()
multimodalSpace, mmProviderName, mmErr, closeMultimodal := initMultimodalSpace(cfgReg)
defer closeMultimodal()
@ -151,12 +148,12 @@ func main() {
// ---- 阶段管道(StageHost)+ 插件系统(Registry) ----
stageHost, pluginReg := newStageAndRegistry(cfg, cfgReg, iom, evBus, mem.db, textMem,
docStore, mediaStore, ks, providerMgr, opt.dataDir)
docStore, ks, providerMgr, opt.dataDir)
// ---- Agent Core (需在插件加载前创建,因为插件 Configure 需要 StatusProvider) ----
agent := newMainAgent(cfg, cfgReg, provider, providerMgr, iom, mem.db, mem.indexer, trk,
docStore, ks, mem.social, textMem, mediaStore, personality, pluginReg, embedder,
docStore, ks, mem.social, textMem, personality, pluginReg, embedder,
multimodalSpace, mmProviderName, mmErr, stageHost, evBus)
wirePluginSDK(pluginReg, luaVM, baseAPIKey, sup, trk, cfg, stageHost, mem.indexer, agent)