mirror of
https://gitcode.com/JianFeeeee/HomeAgent.git
synced 2026-10-15 12:15:16 +00:00
refactor(memory)!: 删除 CAS 包与第二套召回（块 union 化第四阶段：收尾）
块 union 化前三阶段已让块自带负载、回填存量字节。本提交拆掉 CAS 本身： `internal/memory/media/`（2100 行）+ `QueryMediaScored`（第二套召回） + `media_refs`/`ref_count` 引用账本 + `internal/sdk/media.go`（MediaAPI） + `SDKConfig.Media` / `SetMediaStore` 接线。删完 CAS 才真正不存在。 ## 为何可删（不是"先删了再说"） - **MediaAPI 在生产早已是死的**：`SDKConfig.Media` 自86572d13起从未被设置， `sdk.Media()` 恒为 nil，插件 digest 路径一直走"内容寻址库不可用"分支。 删的是死代码，不是活路径。 - **第二套召回确无调用方**：`QueryMediaScored` 仅被 media 包自身的测试引用， 跨包引用为 0（块召回走 `RecallBlocks`）。 - **heldMediaDigests 补丁**（crossmodal 靠它防召回"无处可归的媒体"） 已在86572d13删除 —— 两套存储才需要的那种补丁，随存储一起没了。 ## 替代路径：块引用取代 digest 插件取媒体从 `sdk.Media().Get(digest)` 改为 `sdk.Memory().MediaBytes(ref)`： - **新增 `MemoryAPI.MediaBytes(ref) (data, mime, ok, err)`**（内置接口，非 pubsdk）： 按块引用（完整块 ID 或唯一前缀）取字节；`ok=false` 而非 error —— "这个引用没有媒体"是调用方能处理的常态。 - **seemedia / multimodal**：`digest` 参数语义改为**媒体块引用**，工具描述同步。 path/url 两条来源不变（生产实际只用这两条）。 - **webui 知识上传**：媒体字节不再 Put 进 CAS 再拿 digest，而是作为 `KnowledgeMediaRef.Data` 随引用携带，由 knowledge.Write 落进条目目录 （与 content.md 同生共灭，Remove 的 RemoveAll 天然清掉）。 - **回填命令去依赖**：cmd/homed-media-backfill 不再 import 待删的 media 包， 改为直接读**冻结的历史布局** blobs/<d[:2]>/<d[2:]> 并自校验 sha256。 依赖待删代码的迁移工具会在删包那刻失效 —— 迁移必须比被迁移的东西活得久。 ## 判据（全部做过变异测试） - `TestMemoryBytes_ByBlockRef`：完整 ID / 唯一前缀可取回且逐字节一致； 不存在→ok=false；过短前缀（歧义）→ok=false；无负载块→ok=false；空引用不 panic。 变异（不校验 ok，把不存在当有）当场被 3 条断言抓住。 - `TestE2EMediaBytesAgainstBackfilledDB`（-tags e2e，读真回填库）： 10/10 块经 MediaBytes 取回的字节与块 data 的 sha256 完全一致。 - `TestKnowledgeUploadedMediaRetrievable` 重写为**条目目录自带字节**判据 （不再是"向存储按 digest 读回"）；`TestKnowledgeUploadMediaNeedsNoStore` 改为"上传无外部存储依赖也必须成功"（旧的 503 语义已随 CAS 消失）。 ## 静态确认 `QueryMediaScored` / `internal/memory/media` import / `MediaAPI` / `sdk.Media()` / `SetMediaStore` / `heldMediaDigests` 全仓均为 0 处 （仅剩 medialoop.go 一句历史注释）。 回归：memory / sdk / agent-core / knowledge / plugin / webui / seemedia / multimodal 八包全绿；全仓生产编译 GREEN。
This commit is contained in:
JianFeeeee
@ -11,7 +11,7 @@ import (
|
||||
"testing"
|
||||
"time"
|
||||
|
||||
"github.com/JianFeeeee/HomeAgent/internal/memory/media"
|
||||
"github.com/JianFeeeee/HomeAgent/internal/memory"
|
||||
sdk "github.com/JianFeeeee/HomeAgent/internal/sdk"
|
||||
)
|
||||
|
||||
@ -23,26 +23,36 @@ import (
|
||||
// - 损坏输入如实报错、不 panic
|
||||
// - 已取消的 ctx 必须让 ffmpeg 立刻失败（取消传播真生效）
|
||||
// - 并发 16 路抽帧不串台、不泄漏临时目录
|
||||
// - digest 视频走真 CAS → 临时文件 → cleanup 删文件
|
||||
// - 块引用视频走真记忆库 → 临时文件 → cleanup 删文件
|
||||
|
||||
// sdkWithVideo 用真 CAS（临时目录）把一段视频字节 Put 进去，返回带媒体面的
|
||||
// PluginSDK 与**真实 digest**（真实 CAS 的 key 是内容哈希，直接用它取回）。
|
||||
// sdkWithVideo 把一段视频字节写成**真记忆块**（内容派生 ID），返回带记忆面的
|
||||
// PluginSDK 与真实块引用（块 ID 或其唯一前缀，与生产同一取字节路径）。
|
||||
//
|
||||
// ★ CAS 淘汰后不再有媒体存储可 Put：字节进块（MemoryBlock.Data），
|
||||
// 插件用 sdk.Memory().MediaBytes(ref) 取回 —— 这正是测试要钉的路径。
|
||||
func sdkWithVideo(t *testing.T, raw []byte) (*sdk.PluginSDK, string) {
|
||||
t.Helper()
|
||||
dir, err := os.MkdirTemp("", "seemedia-cas-")
|
||||
dir := t.TempDir()
|
||||
db, err := memory.NewGraphDB(filepath.Join(dir, "graph.db"))
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
t.Cleanup(func() { os.RemoveAll(dir) })
|
||||
store, err := media.New(dir)
|
||||
if err != nil {
|
||||
t.Cleanup(func() { db.Close() })
|
||||
|
||||
block := memory.MemoryBlock{
|
||||
ID: memory.MediaBlockID("video/mp4", raw),
|
||||
Modality: memory.BlockVideo,
|
||||
Data: raw,
|
||||
MIME: "video/mp4",
|
||||
Size: int64(len(raw)),
|
||||
Tool: "test",
|
||||
}
|
||||
if err := db.PutMemoryBlocks([]memory.MemoryBlock{block}); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
digest, err := store.Put(raw, media.Item{MIME: "video/mp4", Tool: "test"})
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
return sdk.New("seemedia", sdk.SDKConfig{Media: sdk.NewMedia(store)}), digest
|
||||
return sdk.New("seemedia", sdk.SDKConfig{
|
||||
Memory: sdk.NewGraphMemoryWithPlugin("seemedia", db),
|
||||
}), block.ID
|
||||
}
|
||||
|
||||
func mkTestVideo(t *testing.T, dur int) string {
|
||||
@ -195,7 +205,7 @@ func TestExtractFrames_ConcurrentNoLeak(t *testing.T) {
|
||||
}
|
||||
}
|
||||
|
||||
// ⑥ digest 视频来源：真 CAS 取字节 → 临时文件 → 抽帧 → cleanup 删文件。
|
||||
// ⑥ 块引用视频来源：真记忆块取字节 → 临时文件 → 抽帧 → cleanup 删文件。
|
||||
func TestResolveVideoInput_DigestCleanup(t *testing.T) {
|
||||
p := newProbedPlugin(t)
|
||||
video := mkTestVideo(t, 4)
|
||||
@ -203,12 +213,12 @@ func TestResolveVideoInput_DigestCleanup(t *testing.T) {
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
s, digest := sdkWithVideo(t, raw)
|
||||
s, ref := sdkWithVideo(t, raw)
|
||||
p.sdk = s
|
||||
|
||||
input, cleanup, err := p.resolveVideoInput(map[string]interface{}{"digest": digest})
|
||||
input, cleanup, err := p.resolveVideoInput(map[string]interface{}{"digest": ref})
|
||||
if err != nil {
|
||||
t.Fatalf("digest 解析失败: %v", err)
|
||||
t.Fatalf("块引用解析失败: %v", err)
|
||||
}
|
||||
if _, serr := os.Stat(input); serr != nil {
|
||||
t.Fatalf("临时视频文件应存在: %v", serr)
|
||||
|
||||
@ -24,7 +24,7 @@
|
||||
// # 媒体来源（用户决策 path + digest + url 三者都支持）
|
||||
//
|
||||
// path —— 设备/工具回传的落盘文件（local_screensee、browser_screenshot、mc 截图…）
|
||||
// digest —— 用户上传已入 CAS 的媒体，用 sdk.Media().Get 取回，不在内核与插件间传 base64
|
||||
// digest —— 用户上传已入库的媒体，用 sdk.Memory().MediaBytes 按块取回，不在内核与插件间传 base64
|
||||
// url —— http(s) 直链；图/音频原样透传给模型（不下载，不入 CAS，交给上游拉取），
|
||||
// 视频则交给 ffmpeg 直接读取（ffmpeg 原生支持 http 输入）
|
||||
//
|
||||
@ -129,7 +129,7 @@ func (p *Plugin) Start(s *sdk.PluginSDK) error {
|
||||
},
|
||||
"digest": map[string]interface{}{
|
||||
"type": "string",
|
||||
"description": "媒体在内容寻址库（CAS）里的 digest（用户上传已入库的媒体）。",
|
||||
"description": "媒体在记忆里的**块引用**（块 ID 或其唯一前缀；用户上传已入库的媒体）。",
|
||||
},
|
||||
"url": map[string]interface{}{
|
||||
"type": "string",
|
||||
@ -303,16 +303,27 @@ func (p *Plugin) handleSeeVideo(args map[string]interface{}) (interface{}, error
|
||||
|
||||
// ── 来源解析 ───────────────────────────────────────────────
|
||||
|
||||
// resolveMediaURL 把 path/digest/url 解析成可直接放进 image_url/audio_url 的字符串。
|
||||
// mediaBytes 按媒体块引用取回字节与 MIME。
|
||||
//
|
||||
// url → 原样返回（http 直链，交给上游拉取；不下载、不入 CAS）
|
||||
// path → 读本地文件，转 data URL
|
||||
// digest → 从 CAS 取回字节，转 data URL
|
||||
// ★ CAS 淘汰后插件取媒体的唯一路径：块 ID（内容派生）就是媒体身份。
|
||||
// 取不到时返回 ok=false（“这个引用没媒体”是常态，不是错误）。
|
||||
func (p *Plugin) mediaBytes(ref string) (data []byte, mime string, ok bool, err error) {
|
||||
if p.sdk == nil || p.sdk.Memory() == nil {
|
||||
return nil, "", false, fmt.Errorf("记忆系统不可用")
|
||||
}
|
||||
return p.sdk.Memory().MediaBytes(ref)
|
||||
}
|
||||
|
||||
// resolveMediaURL 把 path/ref/url 解析成可直接放进 image_url/audio_url 的字符串。
|
||||
//
|
||||
// url → 原样返回（http 直链，交给上游拉取；不下载）
|
||||
// path → 读本地文件，转 data URL
|
||||
// ref → 按**媒体块引用**取回字节，转 data URL
|
||||
//
|
||||
// kind 仅用于在扩展名/元信息都缺失时猜一个兜底 MIME（image 或 audio）。
|
||||
func (p *Plugin) resolveMediaURL(args map[string]interface{}, kind string) (string, error) {
|
||||
path := strings.TrimSpace(argStr(args, "path"))
|
||||
digest := strings.TrimSpace(argStr(args, "digest"))
|
||||
ref := strings.TrimSpace(argStr(args, "digest"))
|
||||
rawURL := strings.TrimSpace(argStr(args, "url"))
|
||||
|
||||
switch {
|
||||
@ -332,22 +343,24 @@ func (p *Plugin) resolveMediaURL(args map[string]interface{}, kind string) (stri
|
||||
}
|
||||
return dataURL(mimeByExtOr(path, kind), b), nil
|
||||
|
||||
case digest != "":
|
||||
if p.sdk.Media() == nil {
|
||||
return "", fmt.Errorf("内容寻址库不可用，无法按 digest 取媒体")
|
||||
}
|
||||
b, err := p.sdk.Media().Get(digest)
|
||||
case ref != "":
|
||||
// ★ CAS 淘汰：digest 参数现收**媒体块引用**（块 ID 或其唯一前缀），
|
||||
// 由记忆层按块取字节 —— 不再有独立的 digest 寻址层。
|
||||
b, mime, ok, err := p.mediaBytes(ref)
|
||||
if err != nil {
|
||||
return "", fmt.Errorf("按 digest 取媒体失败 %s: %w", digest, err)
|
||||
return "", fmt.Errorf("按块引用取媒体失败 %s: %w", ref, err)
|
||||
}
|
||||
mime := fallbackMIME(kind)
|
||||
if info, serr := p.sdk.Media().Stat(digest); serr == nil && info.MIME != "" {
|
||||
mime = info.MIME
|
||||
if !ok {
|
||||
return "", fmt.Errorf("媒体块引用 %s 无对应块或无负载；"+
|
||||
"请传 path（设备/工具回传的文件）或 url（http(s) 直链）", ref)
|
||||
}
|
||||
if mime == "" {
|
||||
mime = fallbackMIME(kind)
|
||||
}
|
||||
return dataURL(mime, b), nil
|
||||
}
|
||||
return "", fmt.Errorf("没有可处理的媒体。请传 path（设备/工具回传的文件，如 screensee 的截图）、" +
|
||||
"digest（CAS 里的媒体），或 url（http(s) 直链）三者之一")
|
||||
"digest（记忆里的媒体块引用），或 url（http(s) 直链）三者之一")
|
||||
}
|
||||
|
||||
// resolveVideoInput 为 see_video 解析出一个 ffmpeg 能读的输入。
|
||||
@ -360,7 +373,7 @@ func (p *Plugin) resolveMediaURL(args map[string]interface{}, kind string) (stri
|
||||
func (p *Plugin) resolveVideoInput(args map[string]interface{}) (input string, cleanup func(), err error) {
|
||||
noop := func() {}
|
||||
path := strings.TrimSpace(argStr(args, "path"))
|
||||
digest := strings.TrimSpace(argStr(args, "digest"))
|
||||
ref := strings.TrimSpace(argStr(args, "digest"))
|
||||
rawURL := strings.TrimSpace(argStr(args, "url"))
|
||||
|
||||
switch {
|
||||
@ -378,13 +391,14 @@ func (p *Plugin) resolveVideoInput(args map[string]interface{}) (input string, c
|
||||
}
|
||||
return path, noop, nil
|
||||
|
||||
case digest != "":
|
||||
if p.sdk.Media() == nil {
|
||||
return "", noop, fmt.Errorf("内容寻址库不可用，无法按 digest 取视频")
|
||||
}
|
||||
b, e := p.sdk.Media().Get(digest)
|
||||
case ref != "":
|
||||
// ★ CAS 淘汰：digest 参数现收**媒体块引用**，由记忆层取字节。
|
||||
b, _, ok, e := p.mediaBytes(ref)
|
||||
if e != nil {
|
||||
return "", noop, fmt.Errorf("按 digest 取视频失败 %s: %w", digest, e)
|
||||
return "", noop, fmt.Errorf("按块引用取视频失败 %s: %w", ref, e)
|
||||
}
|
||||
if !ok {
|
||||
return "", noop, fmt.Errorf("媒体块引用 %s 无对应块或无负载；请传 path 或 url", ref)
|
||||
}
|
||||
f, e := os.CreateTemp("", "seemedia-*.video")
|
||||
if e != nil {
|
||||
|
||||
Reference in New Issue
Block a user