mirror of
https://gitcode.com/JianFeeeee/HomeAgent.git
synced 2026-10-15 12:15:16 +00:00
refactor(memory)!: 删除 CAS 包与第二套召回（块 union 化第四阶段：收尾）
块 union 化前三阶段已让块自带负载、回填存量字节。本提交拆掉 CAS 本身： `internal/memory/media/`（2100 行）+ `QueryMediaScored`（第二套召回） + `media_refs`/`ref_count` 引用账本 + `internal/sdk/media.go`（MediaAPI） + `SDKConfig.Media` / `SetMediaStore` 接线。删完 CAS 才真正不存在。 ## 为何可删（不是"先删了再说"） - **MediaAPI 在生产早已是死的**：`SDKConfig.Media` 自86572d13起从未被设置， `sdk.Media()` 恒为 nil，插件 digest 路径一直走"内容寻址库不可用"分支。 删的是死代码，不是活路径。 - **第二套召回确无调用方**：`QueryMediaScored` 仅被 media 包自身的测试引用， 跨包引用为 0（块召回走 `RecallBlocks`）。 - **heldMediaDigests 补丁**（crossmodal 靠它防召回"无处可归的媒体"） 已在86572d13删除 —— 两套存储才需要的那种补丁，随存储一起没了。 ## 替代路径：块引用取代 digest 插件取媒体从 `sdk.Media().Get(digest)` 改为 `sdk.Memory().MediaBytes(ref)`： - **新增 `MemoryAPI.MediaBytes(ref) (data, mime, ok, err)`**（内置接口，非 pubsdk）： 按块引用（完整块 ID 或唯一前缀）取字节；`ok=false` 而非 error —— "这个引用没有媒体"是调用方能处理的常态。 - **seemedia / multimodal**：`digest` 参数语义改为**媒体块引用**，工具描述同步。 path/url 两条来源不变（生产实际只用这两条）。 - **webui 知识上传**：媒体字节不再 Put 进 CAS 再拿 digest，而是作为 `KnowledgeMediaRef.Data` 随引用携带，由 knowledge.Write 落进条目目录 （与 content.md 同生共灭，Remove 的 RemoveAll 天然清掉）。 - **回填命令去依赖**：cmd/homed-media-backfill 不再 import 待删的 media 包， 改为直接读**冻结的历史布局** blobs/<d[:2]>/<d[2:]> 并自校验 sha256。 依赖待删代码的迁移工具会在删包那刻失效 —— 迁移必须比被迁移的东西活得久。 ## 判据（全部做过变异测试） - `TestMemoryBytes_ByBlockRef`：完整 ID / 唯一前缀可取回且逐字节一致； 不存在→ok=false；过短前缀（歧义）→ok=false；无负载块→ok=false；空引用不 panic。 变异（不校验 ok，把不存在当有）当场被 3 条断言抓住。 - `TestE2EMediaBytesAgainstBackfilledDB`（-tags e2e，读真回填库）： 10/10 块经 MediaBytes 取回的字节与块 data 的 sha256 完全一致。 - `TestKnowledgeUploadedMediaRetrievable` 重写为**条目目录自带字节**判据 （不再是"向存储按 digest 读回"）；`TestKnowledgeUploadMediaNeedsNoStore` 改为"上传无外部存储依赖也必须成功"（旧的 503 语义已随 CAS 消失）。 ## 静态确认 `QueryMediaScored` / `internal/memory/media` import / `MediaAPI` / `sdk.Media()` / `SetMediaStore` / `heldMediaDigests` 全仓均为 0 处 （仅剩 medialoop.go 一句历史注释）。 回归：memory / sdk / agent-core / knowledge / plugin / webui / seemedia / multimodal 八包全绿；全仓生产编译 GREEN。
This commit is contained in:
JianFeeeee
@ -26,8 +26,8 @@
|
||||
//
|
||||
// ① **path**：设备/工具回传的媒体已被 remotedevice 落盘（如 screensee 的
|
||||
// file 字段），插件直接读文件。
|
||||
// ② **digest**：用户直接上传的媒体，内核在 `processInput` 里已经落进 CAS
|
||||
// （`stageMediaDigests`）。插件用 `sdk.Media().Get(digest)` 取回字节 ——
|
||||
// ② **块引用**：用户直接上传的媒体，内核在 `processInput` 里已落成记忆块
|
||||
// （内容派生 ID）。插件用 `sdk.Memory().MediaBytes(ref)` 取回字节 ——
|
||||
// 比在内核与插件之间传 base64 干净得多（内核那份 pendingMedia 可以退场）。
|
||||
package multimodal
|
||||
|
||||
@ -152,7 +152,7 @@ func (p *Plugin) commonParams() map[string]interface{} {
|
||||
},
|
||||
"digest": map[string]interface{}{
|
||||
"type": "string",
|
||||
"description": "可选：媒体在内容寻址库（CAS）里的 digest。与 path 二选一。",
|
||||
"description": "可选：媒体在记忆里的**块引用**（块 ID 或其唯一前缀）。与 path 二选一。",
|
||||
},
|
||||
"provider": map[string]interface{}{
|
||||
"type": "string",
|
||||
@ -330,10 +330,10 @@ func (p *Plugin) describe(args map[string]interface{}, prompt, prefix string,
|
||||
}, nil
|
||||
}
|
||||
|
||||
// resolveMedia 按 path → digest 的顺序解析出 data URL。
|
||||
// resolveMedia 按 path → 块引用 的顺序解析出 data URL。
|
||||
func (p *Plugin) resolveMedia(args map[string]interface{}, kind string) (string, error) {
|
||||
path, _ := args["path"].(string)
|
||||
digest, _ := args["digest"].(string)
|
||||
ref, _ := args["digest"].(string)
|
||||
|
||||
switch {
|
||||
case strings.TrimSpace(path) != "":
|
||||
@ -353,25 +353,29 @@ func (p *Plugin) resolveMedia(args map[string]interface{}, kind string) (string,
|
||||
}
|
||||
return "data:" + mime + ";base64," + base64.StdEncoding.EncodeToString(b), nil
|
||||
|
||||
case strings.TrimSpace(digest) != "":
|
||||
if p.sdk.Media() == nil {
|
||||
return "", fmt.Errorf("内容寻址库不可用，无法按 digest 取媒体")
|
||||
case strings.TrimSpace(ref) != "":
|
||||
// ★ CAS 淘汰：digest 参数现收**媒体块引用**，由记忆层按块取字节。
|
||||
if p.sdk.Memory() == nil {
|
||||
return "", fmt.Errorf("记忆系统不可用，无法按块引用取媒体")
|
||||
}
|
||||
b, err := p.sdk.Media().Get(strings.TrimSpace(digest))
|
||||
b, mime, ok, err := p.sdk.Memory().MediaBytes(strings.TrimSpace(ref))
|
||||
if err != nil {
|
||||
return "", fmt.Errorf("按 digest 取媒体失败 %s: %w", digest, err)
|
||||
return "", fmt.Errorf("按块引用取媒体失败 %s: %w", ref, err)
|
||||
}
|
||||
mime := "image/png"
|
||||
if info, serr := p.sdk.Media().Stat(strings.TrimSpace(digest)); serr == nil && info.MIME != "" {
|
||||
mime = info.MIME
|
||||
} else if kind == "audio_url" {
|
||||
mime = "audio/wav"
|
||||
if !ok {
|
||||
return "", fmt.Errorf("媒体块引用 %s 无对应块或无负载", ref)
|
||||
}
|
||||
if mime == "" {
|
||||
mime = "image/png"
|
||||
if kind == "audio_url" {
|
||||
mime = "audio/wav"
|
||||
}
|
||||
}
|
||||
return "data:" + mime + ";base64," + base64.StdEncoding.EncodeToString(b), nil
|
||||
}
|
||||
// ★ 两条都没有 ⇒ 明确报错，并说清怎么办。
|
||||
return "", fmt.Errorf("没有可处理的媒体。请传 path（设备/工具回传的媒体，" +
|
||||
"如 screensee 返回的 file 路径）或 digest；" +
|
||||
"如 screensee 返回的 file 路径）或 digest（记忆里的媒体块引用）；" +
|
||||
"本轮用户直接上传的图片/音频请直接用它们，无需本工具")
|
||||
}
|
||||
|
||||
|
||||
@ -11,7 +11,7 @@ import (
|
||||
"testing"
|
||||
"time"
|
||||
|
||||
"github.com/JianFeeeee/HomeAgent/internal/memory/media"
|
||||
"github.com/JianFeeeee/HomeAgent/internal/memory"
|
||||
sdk "github.com/JianFeeeee/HomeAgent/internal/sdk"
|
||||
)
|
||||
|
||||
@ -23,26 +23,36 @@ import (
|
||||
// - 损坏输入如实报错、不 panic
|
||||
// - 已取消的 ctx 必须让 ffmpeg 立刻失败（取消传播真生效）
|
||||
// - 并发 16 路抽帧不串台、不泄漏临时目录
|
||||
// - digest 视频走真 CAS → 临时文件 → cleanup 删文件
|
||||
// - 块引用视频走真记忆库 → 临时文件 → cleanup 删文件
|
||||
|
||||
// sdkWithVideo 用真 CAS（临时目录）把一段视频字节 Put 进去，返回带媒体面的
|
||||
// PluginSDK 与**真实 digest**（真实 CAS 的 key 是内容哈希，直接用它取回）。
|
||||
// sdkWithVideo 把一段视频字节写成**真记忆块**（内容派生 ID），返回带记忆面的
|
||||
// PluginSDK 与真实块引用（块 ID 或其唯一前缀，与生产同一取字节路径）。
|
||||
//
|
||||
// ★ CAS 淘汰后不再有媒体存储可 Put：字节进块（MemoryBlock.Data），
|
||||
// 插件用 sdk.Memory().MediaBytes(ref) 取回 —— 这正是测试要钉的路径。
|
||||
func sdkWithVideo(t *testing.T, raw []byte) (*sdk.PluginSDK, string) {
|
||||
t.Helper()
|
||||
dir, err := os.MkdirTemp("", "seemedia-cas-")
|
||||
dir := t.TempDir()
|
||||
db, err := memory.NewGraphDB(filepath.Join(dir, "graph.db"))
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
t.Cleanup(func() { os.RemoveAll(dir) })
|
||||
store, err := media.New(dir)
|
||||
if err != nil {
|
||||
t.Cleanup(func() { db.Close() })
|
||||
|
||||
block := memory.MemoryBlock{
|
||||
ID: memory.MediaBlockID("video/mp4", raw),
|
||||
Modality: memory.BlockVideo,
|
||||
Data: raw,
|
||||
MIME: "video/mp4",
|
||||
Size: int64(len(raw)),
|
||||
Tool: "test",
|
||||
}
|
||||
if err := db.PutMemoryBlocks([]memory.MemoryBlock{block}); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
digest, err := store.Put(raw, media.Item{MIME: "video/mp4", Tool: "test"})
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
return sdk.New("seemedia", sdk.SDKConfig{Media: sdk.NewMedia(store)}), digest
|
||||
return sdk.New("seemedia", sdk.SDKConfig{
|
||||
Memory: sdk.NewGraphMemoryWithPlugin("seemedia", db),
|
||||
}), block.ID
|
||||
}
|
||||
|
||||
func mkTestVideo(t *testing.T, dur int) string {
|
||||
@ -195,7 +205,7 @@ func TestExtractFrames_ConcurrentNoLeak(t *testing.T) {
|
||||
}
|
||||
}
|
||||
|
||||
// ⑥ digest 视频来源：真 CAS 取字节 → 临时文件 → 抽帧 → cleanup 删文件。
|
||||
// ⑥ 块引用视频来源：真记忆块取字节 → 临时文件 → 抽帧 → cleanup 删文件。
|
||||
func TestResolveVideoInput_DigestCleanup(t *testing.T) {
|
||||
p := newProbedPlugin(t)
|
||||
video := mkTestVideo(t, 4)
|
||||
@ -203,12 +213,12 @@ func TestResolveVideoInput_DigestCleanup(t *testing.T) {
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
s, digest := sdkWithVideo(t, raw)
|
||||
s, ref := sdkWithVideo(t, raw)
|
||||
p.sdk = s
|
||||
|
||||
input, cleanup, err := p.resolveVideoInput(map[string]interface{}{"digest": digest})
|
||||
input, cleanup, err := p.resolveVideoInput(map[string]interface{}{"digest": ref})
|
||||
if err != nil {
|
||||
t.Fatalf("digest 解析失败: %v", err)
|
||||
t.Fatalf("块引用解析失败: %v", err)
|
||||
}
|
||||
if _, serr := os.Stat(input); serr != nil {
|
||||
t.Fatalf("临时视频文件应存在: %v", serr)
|
||||
|
||||
@ -24,7 +24,7 @@
|
||||
// # 媒体来源（用户决策 path + digest + url 三者都支持）
|
||||
//
|
||||
// path —— 设备/工具回传的落盘文件（local_screensee、browser_screenshot、mc 截图…）
|
||||
// digest —— 用户上传已入 CAS 的媒体，用 sdk.Media().Get 取回，不在内核与插件间传 base64
|
||||
// digest —— 用户上传已入库的媒体，用 sdk.Memory().MediaBytes 按块取回，不在内核与插件间传 base64
|
||||
// url —— http(s) 直链；图/音频原样透传给模型（不下载，不入 CAS，交给上游拉取），
|
||||
// 视频则交给 ffmpeg 直接读取（ffmpeg 原生支持 http 输入）
|
||||
//
|
||||
@ -129,7 +129,7 @@ func (p *Plugin) Start(s *sdk.PluginSDK) error {
|
||||
},
|
||||
"digest": map[string]interface{}{
|
||||
"type": "string",
|
||||
"description": "媒体在内容寻址库（CAS）里的 digest（用户上传已入库的媒体）。",
|
||||
"description": "媒体在记忆里的**块引用**（块 ID 或其唯一前缀；用户上传已入库的媒体）。",
|
||||
},
|
||||
"url": map[string]interface{}{
|
||||
"type": "string",
|
||||
@ -303,16 +303,27 @@ func (p *Plugin) handleSeeVideo(args map[string]interface{}) (interface{}, error
|
||||
|
||||
// ── 来源解析 ───────────────────────────────────────────────
|
||||
|
||||
// resolveMediaURL 把 path/digest/url 解析成可直接放进 image_url/audio_url 的字符串。
|
||||
// mediaBytes 按媒体块引用取回字节与 MIME。
|
||||
//
|
||||
// url → 原样返回（http 直链，交给上游拉取；不下载、不入 CAS）
|
||||
// path → 读本地文件，转 data URL
|
||||
// digest → 从 CAS 取回字节，转 data URL
|
||||
// ★ CAS 淘汰后插件取媒体的唯一路径：块 ID（内容派生）就是媒体身份。
|
||||
// 取不到时返回 ok=false（“这个引用没媒体”是常态，不是错误）。
|
||||
func (p *Plugin) mediaBytes(ref string) (data []byte, mime string, ok bool, err error) {
|
||||
if p.sdk == nil || p.sdk.Memory() == nil {
|
||||
return nil, "", false, fmt.Errorf("记忆系统不可用")
|
||||
}
|
||||
return p.sdk.Memory().MediaBytes(ref)
|
||||
}
|
||||
|
||||
// resolveMediaURL 把 path/ref/url 解析成可直接放进 image_url/audio_url 的字符串。
|
||||
//
|
||||
// url → 原样返回（http 直链，交给上游拉取；不下载）
|
||||
// path → 读本地文件，转 data URL
|
||||
// ref → 按**媒体块引用**取回字节，转 data URL
|
||||
//
|
||||
// kind 仅用于在扩展名/元信息都缺失时猜一个兜底 MIME（image 或 audio）。
|
||||
func (p *Plugin) resolveMediaURL(args map[string]interface{}, kind string) (string, error) {
|
||||
path := strings.TrimSpace(argStr(args, "path"))
|
||||
digest := strings.TrimSpace(argStr(args, "digest"))
|
||||
ref := strings.TrimSpace(argStr(args, "digest"))
|
||||
rawURL := strings.TrimSpace(argStr(args, "url"))
|
||||
|
||||
switch {
|
||||
@ -332,22 +343,24 @@ func (p *Plugin) resolveMediaURL(args map[string]interface{}, kind string) (stri
|
||||
}
|
||||
return dataURL(mimeByExtOr(path, kind), b), nil
|
||||
|
||||
case digest != "":
|
||||
if p.sdk.Media() == nil {
|
||||
return "", fmt.Errorf("内容寻址库不可用，无法按 digest 取媒体")
|
||||
}
|
||||
b, err := p.sdk.Media().Get(digest)
|
||||
case ref != "":
|
||||
// ★ CAS 淘汰：digest 参数现收**媒体块引用**（块 ID 或其唯一前缀），
|
||||
// 由记忆层按块取字节 —— 不再有独立的 digest 寻址层。
|
||||
b, mime, ok, err := p.mediaBytes(ref)
|
||||
if err != nil {
|
||||
return "", fmt.Errorf("按 digest 取媒体失败 %s: %w", digest, err)
|
||||
return "", fmt.Errorf("按块引用取媒体失败 %s: %w", ref, err)
|
||||
}
|
||||
mime := fallbackMIME(kind)
|
||||
if info, serr := p.sdk.Media().Stat(digest); serr == nil && info.MIME != "" {
|
||||
mime = info.MIME
|
||||
if !ok {
|
||||
return "", fmt.Errorf("媒体块引用 %s 无对应块或无负载；"+
|
||||
"请传 path（设备/工具回传的文件）或 url（http(s) 直链）", ref)
|
||||
}
|
||||
if mime == "" {
|
||||
mime = fallbackMIME(kind)
|
||||
}
|
||||
return dataURL(mime, b), nil
|
||||
}
|
||||
return "", fmt.Errorf("没有可处理的媒体。请传 path（设备/工具回传的文件，如 screensee 的截图）、" +
|
||||
"digest（CAS 里的媒体），或 url（http(s) 直链）三者之一")
|
||||
"digest（记忆里的媒体块引用），或 url（http(s) 直链）三者之一")
|
||||
}
|
||||
|
||||
// resolveVideoInput 为 see_video 解析出一个 ffmpeg 能读的输入。
|
||||
@ -360,7 +373,7 @@ func (p *Plugin) resolveMediaURL(args map[string]interface{}, kind string) (stri
|
||||
func (p *Plugin) resolveVideoInput(args map[string]interface{}) (input string, cleanup func(), err error) {
|
||||
noop := func() {}
|
||||
path := strings.TrimSpace(argStr(args, "path"))
|
||||
digest := strings.TrimSpace(argStr(args, "digest"))
|
||||
ref := strings.TrimSpace(argStr(args, "digest"))
|
||||
rawURL := strings.TrimSpace(argStr(args, "url"))
|
||||
|
||||
switch {
|
||||
@ -378,13 +391,14 @@ func (p *Plugin) resolveVideoInput(args map[string]interface{}) (input string, c
|
||||
}
|
||||
return path, noop, nil
|
||||
|
||||
case digest != "":
|
||||
if p.sdk.Media() == nil {
|
||||
return "", noop, fmt.Errorf("内容寻址库不可用，无法按 digest 取视频")
|
||||
}
|
||||
b, e := p.sdk.Media().Get(digest)
|
||||
case ref != "":
|
||||
// ★ CAS 淘汰：digest 参数现收**媒体块引用**，由记忆层取字节。
|
||||
b, _, ok, e := p.mediaBytes(ref)
|
||||
if e != nil {
|
||||
return "", noop, fmt.Errorf("按 digest 取视频失败 %s: %w", digest, e)
|
||||
return "", noop, fmt.Errorf("按块引用取视频失败 %s: %w", ref, e)
|
||||
}
|
||||
if !ok {
|
||||
return "", noop, fmt.Errorf("媒体块引用 %s 无对应块或无负载；请传 path 或 url", ref)
|
||||
}
|
||||
f, e := os.CreateTemp("", "seemedia-*.video")
|
||||
if e != nil {
|
||||
|
||||
@ -121,7 +121,6 @@ type Handler struct {
|
||||
status sdk.StatusAPI
|
||||
term sdk.TerminalAPI
|
||||
llm sdk.LLMAPI
|
||||
mediaStore sdk.MediaAPI
|
||||
|
||||
// hostPort 是 webui 实际监听的 ":port"（用于推导服务入口链接）。
|
||||
hostPort string
|
||||
@ -183,7 +182,6 @@ func NewHandler(s *sdk.PluginSDK) *Handler {
|
||||
st sdk.StatusAPI
|
||||
term sdk.TerminalAPI
|
||||
llm sdk.LLMAPI
|
||||
ms sdk.MediaAPI
|
||||
)
|
||||
if s != nil {
|
||||
sup, mem, idx = s.Supervisor(), s.Memory(), s.Indexer()
|
||||
@ -192,7 +190,6 @@ func NewHandler(s *sdk.PluginSDK) *Handler {
|
||||
se, pm = s.Settings(), s.PluginMgr()
|
||||
st, llm = s.Status(), s.LLM()
|
||||
term = s.Terminal()
|
||||
ms = s.Media()
|
||||
}
|
||||
h := &Handler{
|
||||
sdk: s,
|
||||
@ -210,7 +207,6 @@ func NewHandler(s *sdk.PluginSDK) *Handler {
|
||||
status: st,
|
||||
term: term,
|
||||
llm: llm,
|
||||
mediaStore: ms,
|
||||
sessions: make(map[string]time.Time),
|
||||
loginLimiter: newLoginLimiter(loginMaxFails, loginWindow),
|
||||
pendingIdx: -1,
|
||||
|
||||
@ -31,6 +31,12 @@ func (f *fakeGraphMemory) Purge(map[string]string, string) (int, error) {
|
||||
}
|
||||
func (f *fakeGraphMemory) GraphData() (map[string]interface{}, error) { return f.data, nil }
|
||||
|
||||
// MediaBytes 是 CAS 淘汰后插件取媒体的入口。本桩只服务星图端点，
|
||||
// 不做媒体断言，返回“无此块”即可（与真实实现在无引用时的行为一致）。
|
||||
func (f *fakeGraphMemory) MediaBytes(string) ([]byte, string, bool, error) {
|
||||
return nil, "", false, nil
|
||||
}
|
||||
|
||||
// BlocksChangedSince 是 pulse 端点现在的数据源（不再走 GraphData 全量 + 过滤）。
|
||||
//
|
||||
// 桩要**忠实反映过滤语义**：只回窗口内的块。若这里偷懒返回全部，
|
||||
|
||||
@ -9,6 +9,7 @@ import (
|
||||
"mime/multipart"
|
||||
"net/http"
|
||||
"net/http/httptest"
|
||||
"os"
|
||||
"strings"
|
||||
"testing"
|
||||
"time"
|
||||
@ -16,16 +17,19 @@ import (
|
||||
"path/filepath"
|
||||
|
||||
"github.com/JianFeeeee/HomeAgent/internal/knowledge"
|
||||
"github.com/JianFeeeee/HomeAgent/internal/memory/media"
|
||||
"github.com/JianFeeeee/HomeAgent/internal/sdk"
|
||||
"github.com/JianFeeeee/HomeAgent/internal/supervisor"
|
||||
"github.com/JianFeeeee/HomeAgent/pkg/types"
|
||||
)
|
||||
|
||||
// newKnowledgeHandler 构造一个带知识库（可选媒体存储）的 Handler。
|
||||
func newKnowledgeHandler(t *testing.T, withMedia bool) (*Handler, *knowledge.Store, func()) {
|
||||
// newKnowledgeHandler 构造一个带知识库的 Handler。
|
||||
//
|
||||
// ★ 不再有“媒体存储”参数：CAS 淘汰后媒体字节随引用自带（KnowledgeMediaRef.Data），
|
||||
// 写知识不需要任何外部存储 —— 因此也不存在“存储未初始化”的失败态。
|
||||
func newKnowledgeHandler(t *testing.T) (*Handler, *knowledge.Store, string, func()) {
|
||||
t.Helper()
|
||||
ks := knowledge.NewStore(t.TempDir())
|
||||
dir := t.TempDir()
|
||||
ks := knowledge.NewStore(dir)
|
||||
if err := ks.Start(); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
@ -41,15 +45,8 @@ func newKnowledgeHandler(t *testing.T, withMedia bool) (*Handler, *knowledge.Sto
|
||||
Knowledge: sdk.NewKnowledge(ks),
|
||||
Config: sdk.NewConfig(cfg),
|
||||
}
|
||||
if withMedia {
|
||||
ms, err := media.New(t.TempDir())
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
sdkCfg.Media = sdk.NewMedia(ms)
|
||||
}
|
||||
h := NewHandler(testSDK(sdkCfg))
|
||||
return h, ks, func() { sup.Shutdown() }
|
||||
return h, ks, dir, func() { sup.Shutdown() }
|
||||
}
|
||||
|
||||
// 上传 PNG 绝不能被当文本存成乱码正文。
|
||||
@ -57,7 +54,7 @@ func newKnowledgeHandler(t *testing.T, withMedia bool) (*Handler, *knowledge.Sto
|
||||
// 修复前的行为：任何文件都是 file.Read 后 string(buf[:n]) 直接当 Markdown
|
||||
// 存进 content.md —— 传张图得到一份乱码文本知识，且无任何迹象。
|
||||
func TestKnowledgeUploadPNGIsNotStoredAsText(t *testing.T) {
|
||||
h, ks, done := newKnowledgeHandler(t, true)
|
||||
h, ks, _, done := newKnowledgeHandler(t)
|
||||
defer done()
|
||||
|
||||
raw := makePNG(t)
|
||||
@ -111,7 +108,7 @@ func TestKnowledgeUploadPNGIsNotStoredAsText(t *testing.T) {
|
||||
|
||||
// 声明 text/plain 但实际是 PNG（Content-Type 不可信）也必须入 CAS。
|
||||
func TestKnowledgeUploadDetectsRealTypeOverClaimedHeader(t *testing.T) {
|
||||
h, ks, done := newKnowledgeHandler(t, true)
|
||||
h, ks, _, done := newKnowledgeHandler(t)
|
||||
defer done()
|
||||
|
||||
raw := makePNG(t)
|
||||
@ -138,7 +135,7 @@ func TestKnowledgeUploadDetectsRealTypeOverClaimedHeader(t *testing.T) {
|
||||
|
||||
// 纯文本上传仍走原路径存正文。
|
||||
func TestKnowledgeUploadTextStaysAsContent(t *testing.T) {
|
||||
h, ks, done := newKnowledgeHandler(t, true)
|
||||
h, ks, _, done := newKnowledgeHandler(t)
|
||||
defer done()
|
||||
|
||||
var buf bytes.Buffer
|
||||
@ -169,7 +166,7 @@ func TestKnowledgeUploadTextStaysAsContent(t *testing.T) {
|
||||
|
||||
// 非文本也非媒体的垃圾字节应被明确拒绝，而不是当文本存。
|
||||
func TestKnowledgeUploadRejectsBinaryGarbage(t *testing.T) {
|
||||
h, ks, done := newKnowledgeHandler(t, true)
|
||||
h, ks, _, done := newKnowledgeHandler(t)
|
||||
defer done()
|
||||
|
||||
// 非法 UTF-8 且探测不出媒体
|
||||
@ -194,9 +191,10 @@ func TestKnowledgeUploadRejectsBinaryGarbage(t *testing.T) {
|
||||
}
|
||||
}
|
||||
|
||||
// 媒体存储未初始化时上传图片必须 503，不能静默把二进制当文本存。
|
||||
func TestKnowledgeUploadMediaWithoutStoreIsUnavailable(t *testing.T) {
|
||||
h, _, done := newKnowledgeHandler(t, false)
|
||||
// 媒体上传不再依赖外部存储：CAS 淘汰后字节随引用自带，
|
||||
// 因此“没配媒体存储”不再是失败态 —— 上传图片必须成功。
|
||||
func TestKnowledgeUploadMediaNeedsNoStore(t *testing.T) {
|
||||
h, _, _, done := newKnowledgeHandler(t)
|
||||
defer done()
|
||||
|
||||
raw := makePNG(t)
|
||||
@ -211,14 +209,14 @@ func TestKnowledgeUploadMediaWithoutStoreIsUnavailable(t *testing.T) {
|
||||
req.Header.Set("Content-Type", mw.FormDataContentType())
|
||||
w := httptest.NewRecorder()
|
||||
h.handleKnowledge(w, req)
|
||||
if w.Code != http.StatusServiceUnavailable {
|
||||
t.Errorf("无媒体存储应 503，实为 %d: %s", w.Code, w.Body.String())
|
||||
if w.Code != http.StatusCreated && w.Code != http.StatusOK {
|
||||
t.Errorf("上传图片应成功（无外部存储依赖），实为 %d: %s", w.Code, w.Body.String())
|
||||
}
|
||||
}
|
||||
|
||||
// 状态码语义：名称非法是 400，不存在是 404，缺名是 400。
|
||||
func TestKnowledgeStatusCodes(t *testing.T) {
|
||||
h, _, done := newKnowledgeHandler(t, true)
|
||||
h, _, _, done := newKnowledgeHandler(t)
|
||||
defer done()
|
||||
|
||||
// 非法名称（..）
|
||||
@ -251,7 +249,7 @@ func TestKnowledgeStatusCodes(t *testing.T) {
|
||||
|
||||
// 搜索结果应带分类/预览等前端需要的字段，而不是裸 JSON。
|
||||
func TestKnowledgeSearchReturnsViews(t *testing.T) {
|
||||
h, ks, done := newKnowledgeHandler(t, true)
|
||||
h, ks, _, done := newKnowledgeHandler(t)
|
||||
defer done()
|
||||
if err := ks.Add("tech/go/并发", "goroutine 调度 GMP 抢占"); err != nil {
|
||||
t.Fatal(err)
|
||||
@ -287,7 +285,7 @@ func TestKnowledgeSearchReturnsViews(t *testing.T) {
|
||||
|
||||
// 分类过滤参数应真正生效。
|
||||
func TestKnowledgeSearchCategoryFilter(t *testing.T) {
|
||||
h, ks, done := newKnowledgeHandler(t, true)
|
||||
h, ks, _, done := newKnowledgeHandler(t)
|
||||
defer done()
|
||||
for _, e := range []struct{ n, c string }{
|
||||
{"tech/go/a", "并发 调度"},
|
||||
@ -316,7 +314,7 @@ func TestKnowledgeSearchCategoryFilter(t *testing.T) {
|
||||
|
||||
// 列表端点应返回 names + stats（供前端刷新计数），并附稠密路状态。
|
||||
func TestKnowledgeListReturnsStats(t *testing.T) {
|
||||
h, ks, done := newKnowledgeHandler(t, true)
|
||||
h, ks, _, done := newKnowledgeHandler(t)
|
||||
defer done()
|
||||
_ = ks.Add("a", "A")
|
||||
_ = ks.Add("b", "B")
|
||||
@ -393,7 +391,7 @@ func isPrintableOrSpace(s string) bool {
|
||||
// 前端在 dashboard.js 的 createKnowledgeChat 里用 FormData 组装，
|
||||
// 逐个 append("file", files[i]) —— 这里逐字复刻，确认服务端吃得下。
|
||||
func TestKnowledgeUploadMultipleFilesFromFrontend(t *testing.T) {
|
||||
h, ks, done := newKnowledgeHandler(t, true)
|
||||
h, ks, _, done := newKnowledgeHandler(t)
|
||||
defer done()
|
||||
|
||||
var buf bytes.Buffer
|
||||
@ -438,7 +436,7 @@ func TestKnowledgeUploadMultipleFilesFromFrontend(t *testing.T) {
|
||||
|
||||
// 文本文件不带 content 字段时，文本内容应被采纳为正文。
|
||||
func TestKnowledgeUploadTextFileBecomesContent(t *testing.T) {
|
||||
h, ks, done := newKnowledgeHandler(t, true)
|
||||
h, ks, _, done := newKnowledgeHandler(t)
|
||||
defer done()
|
||||
|
||||
var buf bytes.Buffer
|
||||
@ -461,9 +459,13 @@ func TestKnowledgeUploadTextFileBecomesContent(t *testing.T) {
|
||||
}
|
||||
}
|
||||
|
||||
// 上传的媒体必须能在媒体库里取回字节（digest 有效），否则引用是死的。
|
||||
// 上传的媒体必须真能取回字节，否则引用是死的。
|
||||
//
|
||||
// ★ CAS 淘汰后字节的归属变了：不再是全局内容寻址库，而是**条目目录自带的文件**
|
||||
// （与 content.md 同生共灭）。所以判据也从“按 digest 向存储读回”改为
|
||||
// “按条目记录的 File 从条目目录读回，且与上传字节逐字节一致”。
|
||||
func TestKnowledgeUploadedMediaRetrievable(t *testing.T) {
|
||||
h, ks, done := newKnowledgeHandler(t, true)
|
||||
h, ks, dir, done := newKnowledgeHandler(t)
|
||||
defer done()
|
||||
|
||||
raw := makePNG(t)
|
||||
@ -488,21 +490,32 @@ func TestKnowledgeUploadedMediaRetrievable(t *testing.T) {
|
||||
if len(resp.Media) != 1 {
|
||||
t.Fatalf("应 1 个媒体，实为 %d", len(resp.Media))
|
||||
}
|
||||
// Handler 持有的媒体存储应能按 digest 取回原始字节
|
||||
got, err := h.mediaStore.Get(resp.Media[0].Digest)
|
||||
ref := resp.Media[0]
|
||||
if ref.Digest == "" {
|
||||
t.Error("媒体引用应带内容派生 Digest（身份）")
|
||||
}
|
||||
if ref.Kind != "image" {
|
||||
t.Errorf("kind 应为 image，实为 %q", ref.Kind)
|
||||
}
|
||||
// 字节落在条目目录内的 File 上，读回应与上传逐字节一致。
|
||||
if ref.File == "" {
|
||||
t.Fatal("媒体引用应带条目目录内的 File 名")
|
||||
}
|
||||
got, err := os.ReadFile(filepath.Join(dir, "m", ref.File))
|
||||
if err != nil {
|
||||
t.Fatalf("媒体不可取回: %v", err)
|
||||
t.Fatalf("条目目录内取不到媒体字节: %v", err)
|
||||
}
|
||||
if !bytes.Equal(got, raw) {
|
||||
t.Error("取回的字节与上传的不一致")
|
||||
}
|
||||
info, err := h.mediaStore.Stat(resp.Media[0].Digest)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if info.Kind != "image" {
|
||||
t.Errorf("kind 应为 image，实为 %q", info.Kind)
|
||||
}
|
||||
// 条目上也应持久化了引用（重启不丢）
|
||||
// 条目上也应持久化了引用（重启不丢）：侧车文件里必须记下该引用，
|
||||
// 且 Data 不落侧车（字节只存文件，侧车只记引用，不重复存一份）。
|
||||
_ = ks.Flush()
|
||||
sidecar, err := os.ReadFile(filepath.Join(dir, "m", ".media.json"))
|
||||
if err != nil {
|
||||
t.Fatalf("媒体侧车应落盘: %v", err)
|
||||
}
|
||||
if !bytes.Contains(sidecar, []byte(ref.File)) {
|
||||
t.Errorf("侧车应记录媒体 File=%q，实为 %s", ref.File, sidecar)
|
||||
}
|
||||
}
|
||||
|
||||
@ -304,8 +304,6 @@ func knowledgeStatusFor(err error) (int, string) {
|
||||
return http.StatusBadRequest, err.Error()
|
||||
case errors.Is(err, knowledge.ErrNotFound):
|
||||
return http.StatusNotFound, err.Error()
|
||||
case errors.Is(err, sdk.ErrMediaUnavailable):
|
||||
return http.StatusServiceUnavailable, err.Error()
|
||||
default:
|
||||
return http.StatusInternalServerError, err.Error()
|
||||
}
|
||||
@ -507,17 +505,17 @@ func (h *Handler) handleKnowledgeUpload(w http.ResponseWriter, r *http.Request)
|
||||
if detected == "application/octet-stream" {
|
||||
useMIME = mime
|
||||
}
|
||||
if h.mediaStore == nil {
|
||||
writeJSON(w, http.StatusServiceUnavailable,
|
||||
map[string]string{"error": "媒体存储未初始化，无法保存图片/音视频"})
|
||||
return
|
||||
}
|
||||
digest, err := h.mediaStore.Put(data, useMIME, "webui_knowledge")
|
||||
if err != nil {
|
||||
writeJSON(w, http.StatusInternalServerError, map[string]string{"error": "store media: " + err.Error()})
|
||||
return
|
||||
}
|
||||
media = append(media, sdk.KnowledgeMediaRef{Digest: digest, MIME: useMIME, Kind: mediaKindOf(useMIME)})
|
||||
// ★ CAS 淘汰（2026-10-11）：字节不再寄存在全局内容寻址库，
|
||||
// 而是作为**条目自带数据**随引用携带，由 knowledge.Write 落进
|
||||
// 条目目录（与 content.md 同生共灭）。Digest 仍按内容派生
|
||||
// （MediaBlockID 同构），但不再需要先 Put 进独立存储。
|
||||
media = append(media, sdk.KnowledgeMediaRef{
|
||||
Digest: memory.MediaBlockID(useMIME, data),
|
||||
MIME: useMIME,
|
||||
Kind: mediaKindOf(useMIME),
|
||||
File: filepath.Base(fh.Filename),
|
||||
Data: data,
|
||||
})
|
||||
continue
|
||||
}
|
||||
// 文本类：确认是合法 UTF-8 才当正文，否则拒绝并说明原因
|
||||
|
||||
Reference in New Issue
Block a user