refactor(memory): 核心不再适配具体模型——公共 embedding provider SPI + 注册表

问题:cmd/homed 里 `case "onnx": qwen.New(modelDir)` 把模型适配写进了核心,
`type=onnx` 名义上是格式、实际写死了一个模型家族;2117 行 Qwen 专属代码
(BPE、chat template、M-RoPE、Vision_gN 命名)住在内核树里,还带着一对
`//go:build onnxruntime` 的 stub。加任何新模型都要改内核。

现在核心只认一个模型无关的公共契约(pkg/embedding):
- 输入是不透明的 Data+MIME,解码/预处理/时序分组全归 provider
- 能力是数据(Info.Modalities),不是接口方法——新增模态无需改核心接口
- 不支持的模态返回 embedding.ErrUnsupportedModality(可 errors.Is 识别)
- 按名字注册,重复注册 panic;Options 是 provider 私有命名空间,核心不解释

改动:
- 新增 pkg/embedding:Modality/Purpose/Input/Info/Provider/Config + 注册表
  (Open 校验 Info,ValidateVector 在入库前拦下维度错与非有限值)
- providers/qwen3vl:Qwen 实现整体移出内核(git mv),实现公共 SPI 并自注册
- internal/memory/vector:新增 ProviderAdapter(公共 SPI → 内部小接口);
  ErrModalityUnsupported 改为公共哨兵别名;删除 VideoEmbedder 可选接口
  (那正是「核心为每个新模态长方法」的坏味道)
- http embedder 也变成普通 provider(注册名 http)
- cmd/homed:删除 qwen import 与 onnx/http 分支,改为按 provider 名打开 +
  透传 options.*;provider 打开失败只警告并禁用多模态检索,不影响启动
- config:multimodal_space.type/onnx./http.* → provider + options.*
- 删除 internal/memory/qwen(整体搬迁)

测试:
- pkg/embedding:注册表隔离/未知名字/非法 Info 自动关闭/ValidateVector
- vector:适配器原样透传字节与 MIME、维度错被拦、Close 幂等且停止使用、
  两个哨兵 errors.Is 互通
- providers/qwen3vl:新增公共 SPI 全链路集成测试(Open→Info→Embed→
  未知模态哨兵),并明确断言 Info 不声明 video

已知未完成(不得当作已验证):
- 视频冻结回归 TestEmbedderVideoMatchesONNXReference **显式跳过**:Go 侧
  video 模板缺少 processor 按时间组插入的字面时间戳文本
  (<0.0 seconds>/<1.0 seconds>),同一输入 Python seq=1190(1152+38)、
  Go 只有 22 个文本 token。时间戳也占 M-RoPE 位置,故现有 M-RoPE 自洽断言
  通过不能证明与官方实现一致。修复属 provider 内部工作。
- 视觉侧三档已导出并逐档校验通过(cos 1.000000119/1.000000119/1.000000000)

验证:go build ./... ;go vet -tags onnxruntime ./... ;
go test -short ./internal/memory/... ./internal/agent/core/... ./internal/sdk/... ./pkg/...
;onnxruntime 下 providers/qwen3vl 全绿(视频为显式 skip)
This commit is contained in:
JianFeeeee
2026-09-11 18:26:19 +08:00
parent 1a02971f88
commit a37bc7333e
21 changed files with 2100 additions and 627 deletions

View File

@ -0,0 +1,115 @@
package vector
import (
"context"
"errors"
"testing"
"gitcode.com/JianFeeeee/HomeAgent/pkg/embedding"
)
// recordingProvider 记录核心传给 provider 的原始请求,用来断言
// 「核心不解释内容、只搬字节」这一契约。
type recordingProvider struct {
got []embedding.Input
dim int
closed bool
}
func (p *recordingProvider) Embed(_ context.Context, in embedding.Input) ([]float64, error) {
p.got = append(p.got, in)
return make([]float64, p.dim), nil
}
func (p *recordingProvider) Info() embedding.Info {
return embedding.Info{Dimension: p.dim, Fingerprint: "recording:1"}
}
func (p *recordingProvider) Close() { p.closed = true }
func TestProviderAdapterPassesOpaqueDataUnchanged(t *testing.T) {
inner := &recordingProvider{dim: 3}
adapted, err := AdaptProvider(inner)
if err != nil {
t.Fatal(err)
}
defer adapted.Close()
// 核心把媒体当作不透明字节搬运:既不解码也不改字节。
raw := []byte{0x89, 'P', 'N', 'G', 0x00, 0xff}
if _, err := adapted.EmbedImageDense(raw, "image/png"); err != nil {
t.Fatal(err)
}
got := inner.got[0]
if string(got.Data) != string(raw) {
t.Fatalf("provider 收到的字节被改动: %v", got.Data)
}
if got.Modality != embedding.ModalityImage || got.MIME != "image/png" {
t.Fatalf("模态/MIME 未原样传递: %+v", got)
}
if got.Purpose != embedding.PurposeDocument {
t.Fatalf("用途应为 document: %q", got.Purpose)
}
if _, err := adapted.VectorizeDense("hello"); err != nil {
t.Fatal(err)
}
if inner.got[1].Modality != embedding.ModalityText || inner.got[1].Text != "hello" {
t.Fatalf("文本请求不正确: %+v", inner.got[1])
}
}
func TestProviderAdapterRejectsWrongDimensionFromProvider(t *testing.T) {
// provider 声明 3 维却返回 2 维:必须在进入存储前被拦下,
// 否则一个维度错的向量会污染整个余弦检索。
bad := &badDimProvider{}
adapted, err := AdaptProvider(bad)
if err != nil {
t.Fatal(err)
}
defer adapted.Close()
if _, err := adapted.VectorizeDense("x"); err == nil {
t.Fatal("维度不符时应返回错误")
}
}
type badDimProvider struct{}
func (badDimProvider) Embed(context.Context, embedding.Input) ([]float64, error) {
return []float64{1, 2}, nil
}
func (badDimProvider) Info() embedding.Info {
return embedding.Info{Dimension: 3, Fingerprint: "bad:1"}
}
func (badDimProvider) Close() {}
func TestProviderAdapterCloseIsIdempotentAndStopsUse(t *testing.T) {
inner := &recordingProvider{dim: 2}
adapted, err := AdaptProvider(inner)
if err != nil {
t.Fatal(err)
}
adapted.Close()
adapted.Close() // 重复关闭不应 panic 或二次 Close provider
if !inner.closed {
t.Fatal("Close 未传递到 provider")
}
if _, err := adapted.VectorizeDense("x"); err == nil {
t.Fatal("关闭后应拒绝调用")
}
if adapted.Loaded() {
t.Fatal("关闭后 Loaded() 应为 false")
}
}
func TestModalityUnsupportedSentinelIsShared(t *testing.T) {
// 内核侧的哨兵与公共契约的哨兵必须是同一个provider 返回公共哨兵时,
// 内核仍能用自己原有的名字识别。
if !errors.Is(ErrModalityUnsupported, embedding.ErrUnsupportedModality) {
t.Fatal("vector.ErrModalityUnsupported 与 embedding.ErrUnsupportedModality 未打通")
}
wrapped := errors.Join(embedding.ErrUnsupportedModality, errors.New("audio/wav"))
if !errors.Is(wrapped, ErrModalityUnsupported) {
t.Fatal("包装后的错误无法用内核哨兵识别")
}
}