mirror of
https://gitcode.com/JianFeeeee/HomeAgent.git
synced 2026-09-21 17:38:10 +00:00
a37bc7333e
问题：cmd/homed 里 `case "onnx": qwen.New(modelDir)` 把模型适配写进了核心， `type=onnx` 名义上是格式、实际写死了一个模型家族；2117 行 Qwen 专属代码 （BPE、chat template、M-RoPE、Vision_gN 命名）住在内核树里，还带着一对 `//go:build onnxruntime` 的 stub。加任何新模型都要改内核。 现在核心只认一个模型无关的公共契约（pkg/embedding）： - 输入是不透明的 Data+MIME，解码/预处理/时序分组全归 provider - 能力是数据（Info.Modalities），不是接口方法——新增模态无需改核心接口 - 不支持的模态返回 embedding.ErrUnsupportedModality（可 errors.Is 识别） - 按名字注册，重复注册 panic；Options 是 provider 私有命名空间，核心不解释 改动： - 新增 pkg/embedding：Modality/Purpose/Input/Info/Provider/Config + 注册表 （Open 校验 Info，ValidateVector 在入库前拦下维度错与非有限值） - providers/qwen3vl：Qwen 实现整体移出内核（git mv），实现公共 SPI 并自注册 - internal/memory/vector：新增 ProviderAdapter（公共 SPI → 内部小接口）； ErrModalityUnsupported 改为公共哨兵别名；删除 VideoEmbedder 可选接口 （那正是「核心为每个新模态长方法」的坏味道） - http embedder 也变成普通 provider（注册名 http） - cmd/homed：删除 qwen import 与 onnx/http 分支，改为按 provider 名打开 + 透传 options.*；provider 打开失败只警告并禁用多模态检索，不影响启动 - config：multimodal_space.type/onnx./http.* → provider + options.* - 删除 internal/memory/qwen（整体搬迁） 测试： - pkg/embedding：注册表隔离/未知名字/非法 Info 自动关闭/ValidateVector - vector：适配器原样透传字节与 MIME、维度错被拦、Close 幂等且停止使用、 两个哨兵 errors.Is 互通 - providers/qwen3vl：新增公共 SPI 全链路集成测试（Open→Info→Embed→ 未知模态哨兵），并明确断言 Info 不声明 video 已知未完成（不得当作已验证）： - 视频冻结回归 TestEmbedderVideoMatchesONNXReference **显式跳过**：Go 侧 video 模板缺少 processor 按时间组插入的字面时间戳文本 （<0.0 seconds>/<1.0 seconds>），同一输入 Python seq=1190(1152+38)、 Go 只有 22 个文本 token。时间戳也占 M-RoPE 位置，故现有 M-RoPE 自洽断言 通过不能证明与官方实现一致。修复属 provider 内部工作。 - 视觉侧三档已导出并逐档校验通过（cos 1.000000119/1.000000119/1.000000000） 验证：go build ./... ；go vet -tags onnxruntime ./... ； go test -short ./internal/memory/... ./internal/agent/core/... ./internal/sdk/... ./pkg/... ；onnxruntime 下 providers/qwen3vl 全绿（视频为显式 skip）
85 lines
2.3 KiB
Go
85 lines
2.3 KiB
Go
package embedding
|
|
|
|
import (
|
|
"context"
|
|
"errors"
|
|
"math"
|
|
"reflect"
|
|
"strings"
|
|
"testing"
|
|
)
|
|
|
|
type testProvider struct {
|
|
info Info
|
|
closed bool
|
|
}
|
|
|
|
func (p *testProvider) Embed(_ context.Context, _ Input) ([]float64, error) {
|
|
return []float64{1, 0}, nil
|
|
}
|
|
func (p *testProvider) Info() Info { return p.info }
|
|
func (p *testProvider) Close() { p.closed = true }
|
|
|
|
func TestRegistryOpensProviderWithIsolatedOptions(t *testing.T) {
|
|
name := "test-registry-provider"
|
|
var got Config
|
|
Register(name, func(cfg Config) (Provider, error) {
|
|
got = cfg
|
|
cfg.Options["mutated"] = "inside"
|
|
return &testProvider{info: Info{Dimension: 2, Fingerprint: "test:1"}}, nil
|
|
})
|
|
input := Config{Options: map[string]string{"model_dir": "/model"}}
|
|
provider, err := Open(name, input)
|
|
if err != nil {
|
|
t.Fatal(err)
|
|
}
|
|
defer provider.Close()
|
|
if got.Options["model_dir"] != "/model" {
|
|
t.Fatalf("factory options = %#v", got.Options)
|
|
}
|
|
if _, changed := input.Options["mutated"]; changed {
|
|
t.Fatal("factory mutated caller-owned options")
|
|
}
|
|
if !reflect.DeepEqual(provider.Info(), Info{Dimension: 2, Fingerprint: "test:1"}) {
|
|
t.Fatalf("Info = %#v", provider.Info())
|
|
}
|
|
}
|
|
|
|
func TestOpenRejectsUnknownProvider(t *testing.T) {
|
|
_, err := Open("definitely-missing-provider", Config{})
|
|
if err == nil || !strings.Contains(err.Error(), "unknown provider") {
|
|
t.Fatalf("Open error = %v", err)
|
|
}
|
|
}
|
|
|
|
func TestOpenRejectsInvalidInfoAndClosesProvider(t *testing.T) {
|
|
name := "test-invalid-info-provider"
|
|
provider := &testProvider{info: Info{Dimension: 0, Fingerprint: ""}}
|
|
Register(name, func(Config) (Provider, error) { return provider, nil })
|
|
if _, err := Open(name, Config{}); err == nil {
|
|
t.Fatal("Open accepted invalid Info")
|
|
}
|
|
if !provider.closed {
|
|
t.Fatal("invalid provider was not closed")
|
|
}
|
|
}
|
|
|
|
func TestValidateVector(t *testing.T) {
|
|
if err := ValidateVector([]float64{1, 2}, 2); err != nil {
|
|
t.Fatal(err)
|
|
}
|
|
if err := ValidateVector([]float64{1}, 2); err == nil {
|
|
t.Fatal("dimension mismatch accepted")
|
|
}
|
|
if err := ValidateVector([]float64{1, math.NaN()}, 2); err == nil {
|
|
t.Fatal("non-finite vector accepted")
|
|
}
|
|
}
|
|
|
|
func TestUnsupportedModalitySentinel(t *testing.T) {
|
|
err := errors.Join(ErrUnsupportedModality, errors.New("audio"))
|
|
if !errors.Is(err, ErrUnsupportedModality) {
|
|
t.Fatal("sentinel does not support errors.Is")
|
|
}
|
|
}
|