mirror of
https://gitcode.com/JianFeeeee/HomeAgent.git
synced 2026-10-03 15:53:56 +00:00
feat(memory): 千问三段式 ONNX 嵌入补齐——可复现导出脚本 + Go 侧首次完整验证
此前三段式拆分后 ONNX 路径从未从 Go 侧跑通：embedder_onnx_test.go 仍引用 分段前的 API（e.renderInput、TextTower.onnx、旧目录），go vet -tags onnxruntime 直接编译失败。导出脚本只在 /tmp 且硬编码本机路径、从第三个目录拷贝固定形状的 Vision.onnx，完全不可复现。音频会被视觉塔编码，静默往统一空间灌入错误坐标。 本提交补齐这些缺口： 一、可复现导出脚本（scripts/export_qwen3vl_embedding_onnx.py） - 自动拉取模型（HuggingFace 优先，失败回落 ModelScope，支持 HF_ENDPOINT 镜像）； - 导出 TokenEmbedding + Transformer + Vision 三段图，图文共用同一 token embedding、28 层 Transformer、last-token 池化与 fingerprint； - 双重自检（不可省）：分段 PyTorch vs 完整模型 + 导出后的 ONNX vs 完整模型， cos < 0.999999 即非零退出——「能加载」不等于「算得对」； - 默认把 L2 归一化后的冻结参考向量写入产物目录（qwen_reference.json）—— Go 测试据此做逐维冻结回归，且「该目录是哪次导出的」从文件本身可追溯； - --verify-only 校验既有产物不重新导出，可用来确认线上在用的图没坏。 关键实测结论（已写入 docs/zh/multimodal-space.md 与长期记忆）： 原生多帧视频不可行——Qwen3-VL 视觉塔把 grid_thw 当 Python 值消费 （grid_thw.tolist()），legacy tracer 固化为常量，导出后图中根本没有 grid_thw 输入，换帧数调用直接 Invalid input name: grid_thw。故视觉塔固定 (1,48,48)， 视频由上层抽帧后逐帧按图像编码（同模型/同维度/同 fingerprint），音频明确 unsupported。 二、模态边界（vector.ErrModalityUnsupported） - 新增 vector.ErrModalityUnsupported：表示「该模态不在本统一空间的原生覆盖 范围内」，与普通错误语义不同——调用方应把它当「永远不会有向量」而非 「本次失败、下次重试」； - qwen.EmbedImageDense 按 mime 拒绝 audio/* 与 video/*：此前它会拿视觉塔 去解音频字节，往统一空间灌入语义错误的坐标且静默； - reembedStaleMedia 对 ErrModalityUnsupported 不计失败、不重试、不用别的 模型向量顶替（TestReembedStaleMedia_SkipsUnsupportedWithoutFaking 守住）。 三、Go ONNX 测试首次完整通过 - 重写 embedder_onnx_test.go：修复编译 + 文本冻结回归 + 图像冻结回归 + 两条阴性对照（不同输入必须不同、图像与文本必须不同）+ 不支持模态断言； - 参考值从产物目录的 qwen_reference.json 读取（不在测试里硬编码浮点）； - 用线上部署产物实测全部通过（text cos=0.999999940, image cos=0.999999762）。 四、.gitignore 修复 - /scripts/ 此前被列在「运行时产物」下，但它是作者维护的工具目录 （模型导出、侧车、部署校验），deploy/systemd/embed-sidecar.service 直接 引用 scripts/embed_sidecar.py，忽略它会让那份 unit 在别人的机器上指向 不存在的文件。改为只忽略 __pycache__。 五、文档（docs/zh/multimodal-space.md） - 获取/启用/产物契约/模态边界/验证/资源成本/与现有部署产物的等价性。 验证：go build ./...、go vet ./...、go vet -tags onnxruntime ./...、 go test -short 全部通过；ONNX 标签测试对线上部署产物全部通过。
This commit is contained in:
JianFeeeee
@ -1,11 +1,13 @@
|
||||
package core
|
||||
|
||||
import (
|
||||
"errors"
|
||||
"log"
|
||||
"sync"
|
||||
"sync/atomic"
|
||||
|
||||
"gitcode.com/JianFeeeee/HomeAgent/internal/memory"
|
||||
"gitcode.com/JianFeeeee/HomeAgent/internal/memory/vector"
|
||||
)
|
||||
|
||||
// 媒体与记忆块的生命周期辅助。
|
||||
@ -126,7 +128,7 @@ func (a *Agent) reembedStaleMedia() {
|
||||
len(digests), shortFP(fp), a.multimodalSpace.Dim(), workers)
|
||||
|
||||
jobs := make(chan string, workers*2)
|
||||
var done, failed int64
|
||||
var done, failed, unsupported int64
|
||||
var failedMu sync.Mutex
|
||||
var wg sync.WaitGroup
|
||||
|
||||
@ -135,13 +137,18 @@ func (a *Agent) reembedStaleMedia() {
|
||||
go func() {
|
||||
defer wg.Done()
|
||||
for d := range jobs {
|
||||
if err := a.reembedOne(d, fp); err != nil {
|
||||
switch err := a.reembedOne(d, fp); {
|
||||
case err == nil:
|
||||
atomic.AddInt64(&done, 1)
|
||||
case errors.Is(err, vector.ErrModalityUnsupported):
|
||||
// 该模态不在本空间内（如音频）：不重试、不计失败，
|
||||
// 也不拿另一个模型的向量顶替。
|
||||
atomic.AddInt64(&unsupported, 1)
|
||||
default:
|
||||
failedMu.Lock()
|
||||
failed++
|
||||
failedMu.Unlock()
|
||||
continue
|
||||
}
|
||||
atomic.AddInt64(&done, 1)
|
||||
}
|
||||
}()
|
||||
}
|
||||
@ -155,11 +162,14 @@ func (a *Agent) reembedStaleMedia() {
|
||||
}
|
||||
close(jobs)
|
||||
wg.Wait()
|
||||
log.Printf("[media] 向量迁移完成: 成功=%d 失败=%d 总计=%d fp=%s",
|
||||
done, failed, len(digests), shortFP(fp))
|
||||
log.Printf("[media] 向量迁移完成: 成功=%d 失败=%d 不在本空间=%d 总计=%d fp=%s",
|
||||
done, failed, unsupported, len(digests), shortFP(fp))
|
||||
}
|
||||
|
||||
// reembedOne 为单条媒体重新计算向量并写入（stat/get 失败时跳过该条目）。
|
||||
//
|
||||
// 模态不在本空间覆盖范围时返回 ErrModalityUnsupported，调用方据此区分
|
||||
// 「永久无向量」与「本次失败重试」。
|
||||
func (a *Agent) reembedOne(digest, fp string) error {
|
||||
it, err := a.mediaStore.Stat(digest)
|
||||
if err != nil {
|
||||
|
||||
@ -2,12 +2,15 @@ package core
|
||||
|
||||
import (
|
||||
"context"
|
||||
"fmt"
|
||||
"path/filepath"
|
||||
"strings"
|
||||
"testing"
|
||||
|
||||
"gitcode.com/JianFeeeee/HomeAgent/internal/memory"
|
||||
"gitcode.com/JianFeeeee/HomeAgent/internal/memory/document"
|
||||
"gitcode.com/JianFeeeee/HomeAgent/internal/memory/media"
|
||||
"gitcode.com/JianFeeeee/HomeAgent/internal/memory/vector"
|
||||
)
|
||||
|
||||
// 媒体与记忆块的生命周期测试。
|
||||
@ -81,6 +84,53 @@ func TestHeldMediaDigests_CollectsAcrossLayers(t *testing.T) {
|
||||
}
|
||||
}
|
||||
|
||||
// fakeSpace 是一个只覆盖图像的假统一空间，用来验证「不在本空间」与
|
||||
// 「本次失败」必须被区分对待。
|
||||
type fakeSpace struct{}
|
||||
|
||||
func (fakeSpace) VectorizeDense(string) ([]float64, error) { return []float64{1, 0}, nil }
|
||||
|
||||
func (fakeSpace) EmbedImageDense(_ []byte, mime string) ([]float64, error) {
|
||||
if strings.HasPrefix(mime, "audio/") || strings.HasPrefix(mime, "video/") {
|
||||
return nil, fmt.Errorf("%w: %s", vector.ErrModalityUnsupported, mime)
|
||||
}
|
||||
return []float64{1, 0}, nil
|
||||
}
|
||||
|
||||
func (fakeSpace) Fingerprint() string { return "fake-space" }
|
||||
func (fakeSpace) Dim() int { return 2 }
|
||||
func (fakeSpace) Loaded() bool { return true }
|
||||
func (fakeSpace) Close() {}
|
||||
|
||||
// TestReembedStaleMedia_SkipsUnsupportedWithoutFaking 验证向量迁移不会：
|
||||
// - 把音频当失败反复重试；
|
||||
// - 更不能拿另一个模型的向量顶替音频（那会污染统一空间且静默）。
|
||||
func TestReembedStaleMedia_SkipsUnsupportedWithoutFaking(t *testing.T) {
|
||||
a, ms := newMediaLoopAgent(t)
|
||||
img, _ := ms.Put([]byte("img-bytes"), media.Item{MIME: "image/png"})
|
||||
aud, _ := ms.Put([]byte("aud-bytes"), media.Item{MIME: "audio/wav"})
|
||||
|
||||
a.multimodalSpace = fakeSpace{}
|
||||
a.reembedStaleMedia()
|
||||
|
||||
it, err := ms.Stat(img)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if len(it.Vec) != 2 || it.VecModel != "fake-space" {
|
||||
t.Fatalf("图像应拿到本空间向量，实际 vec=%v model=%q", it.Vec, it.VecModel)
|
||||
}
|
||||
|
||||
audIt, err := ms.Stat(aud)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if len(audIt.Vec) != 0 || audIt.VecModel != "" {
|
||||
t.Fatalf("音频不得被写入任何向量（不能用别的模型顶替），实际 vec=%v model=%q",
|
||||
audIt.Vec, audIt.VecModel)
|
||||
}
|
||||
}
|
||||
|
||||
// payloadHeld 是删除前的活查询。
|
||||
func TestPayloadHeld(t *testing.T) {
|
||||
a, ms := newMediaLoopAgent(t)
|
||||
|
||||
@ -18,6 +18,8 @@ import (
|
||||
"sync"
|
||||
|
||||
ort "github.com/yalue/onnxruntime_go"
|
||||
|
||||
"gitcode.com/JianFeeeee/HomeAgent/internal/memory/vector"
|
||||
)
|
||||
|
||||
type embedConfig struct {
|
||||
@ -138,12 +140,24 @@ func (e *Embedder) VectorizeDense(text string) ([]float64, error) {
|
||||
return e.runTransformer(hidden, deep, position, len(ids))
|
||||
}
|
||||
|
||||
func (e *Embedder) EmbedImageDense(raw []byte, _ string) ([]float64, error) {
|
||||
// EmbedImageDense 把一张图片编码到统一空间。
|
||||
//
|
||||
// mime 决定这个模态是否在本空间的原生覆盖范围内：Qwen3-VL 能原生编码文本与
|
||||
// 图像，但**不原生支持音频**。音频（以及未抽帧的视频文件）必须返回
|
||||
// ErrModalityUnsupported，而不是拿视觉塔去编码——那会往统一空间里灌入
|
||||
// 语义错误的坐标，而错误是静默的。视频请由上层抽帧后逐帧当作图像编码。
|
||||
func (e *Embedder) EmbedImageDense(raw []byte, mime string) ([]float64, error) {
|
||||
e.mu.RLock()
|
||||
defer e.mu.RUnlock()
|
||||
if !e.loaded {
|
||||
return nil, fmt.Errorf("qwen embedder not loaded")
|
||||
}
|
||||
switch {
|
||||
case strings.HasPrefix(mime, "audio/"):
|
||||
return nil, fmt.Errorf("%w: audio (%s) 需由真正的统一音频模型扩展", vector.ErrModalityUnsupported, mime)
|
||||
case strings.HasPrefix(mime, "video/"):
|
||||
return nil, fmt.Errorf("%w: 视频文件请先抽帧，逐帧按图像编码 (%s)", vector.ErrModalityUnsupported, mime)
|
||||
}
|
||||
pixels, err := preprocessImage(raw)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
|
||||
@ -3,68 +3,275 @@
|
||||
package qwen
|
||||
|
||||
import (
|
||||
"bytes"
|
||||
"encoding/json"
|
||||
"errors"
|
||||
"image"
|
||||
"image/png"
|
||||
"math"
|
||||
"os"
|
||||
"path/filepath"
|
||||
"testing"
|
||||
|
||||
"gitcode.com/JianFeeeee/HomeAgent/internal/memory/vector"
|
||||
)
|
||||
|
||||
// 本地模型路径与 tokenizer_test.go 共用；产物不在仓库时跳过。
|
||||
const onnxModelDir = "/home/newqqagent/models/qwen3-vl-embed-text-onnx"
|
||||
|
||||
// TestEmbedderMatchesONNXReference 冻结一条由 Python onnxruntime 1.28.0 生成的
|
||||
// FP32 参考向量，验证完整 Go 路径：模板渲染 → BPE → ONNX → L2 normalize。
|
||||
// onnxModelDir 返回三段式 Qwen 多模态 ONNX 产物目录。
|
||||
//
|
||||
// 只校验前 12 维不是为了放宽正确性，而是避免把 2048 个浮点常量塞进仓库；
|
||||
// tokenizer 的全部 token 已由 TestTokenizerMatchesReference 逐条精确校验，图本身
|
||||
// 另有 PyTorch↔ONNX 的多形状验证。这里负责捕获 Go 张量形状、输入名、输出名、
|
||||
// 池化/归一化或模板接线错误。
|
||||
func TestEmbedderMatchesONNXReference(t *testing.T) {
|
||||
if _, err := os.Stat(onnxModelDir + "/TextTower.onnx"); err != nil {
|
||||
t.Skipf("ONNX 产物不可用，跳过: %v", err)
|
||||
// 产物约 8GB（含外部权重），不进仓库；由 scripts/export_qwen3vl_embedding_onnx.py
|
||||
// 自动拉取模型并导出。可通过 QWEN_ONNX_MODEL_DIR 指向别处；目录不存在时相关
|
||||
// 测试跳过，而不是失败——CI 与本机开发者都不一定有这份产物。
|
||||
func onnxModelDir() string {
|
||||
if v := os.Getenv("QWEN_ONNX_MODEL_DIR"); v != "" {
|
||||
return v
|
||||
}
|
||||
return "/home/newqqagent/models/qwen3-vl-embed-multimodal-onnx"
|
||||
}
|
||||
|
||||
e, err := New(onnxModelDir)
|
||||
func requireONNXArtifacts(t *testing.T) string {
|
||||
t.Helper()
|
||||
dir := onnxModelDir()
|
||||
for _, name := range []string{"TokenEmbedding.onnx", "Transformer.onnx", "Vision.onnx", "embed_config.json", "tokenizer.json"} {
|
||||
if _, err := os.Stat(dir + "/" + name); err != nil {
|
||||
t.Skipf("ONNX 产物不完整（%s: %v），跳过；用 scripts/export_qwen3vl_embedding_onnx.py 导出", name, err)
|
||||
}
|
||||
}
|
||||
return dir
|
||||
}
|
||||
|
||||
// onnxReference 是导出脚本 `--emit-reference` 写出的冻结参考。
|
||||
//
|
||||
// 刻意不把浮点常量硬编码在测试里：参考值必须能追溯到「哪个模型、哪次导出、
|
||||
// 什么输入」，而不是一组无人知道出处的数字。参考文件里的 RGB/尺寸同时用来
|
||||
// 构造测试图片，保证输入与参考按构造一致，不会因测试改动而静默错位。
|
||||
type onnxReference struct {
|
||||
Text string `json:"text"`
|
||||
TextVectorPrefix []float64 `json:"text_vector_prefix"`
|
||||
ImageRGB []int `json:"image_rgb"`
|
||||
ImageSize int `json:"image_size"`
|
||||
ImageVectorPrefix []float64 `json:"image_vector_prefix"`
|
||||
Dim int `json:"dim"`
|
||||
}
|
||||
|
||||
func loadReference(t *testing.T, dir string) *onnxReference {
|
||||
t.Helper()
|
||||
path := os.Getenv("QWEN_ONNX_REFERENCE")
|
||||
if path == "" {
|
||||
path = filepath.Join(dir, "qwen_reference.json")
|
||||
}
|
||||
raw, err := os.ReadFile(path)
|
||||
if err != nil {
|
||||
t.Skipf("缺少冻结参考 %s（由 scripts/export_qwen3vl_embedding_onnx.py --emit-reference 生成）: %v", path, err)
|
||||
}
|
||||
var ref onnxReference
|
||||
if err := json.Unmarshal(raw, &ref); err != nil {
|
||||
t.Fatalf("解析参考 %s: %v", path, err)
|
||||
}
|
||||
if ref.Text == "" || len(ref.TextVectorPrefix) == 0 || len(ref.ImageRGB) != 3 || ref.ImageSize <= 0 {
|
||||
t.Fatalf("参考 %s 不完整: %+v", path, ref)
|
||||
}
|
||||
return &ref
|
||||
}
|
||||
|
||||
// solidPNG 生成一张 size×size 纯色 PNG，供跨语言冻结向量回归。
|
||||
//
|
||||
// 刻意用纯色且尺寸与视觉塔一致：Go 侧预处理对已是 768×768 的输入不做插值、
|
||||
// 不补边，于是 patch 张量只由布局决定。一旦 patch 排列写错（内层循环顺序、
|
||||
// merge 分组顺序、通道顺序），冻结向量立刻不匹配——而那类错误在人工看图时
|
||||
// 几乎发现不了。
|
||||
func solidPNG(t *testing.T, size int, r, g, b uint8) []byte {
|
||||
t.Helper()
|
||||
img := image.NewNRGBA(image.Rect(0, 0, size, size))
|
||||
for y := 0; y < size; y++ {
|
||||
for x := 0; x < size; x++ {
|
||||
i := img.PixOffset(x, y)
|
||||
img.Pix[i], img.Pix[i+1], img.Pix[i+2], img.Pix[i+3] = r, g, b, 255
|
||||
}
|
||||
}
|
||||
var buf bytes.Buffer
|
||||
if err := png.Encode(&buf, img); err != nil {
|
||||
t.Fatalf("encode png: %v", err)
|
||||
}
|
||||
return buf.Bytes()
|
||||
}
|
||||
|
||||
func newTestEmbedder(t *testing.T, dir string) *Embedder {
|
||||
t.Helper()
|
||||
e, err := New(dir)
|
||||
if err != nil {
|
||||
t.Fatalf("New: %v", err)
|
||||
}
|
||||
defer e.Close()
|
||||
t.Cleanup(e.Close)
|
||||
if !e.Loaded() || e.Dim() != 2048 || e.Fingerprint() == "" {
|
||||
t.Fatalf("元数据异常: loaded=%v dim=%d fingerprint=%q", e.Loaded(), e.Dim(), e.Fingerprint())
|
||||
}
|
||||
return e
|
||||
}
|
||||
|
||||
ids, err := e.tok.encodeModelInput(e.renderInput("今天天气怎么样"), e.config.MaxLength)
|
||||
if err != nil {
|
||||
t.Fatalf("encodeModelInput: %v", err)
|
||||
func assertNormalized(t *testing.T, name string, got []float64, dim int) {
|
||||
t.Helper()
|
||||
if dim > 0 && len(got) != dim {
|
||||
t.Fatalf("%s 维度 = %d，期望 %d", name, len(got), dim)
|
||||
}
|
||||
postID, ok := e.tok.SpecialID("<|endoftext|>")
|
||||
if !ok || len(ids) != 23 || ids[len(ids)-1] != postID {
|
||||
t.Fatalf("模型输入 post-processor 异常: len=%d tail=%v postID=%d ok=%v", len(ids), ids[len(ids)-1:], postID, ok)
|
||||
}
|
||||
|
||||
got, err := e.VectorizeDense("今天天气怎么样")
|
||||
if err != nil {
|
||||
t.Fatalf("VectorizeDense: %v", err)
|
||||
}
|
||||
if len(got) != 2048 {
|
||||
t.Fatalf("向量维度 = %d，期望 2048", len(got))
|
||||
}
|
||||
|
||||
want := []float64{
|
||||
-0.0288955811, 0.0522339381, 0.0360119902, -0.000676361844,
|
||||
-0.0431003496, 0.00342374574, -0.000226021366, 0.0157372113,
|
||||
-0.028889874, 0.0264931992, 0.0117276432, -0.00513622677,
|
||||
}
|
||||
for i := range want {
|
||||
if diff := math.Abs(got[i] - want[i]); diff > 2e-5 {
|
||||
t.Errorf("维度 %d = %.10g，参考 %.10g，差 %.3g", i, got[i], want[i], diff)
|
||||
}
|
||||
}
|
||||
|
||||
var norm float64
|
||||
for _, v := range got {
|
||||
norm += v * v
|
||||
}
|
||||
if diff := math.Abs(math.Sqrt(norm) - 1); diff > 1e-6 {
|
||||
t.Errorf("L2 norm = %.9f，期望 1", math.Sqrt(norm))
|
||||
}
|
||||
if !e.Loaded() || e.Dim() != 2048 || e.Fingerprint() == "" {
|
||||
t.Errorf("元数据异常: loaded=%v dim=%d fingerprint=%q", e.Loaded(), e.Dim(), e.Fingerprint())
|
||||
t.Errorf("%s L2 norm = %.9f，期望 1", name, math.Sqrt(norm))
|
||||
}
|
||||
}
|
||||
|
||||
func assertFrozenPrefix(t *testing.T, name string, got, want []float64) {
|
||||
t.Helper()
|
||||
if len(got) < len(want) {
|
||||
t.Fatalf("%s 向量过短: %d", name, len(got))
|
||||
}
|
||||
for i := range want {
|
||||
if diff := math.Abs(got[i] - want[i]); diff > 2e-5 {
|
||||
t.Errorf("%s 维度 %d = %.10g，参考 %.10g，差 %.3g", name, i, got[i], want[i], diff)
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// TestEmbedderMatchesONNXReference 逐维对比导出脚本写出的冻结参考向量，
|
||||
// 验证完整 Go 路径：模板渲染 → BPE → TokenEmbedding → Transformer →
|
||||
// last-token 池化 → L2 normalize。
|
||||
//
|
||||
// 只覆盖前若干维不是因为放宽正确性（脚本侧的 PyTorch↔ONNX 校验是逐维的），
|
||||
// 而是避免把 2048 个浮点常量塞进仓库；这里负责捕获 Go 张量形状、输入名、
|
||||
// 输出名、池化/归一化或模板接线错误。
|
||||
func TestEmbedderMatchesONNXReference(t *testing.T) {
|
||||
dir := requireONNXArtifacts(t)
|
||||
e := newTestEmbedder(t, dir)
|
||||
ref := loadReference(t, dir)
|
||||
|
||||
ids, _, _, _, err := e.tok.textModelInput(e.config.Instruction, ref.Text, e.config.MaxLength)
|
||||
if err != nil {
|
||||
t.Fatalf("textModelInput: %v", err)
|
||||
}
|
||||
postID, ok := e.tok.SpecialID("<|endoftext|>")
|
||||
if !ok || ids[len(ids)-1] != postID {
|
||||
t.Fatalf("模型输入 post-processor 异常: len=%d tail=%v postID=%d ok=%v", len(ids), ids[len(ids)-1:], postID, ok)
|
||||
}
|
||||
|
||||
got, err := e.VectorizeDense(ref.Text)
|
||||
if err != nil {
|
||||
t.Fatalf("VectorizeDense: %v", err)
|
||||
}
|
||||
assertNormalized(t, "text", got, ref.Dim)
|
||||
assertFrozenPrefix(t, "text", got, ref.TextVectorPrefix)
|
||||
}
|
||||
|
||||
// TestEmbedderImageMatchesONNXReference 冻结一张纯色图的参考向量，
|
||||
// 验证 Go 侧的视觉预处理 + patch 排列 + 视觉注入 + 语言模型与 Python 参考一致。
|
||||
func TestEmbedderImageMatchesONNXReference(t *testing.T) {
|
||||
dir := requireONNXArtifacts(t)
|
||||
e := newTestEmbedder(t, dir)
|
||||
ref := loadReference(t, dir)
|
||||
|
||||
img := solidPNG(t, ref.ImageSize, uint8(ref.ImageRGB[0]), uint8(ref.ImageRGB[1]), uint8(ref.ImageRGB[2]))
|
||||
got, err := e.EmbedImageDense(img, "image/png")
|
||||
if err != nil {
|
||||
t.Fatalf("EmbedImageDense: %v", err)
|
||||
}
|
||||
assertNormalized(t, "image", got, ref.Dim)
|
||||
assertFrozenPrefix(t, "image", got, ref.ImageVectorPrefix)
|
||||
}
|
||||
|
||||
// TestEmbedderTextIsSensitiveToInput 阴性对照：冻结向量必须真的随输入变化。
|
||||
//
|
||||
// 没有这条对照，一个「永远返回同一向量」的错误实现也能通过上面的冻结回归
|
||||
//（只要那个常量恰好等于参考值）。这里验证不同文本给出不同向量，且相似文本
|
||||
// 的余弦高于无关文本——即嵌入确实携带语义，而不是常量。
|
||||
func TestEmbedderTextIsSensitiveToInput(t *testing.T) {
|
||||
dir := requireONNXArtifacts(t)
|
||||
e := newTestEmbedder(t, dir)
|
||||
|
||||
base, err := e.VectorizeDense("今天天气怎么样")
|
||||
if err != nil {
|
||||
t.Fatalf("VectorizeDense: %v", err)
|
||||
}
|
||||
same, err := e.VectorizeDense("今天天气怎么样")
|
||||
if err != nil {
|
||||
t.Fatalf("VectorizeDense: %v", err)
|
||||
}
|
||||
if cosine(base, same) < 0.999999 {
|
||||
t.Errorf("同一输入两次嵌入不一致: cos=%.9f（ONNX 会话被并发复用或存在非确定性）", cosine(base, same))
|
||||
}
|
||||
|
||||
other, err := e.VectorizeDense("数据库索引的选择性是怎么计算的")
|
||||
if err != nil {
|
||||
t.Fatalf("VectorizeDense: %v", err)
|
||||
}
|
||||
if cosine(base, other) > 0.999 {
|
||||
t.Errorf("无关文本的余弦高达 %.6f，嵌入可能是常量", cosine(base, other))
|
||||
}
|
||||
}
|
||||
|
||||
// TestEmbedderImageMatchesONNXReference 的替代：不依赖冻结参考的不变量检查。
|
||||
//
|
||||
// 即使参考文件缺失（没有导出产物）或未重新生成，这些不变量也应成立：
|
||||
// 图像路径必须真的走了视觉塔，且不同图片给出不同坐标。
|
||||
func TestEmbedderImageDiffersFromText(t *testing.T) {
|
||||
dir := requireONNXArtifacts(t)
|
||||
e := newTestEmbedder(t, dir)
|
||||
|
||||
imgVec, err := e.EmbedImageDense(solidPNG(t, qwenImageSize, 200, 30, 30), "image/png")
|
||||
if err != nil {
|
||||
t.Fatalf("EmbedImageDense: %v", err)
|
||||
}
|
||||
txtVec, err := e.VectorizeDense(DefaultInstruction)
|
||||
if err != nil {
|
||||
t.Fatalf("VectorizeDense: %v", err)
|
||||
}
|
||||
if cosine(imgVec, txtVec) > 0.999 {
|
||||
t.Error("图像向量与文本向量几乎相同，视觉塔可能没被真正执行")
|
||||
}
|
||||
|
||||
// 不同颜色的图必须给出不同向量
|
||||
blue, err := e.EmbedImageDense(solidPNG(t, qwenImageSize, 30, 150, 220), "image/png")
|
||||
if err != nil {
|
||||
t.Fatalf("EmbedImageDense: %v", err)
|
||||
}
|
||||
if cosine(imgVec, blue) > 0.999999 {
|
||||
t.Error("不同图片给出相同向量，视觉路径未生效")
|
||||
}
|
||||
}
|
||||
|
||||
// TestEmbedderRejectsUnsupportedModalities 音频与视频文件必须显式报「不在本空间」，
|
||||
// 而不是拿视觉塔硬编码一个语义错误的坐标。
|
||||
//
|
||||
// Qwen3-VL 原生支持文本与图像；音频需要未来接入真正的统一音频模型。
|
||||
// 若这里退化成普通错误，调用方会把它当「本次失败、下次重试」，
|
||||
// 于是每轮启动都重试一批永远不可能成功的条目。
|
||||
func TestEmbedderRejectsUnsupportedModalities(t *testing.T) {
|
||||
dir := requireONNXArtifacts(t)
|
||||
e := newTestEmbedder(t, dir)
|
||||
|
||||
for _, mime := range []string{"audio/wav", "audio/mpeg", "video/mp4", "video/quicktime"} {
|
||||
_, err := e.EmbedImageDense([]byte("not-a-real-media"), mime)
|
||||
if err == nil {
|
||||
t.Fatalf("%s 应返回错误而不是造出向量", mime)
|
||||
}
|
||||
if !errors.Is(err, vector.ErrModalityUnsupported) {
|
||||
t.Errorf("%s 错误应为 ErrModalityUnsupported，实际: %v", mime, err)
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
func cosine(a, b []float64) float64 {
|
||||
if len(a) != len(b) || len(a) == 0 {
|
||||
return 0
|
||||
}
|
||||
var dot, na, nb float64
|
||||
for i := range a {
|
||||
dot += a[i] * b[i]
|
||||
na += a[i] * a[i]
|
||||
nb += b[i] * b[i]
|
||||
}
|
||||
if na == 0 || nb == 0 {
|
||||
return 0
|
||||
}
|
||||
return dot / (math.Sqrt(na) * math.Sqrt(nb))
|
||||
}
|
||||
|
||||
@ -50,6 +50,15 @@ const (
|
||||
// ErrNotSupported 表示 Vectorizer 不支持该原生模态；调用方不得以描述文本冒充其向量。
|
||||
var ErrNotSupported = fmt.Errorf("vectorizer does not support image embedding")
|
||||
|
||||
// ErrModalityUnsupported 表示该模态不在本统一向量空间的原生覆盖范围内。
|
||||
//
|
||||
// 它与普通错误语义不同：调用方应把它当作「这条媒体本空间永远不会有向量」
|
||||
// 而不是「这次失败了、下次重试」。绝不能拿另一个模型的向量顶替——那会把
|
||||
// 两套坐标系混进同一空间，检索出来的相似度没有任何意义。
|
||||
//
|
||||
// 例：Qwen3-VL 能原生编码文本/图像，音频需要未来接入真正的统一音频模型。
|
||||
var ErrModalityUnsupported = fmt.Errorf("modality not supported by this embedding space")
|
||||
|
||||
// Vector 是带权特征映射：feature → weight
|
||||
type Vector map[string]float64
|
||||
|
||||
|
||||
Reference in New Issue
Block a user