mirror of
https://gitcode.com/JianFeeeee/HomeAgent.git
synced 2026-10-15 03:52:25 +00:00
0c5dd5a1c6
- internal/memory/clip：CLIP ONNX 向量器（onnxruntime 构建标签控制，默认构建不链接 ONNX） - clip.New(modelDir) 加载 text.onnx/vision.onnx（输出 text_embed/image_embed [batch,512]） - 实现 vector.Vectorizer + vector.MultimodalEmbedder（Vectorize/EmbedImage + Dense 变体） - 词级 BPE tokenizer：merges 合并后词末片段带 </w> 查 vocab，与官方 encode 逐 id 对齐 - EmbedImage：解码→resize 224→NCHW→normalize→vision session - Fingerprint（text+vision 文件 sha256）供模型切换检测 - stub 版（无 onnxruntime 标签）保持默认构建行为不变 - vector/store.go：新增 MultimodalEmbedder 接口 - media.Store：新增 StaleVecDigests(currentModel)——查 vec_model 不匹配/缺失的图片 - agent core：AgentConfig.ClipEmbedder + Agent.clipEmb 接线； describePendingMedia 描述成功后 EmbedImageDense→SetVec； 新增 reembedStaleMedia 启动补算历史无向量图片 - config：core.memory.media.clip_model_dir（未配置退化为现有 fastText/TF-IDF 行为） - cmd/homed：读 clip_model_dir 加载 CLIP，失败仅记日志不阻塞启动 测试：TestSmokeLoadAndEncode（文本语义 cat>dog 0.914>physics 0.740）、 TestCrossModalAlignment（red-image vs red-text 0.063>blue -0.009，与 Python 一致）、 TestTokEnd（与官方 encode 逐 id 对齐）、TestStaleVecDigests，含 -race 全绿
35 lines
1.1 KiB
Go
35 lines
1.1 KiB
Go
//go:build !onnxruntime
|
||
|
||
package clip
|
||
|
||
import (
|
||
"fmt"
|
||
|
||
"gitcode.com/JianFeeeee/HomeAgent/internal/memory/vector"
|
||
)
|
||
|
||
// Embedder 在未启用 onnxruntime 时为 no-op 实现。
|
||
// 构建时不链接 onnxruntime，default 构建保持原有 fastText/TF-IDF 行为不变。
|
||
type Embedder struct {
|
||
loaded bool
|
||
}
|
||
|
||
func New(_ string) (*Embedder, error) {
|
||
return nil, fmt.Errorf("clip embedder requires build tag 'onnxruntime' (go build -tags onnxruntime)")
|
||
}
|
||
|
||
func (e *Embedder) Fingerprint() string { return "" }
|
||
func (e *Embedder) Dim() int { return 0 }
|
||
func (e *Embedder) Loaded() bool { return e.loaded }
|
||
func (e *Embedder) Vectorize(_ string) vector.Vector { return nil }
|
||
func (e *Embedder) EmbedImage(_ []byte, _ string) (vector.Vector, error) {
|
||
return nil, fmt.Errorf("clip embedder not available")
|
||
}
|
||
func (e *Embedder) VectorizeDense(_ string) ([]float64, error) {
|
||
return nil, fmt.Errorf("clip embedder not available")
|
||
}
|
||
func (e *Embedder) EmbedImageDense(_ []byte, _ string) ([]float64, error) {
|
||
return nil, fmt.Errorf("clip embedder not available")
|
||
}
|
||
func (e *Embedder) Close() {}
|