mirror of
https://gitcode.com/JianFeeeee/HomeAgent.git
synced 2026-09-22 18:08:04 +00:00
6f8056d236
文本相似度检索是层次化系统：TF-IDF 高频削弱加权（idf<0.1 丢弃）+ 倒排剪枝（只召回共享特征者）+ cosine。CLIP 512 维稠密向量若以 map[string]float64 稀疏形式实现 vector.Vectorizer 并塞进 vector.Store， 会让 512 维全部成为倒排 key → 候选集≈全库、剪枝失效，且绕过 TF-IDF 高频削弱，与既有文本检索语义错配。 收敛： - vector.MultimodalEmbedder 改为独立稠密接口（VectorizeDense/ EmbedImageDense/Fingerprint/Dim/Loaded/Close），不再继承稀疏 Vectorizer - clip.Embedder 删除稀疏垫片 Vectorize/EmbedImage/denseToVector， 只产出稠密向量；文档/知识/上下文层继续用 TF-IDF/fastText 稀疏路径 - 分层明确：文本→文本走 TF-IDF/fastText；文本↔图像、图像↔图像走 CLIP 稠密 QueryMedia（媒体层独立稠密余弦，原样保留）
29 lines
861 B
Go
29 lines
861 B
Go
//go:build !onnxruntime
|
||
|
||
package clip
|
||
|
||
import (
|
||
"fmt"
|
||
)
|
||
|
||
// Embedder 在未启用 onnxruntime 时为 no-op 实现。
|
||
// 构建时不链接 onnxruntime，默认构建保持原有 fastText/TF-IDF 行为不变。
|
||
type Embedder struct {
|
||
loaded bool
|
||
}
|
||
|
||
func New(_ string) (*Embedder, error) {
|
||
return nil, fmt.Errorf("clip embedder requires build tag 'onnxruntime' (go build -tags onnxruntime)")
|
||
}
|
||
|
||
func (e *Embedder) Fingerprint() string { return "" }
|
||
func (e *Embedder) Dim() int { return 0 }
|
||
func (e *Embedder) Loaded() bool { return e.loaded }
|
||
func (e *Embedder) Close() {}
|
||
func (e *Embedder) VectorizeDense(_ string) ([]float64, error) {
|
||
return nil, fmt.Errorf("clip embedder not available")
|
||
}
|
||
func (e *Embedder) EmbedImageDense(_ []byte, _ string) ([]float64, error) {
|
||
return nil, fmt.Errorf("clip embedder not available")
|
||
}
|