2 Commits

Author	SHA1	Message	Date
JianFeeeee	6f8056d236	refactor(clip): CLIP 收敛为稠密 MultimodalEmbedder，不污染稀疏 Vectorizer/TF-IDF 语义 ... 文本相似度检索是层次化系统：TF-IDF 高频削弱加权（idf<0.1 丢弃）+ 倒排剪枝（只召回共享特征者）+ cosine。CLIP 512 维稠密向量若以 map[string]float64 稀疏形式实现 vector.Vectorizer 并塞进 vector.Store， 会让 512 维全部成为倒排 key → 候选集≈全库、剪枝失效，且绕过 TF-IDF 高频削弱，与既有文本检索语义错配。 收敛： - vector.MultimodalEmbedder 改为独立稠密接口（VectorizeDense/ EmbedImageDense/Fingerprint/Dim/Loaded/Close），不再继承稀疏 Vectorizer - clip.Embedder 删除稀疏垫片 Vectorize/EmbedImage/denseToVector， 只产出稠密向量；文档/知识/上下文层继续用 TF-IDF/fastText 稀疏路径 - 分层明确：文本→文本走 TF-IDF/fastText；文本↔图像、图像↔图像走 CLIP 稠密 QueryMedia（媒体层独立稠密余弦，原样保留）	2026-09-09 10:26:10 +08:00
JianFeeeee	98365f3a55	feat(clip): 多模态向量器（CLIP ONNX）——文本/图像 512 维共享空间 + 媒体向量写入与重算 ... - internal/memory/clip：CLIP ONNX 向量器（onnxruntime 构建标签控制，默认构建不链接 ONNX） - clip.New(modelDir) 加载 text.onnx/vision.onnx（输出 text_embed/image_embed [batch,512]） - 实现 vector.Vectorizer + vector.MultimodalEmbedder（Vectorize/EmbedImage + Dense 变体） - 词级 BPE tokenizer：merges 合并后词末片段带 </w> 查 vocab，与官方 encode 逐 id 对齐 - EmbedImage：解码→resize 224→NCHW→normalize→vision session - Fingerprint（text+vision 文件 sha256）供模型切换检测 - stub 版（无 onnxruntime 标签）保持默认构建行为不变 - vector/store.go：新增 MultimodalEmbedder 接口 - media.Store：新增 StaleVecDigests(currentModel)——查 vec_model 不匹配/缺失的图片 - agent core：AgentConfig.ClipEmbedder + Agent.clipEmb 接线； describePendingMedia 描述成功后 EmbedImageDense→SetVec； 新增 reembedStaleMedia 启动补算历史无向量图片 - config：core.memory.media.clip_model_dir（未配置退化为现有 fastText/TF-IDF 行为） - cmd/homed：读 clip_model_dir 加载 CLIP，失败仅记日志不阻塞启动 测试：TestSmokeLoadAndEncode（文本语义 cat>dog 0.914>physics 0.740）、 TestCrossModalAlignment（red-image vs red-text 0.063>blue -0.009，与 Python 一致）、 TestTokEnd（与官方 encode 逐 id 对齐）、TestStaleVecDigests，含 -race 全绿	2026-09-09 10:23:31 +08:00