HomeAgent

jianf/HomeAgent

Fork 0

mirror of https://gitcode.com/JianFeeeee/HomeAgent.git synced 2026-09-27 21:03:16 +00:00

Commit Graph

Author	SHA1	Message	Date
JianFeeeee	6c2039f5c9	feat(vector): pluggable multimodal vector space 核心暴露 MultimodalEmbedder 接口，两条路径共享同一套 L0/L2/L3 向量缓存、media.Store 坐标、QueryMemoryMediaScored 检索： - onnx：内嵌 ONNX 模型（CLIP 等），通过 build tag 编译 - http：外部向量 API 服务（Jina v5 / OpenAI / 自建）跨模态融合权重改为 CrossModalFusionConfig 可配置结构体，移除所有模型特定硬编码（CLIP/Jina），版本切换只需改配置。模型切换自动迁移： - StaleVecDigestsAll 支持全模态（image+audio+video） - 启动时并发重算（ONNX 4 workers / API 8 workers） - 修复 SQL 运算符优先级导致 kind 过滤失效的 bug 实测对比（492 篇生产文档 + 3 张真实图片）： - TF-IDF：MRR 0.457（精确匹配快，语义差） - fastText：MRR 0.530（语义中等，延迟 8ms） - Jina v5-omni：MRR 0.900（全面领先，延迟 40ms） - 中文文本→图片：Jina MRR 0.833 vs CLIP 0.611 See docs/embedding-comparison.md for full benchmark.	2026-09-09 17:38:34 +08:00
JianFeeeee	98365f3a55	feat(clip): 多模态向量器（CLIP ONNX）——文本/图像 512 维共享空间 + 媒体向量写入与重算 - internal/memory/clip：CLIP ONNX 向量器（onnxruntime 构建标签控制，默认构建不链接 ONNX） - clip.New(modelDir) 加载 text.onnx/vision.onnx（输出 text_embed/image_embed [batch,512]） - 实现 vector.Vectorizer + vector.MultimodalEmbedder（Vectorize/EmbedImage + Dense 变体） - 词级 BPE tokenizer：merges 合并后词末片段带 </w> 查 vocab，与官方 encode 逐 id 对齐 - EmbedImage：解码→resize 224→NCHW→normalize→vision session - Fingerprint（text+vision 文件 sha256）供模型切换检测 - stub 版（无 onnxruntime 标签）保持默认构建行为不变 - vector/store.go：新增 MultimodalEmbedder 接口 - media.Store：新增 StaleVecDigests(currentModel)——查 vec_model 不匹配/缺失的图片 - agent core：AgentConfig.ClipEmbedder + Agent.clipEmb 接线； describePendingMedia 描述成功后 EmbedImageDense→SetVec；新增 reembedStaleMedia 启动补算历史无向量图片 - config：core.memory.media.clip_model_dir（未配置退化为现有 fastText/TF-IDF 行为） - cmd/homed：读 clip_model_dir 加载 CLIP，失败仅记日志不阻塞启动测试：TestSmokeLoadAndEncode（文本语义 cat>dog 0.914>physics 0.740）、 TestCrossModalAlignment（red-image vs red-text 0.063>blue -0.009，与 Python 一致）、 TestTokEnd（与官方 encode 逐 id 对齐）、TestStaleVecDigests，含 -race 全绿	2026-09-09 10:23:31 +08:00
JianFeeeee	8c9d96e065	feat(media): media.Store 加向量存储与跨模态检索 media.Item 新增 Vec []float64 和 VecModel 字段，视觉嵌入向量以 JSON TEXT 存库（为什么不存 BLOB：Go 的 json.Marshal 对 []float64 是自然的，而 SQLite BLOB 是 []byte 多一层序列化；单条最多 23KB，TEXT 够用）。 initSchema 加 ALTER TABLE 迁移 vec/vec_model 两列（幂等）。scanItem 扩展读回。新增 SetVec 和 QueryMedia 方法。 QueryMedia 对所有已嵌入媒体做余弦相似度检索，维度不一致的项自动跳过 ——这是跨模态检索的核心：查询可以是图片也可以是文本，被查的媒体库里每个 item 也有视觉向量，两者在同一空间比对，谁的相似度更高就召回谁。配套 5 个单测覆盖：基本相似度排序、无向量项被跳过、维度不匹配过滤、空查询安全、向量持久化正确性。	2026-09-07 22:31:39 +08:00

Author

SHA1

Message

Date

JianFeeeee

6c2039f5c9

feat(vector): pluggable multimodal vector space

核心暴露 MultimodalEmbedder 接口，两条路径共享同一套 L0/L2/L3
向量缓存、media.Store 坐标、QueryMemoryMediaScored 检索：
  - onnx：内嵌 ONNX 模型（CLIP 等），通过 build tag 编译
  - http：外部向量 API 服务（Jina v5 / OpenAI / 自建）

跨模态融合权重改为 CrossModalFusionConfig 可配置结构体，
移除所有模型特定硬编码（CLIP/Jina），版本切换只需改配置。

模型切换自动迁移：
  - StaleVecDigestsAll 支持全模态（image+audio+video）
  - 启动时并发重算（ONNX 4 workers / API 8 workers）
  - 修复 SQL 运算符优先级导致 kind 过滤失效的 bug

实测对比（492 篇生产文档 + 3 张真实图片）：
  - TF-IDF：MRR 0.457（精确匹配快，语义差）
  - fastText：MRR 0.530（语义中等，延迟 8ms）
  - Jina v5-omni：MRR 0.900（全面领先，延迟 40ms）
  - 中文文本→图片：Jina MRR 0.833 vs CLIP 0.611

See docs/embedding-comparison.md for full benchmark.

2026-09-09 17:38:34 +08:00

JianFeeeee

98365f3a55

feat(clip): 多模态向量器（CLIP ONNX）——文本/图像 512 维共享空间 + 媒体向量写入与重算

- internal/memory/clip：CLIP ONNX 向量器（onnxruntime 构建标签控制，默认构建不链接 ONNX）
  - clip.New(modelDir) 加载 text.onnx/vision.onnx（输出 text_embed/image_embed [batch,512]）
  - 实现 vector.Vectorizer + vector.MultimodalEmbedder（Vectorize/EmbedImage + Dense 变体）
  - 词级 BPE tokenizer：merges 合并后词末片段带 </w> 查 vocab，与官方 encode 逐 id 对齐
  - EmbedImage：解码→resize 224→NCHW→normalize→vision session
  - Fingerprint（text+vision 文件 sha256）供模型切换检测
  - stub 版（无 onnxruntime 标签）保持默认构建行为不变
- vector/store.go：新增 MultimodalEmbedder 接口
- media.Store：新增 StaleVecDigests(currentModel)——查 vec_model 不匹配/缺失的图片
- agent core：AgentConfig.ClipEmbedder + Agent.clipEmb 接线；
  describePendingMedia 描述成功后 EmbedImageDense→SetVec；
  新增 reembedStaleMedia 启动补算历史无向量图片
- config：core.memory.media.clip_model_dir（未配置退化为现有 fastText/TF-IDF 行为）
- cmd/homed：读 clip_model_dir 加载 CLIP，失败仅记日志不阻塞启动

测试：TestSmokeLoadAndEncode（文本语义 cat>dog 0.914>physics 0.740）、
TestCrossModalAlignment（red-image vs red-text 0.063>blue -0.009，与 Python 一致）、
TestTokEnd（与官方 encode 逐 id 对齐）、TestStaleVecDigests，含 -race 全绿

2026-09-09 10:23:31 +08:00

JianFeeeee

8c9d96e065

feat(media): media.Store 加向量存储与跨模态检索

media.Item 新增 Vec []float64 和 VecModel 字段，视觉嵌入向量以 JSON
TEXT 存库（为什么不存 BLOB：Go 的 json.Marshal 对 []float64 是自然的，
而 SQLite BLOB 是 []byte 多一层序列化；单条最多 23KB，TEXT 够用）。

initSchema 加 ALTER TABLE 迁移 vec/vec_model 两列（幂等）。scanItem
扩展读回。新增 SetVec 和 QueryMedia 方法。

QueryMedia 对所有已嵌入媒体做余弦相似度检索，维度不一致的项自动跳过
——这是跨模态检索的核心：查询可以是图片也可以是文本，被查的媒体库
里每个 item 也有视觉向量，两者在同一空间比对，谁的相似度更高就召回谁。

配套 5 个单测覆盖：基本相似度排序、无向量项被跳过、维度不匹配过滤、
空查询安全、向量持久化正确性。

2026-09-07 22:31:39 +08:00

3 Commits