JianFeeeee 6c2039f5c9 feat(vector): pluggable multimodal vector space ...

核心暴露 MultimodalEmbedder 接口，两条路径共享同一套 L0/L2/L3
向量缓存、media.Store 坐标、QueryMemoryMediaScored 检索：
  - onnx：内嵌 ONNX 模型（CLIP 等），通过 build tag 编译
  - http：外部向量 API 服务（Jina v5 / OpenAI / 自建）

跨模态融合权重改为 CrossModalFusionConfig 可配置结构体，
移除所有模型特定硬编码（CLIP/Jina），版本切换只需改配置。

模型切换自动迁移：
  - StaleVecDigestsAll 支持全模态（image+audio+video）
  - 启动时并发重算（ONNX 4 workers / API 8 workers）
  - 修复 SQL 运算符优先级导致 kind 过滤失效的 bug

实测对比（492 篇生产文档 + 3 张真实图片）：
  - TF-IDF：MRR 0.457（精确匹配快，语义差）
  - fastText：MRR 0.530（语义中等，延迟 8ms）
  - Jina v5-omni：MRR 0.900（全面领先，延迟 40ms）
  - 中文文本→图片：Jina MRR 0.833 vs CLIP 0.611

See docs/embedding-comparison.md for full benchmark.

2026-09-09 17:38:34 +08:00

..

agent_functions_test.go

蒸馏嵌入接线：Distiller/Agent 注入共享 embedder，修复配置缺失时蒸馏零产出

2026-08-05 09:59:33 +08:00

agent_helpers_test.go

fix: LLM 工具循环 400、中断消息注入、ConPTY 终端支持

2026-08-14 00:48:40 +08:00

agent_tools_test.go

sdk: embed non-toolchain SDK in third_party, add NoMemory/Cleaner support

2026-07-29 14:48:23 +08:00

agent.go

feat(vector): pluggable multimodal vector space

2026-09-09 17:38:34 +08:00

context_test.go

feat: NoMemory/Cleaner memory system + doc update

2026-07-25 11:17:31 +08:00

context.go

feat(memory): 媒体接入 L0/L2——digest 挂到对话事件，归档时引用随之转移

2026-09-04 20:53:32 +08:00

crossmodal.go

feat(vector): pluggable multimodal vector space

2026-09-09 17:38:34 +08:00

distill.go

fix(memory): 媒体归档三缺陷——数据丢失、L3 入库不可靠、L3 检索未接线

2026-09-05 12:03:30 +08:00

eventloop.go

feat(sdk): 多模态贯通插件边界——公开接口、内核桥接与统一输入主干

2026-09-06 09:51:31 +08:00

gpttest_test.go

feat: 插件工具按需拉取(get_plugin_tools) + 设备命令类型拆分(shell-cmd/homeagent-cmd)

2026-08-18 09:07:21 +08:00

graphmedia_test.go

test(memory): 修正数据丢失回归用例的构造——它被媒体三元组修复本身弄失效了

2026-09-05 12:08:33 +08:00

graphmedia.go

feat(sdk): 多模态贯通插件边界——公开接口、内核桥接与统一输入主干

2026-09-06 09:51:31 +08:00

inputunify_test.go

feat(sdk): 多模态贯通插件边界——公开接口、内核桥接与统一输入主干

2026-09-06 09:51:31 +08:00

media.go

v0.7.3: 重构 Provider 层 + 计算层隔离 + Cleaner/NoMemory 架构

2026-07-28 11:42:29 +08:00

medialive_test.go

fix(memory): 媒体归档三缺陷——数据丢失、L3 入库不可靠、L3 检索未接线

2026-09-05 12:03:30 +08:00

medialoop_test.go

feat(memory): 媒体 GC 与描述生成两条后台循环

2026-09-04 22:00:03 +08:00

medialoop.go

feat(vector): pluggable multimodal vector space

2026-09-09 17:38:34 +08:00

mediaref_test.go

feat(memory): 媒体接入 L0/L2——digest 挂到对话事件，归档时引用随之转移

2026-09-04 20:53:32 +08:00

mediaref.go

feat(vector): pluggable multimodal vector space

2026-09-09 17:38:34 +08:00

modalfallback_test.go

fix(multimodal): 修多模态假成功 + 落地视觉回退链 + see_video 帧数语义

2026-09-04 06:25:51 +08:00

modalfallback.go

fix(multimodal): 修多模态假成功 + 落地视觉回退链 + see_video 帧数语义

2026-09-04 06:25:51 +08:00

output.go

fix(cabi): output_send 等待真实发送结果，消除假成功（plan 11.1 / Part 0.1）

2026-08-31 12:16:39 +08:00

plugin_health.go

feat: output channel redesign - per-channel output gates, LLM chain events, SDKConfig

2026-07-16 12:11:16 +08:00

plugins.go

feat: 插件工具按需拉取(get_plugin_tools) + 设备命令类型拆分(shell-cmd/homeagent-cmd)

2026-08-18 09:07:21 +08:00

process.go

feat(memory): 媒体接入 L0/L2——digest 挂到对话事件，归档时引用随之转移

2026-09-04 20:53:32 +08:00

spawn.go

fix(agent): 流式并行 tool_call 按 JSON index 分桶，修复空参数调用

2026-08-26 16:10:02 +08:00

stage.go

feat: webui chat 接口支持设备身份(device_id/device_name)

2026-08-18 11:49:57 +08:00

stages_plugin_test.go

fix(proc): 子进程崩溃自愈 + 集中台账 + 注册面摘除

2026-09-03 12:37:58 +08:00

stages_test.go

refactor: pluginize text cleaning and tool NoMemory control

2026-07-24 14:49:08 +08:00

stages.go

fix(proc): 子进程崩溃自愈 + 集中台账 + 注册面摘除

2026-09-03 12:37:58 +08:00

status.go

fix: WebUI 版本显示 + Windows 交叉编译 + 发布脚本三处回归

2026-09-03 15:38:31 +08:00

stream_accumulate_test.go

feat(streaming): token-level delta events + interrupt for CLI/WebUI/GUI

2026-08-25 10:50:37 +08:00

stream_index_test.go

fix(agent): 流式并行 tool_call 按 JSON index 分桶，修复空参数调用

2026-08-26 16:10:02 +08:00

tokenbudget.go

feat: 完整实现 NLP 三元组提取系统 + token budget 上下文分配

2026-07-27 15:26:23 +08:00

toolcall.go

feat(sdk): 多模态贯通插件边界——公开接口、内核桥接与统一输入主干

2026-09-06 09:51:31 +08:00

tooldefs.go

feat(vector): pluggable multimodal vector space

2026-09-09 17:38:34 +08:00

utils.go

feat(sdk): 多模态贯通插件边界——公开接口、内核桥接与统一输入主干

2026-09-06 09:51:31 +08:00