jianf/HomeAgent
1
0
Fork 0
mirror of https://gitcode.com/JianFeeeee/HomeAgent.git synced 2026-10-15 12:15:16 +00:00
Code Issues Packages Projects Releases Wiki Activity
Files
fdfbcea4790fb353846a6cd1e5bf1516690ec3dc
HomeAgent/internal/memory
History
JianFeeeee fdfbcea479 fix(memory)!: 视觉路被文本块饿死 —— 模态过滤必须在截断之前 
## 回归（块 union 化引入，真实数据实测）

CAS 时代 `crossmodal.go` 的视觉路查 `QueryMediaScored`，SQL 是
`FROM media`——**只含媒体**，结构上不可能被文本块挤掉。
86572d13 把它换成通用 `RecallBlocks`（全局 top-K，含数千文本块），
于是视觉路每查必空。

## 定量证据（生产模型 chineseclip + 真实生产库副本）

同一向量空间内，文本查询与两类块的原始余弦：

| 查询 | 图像块 max / p95 | 文本块 max / p95 |
|---|---|---|
| 图片 | 0.3773 / 0.3554 | 1.0000 / 0.8644 |
| 一张图片 | 0.4096 / 0.3707 | 0.9222 / 0.8693 |
| 照片 | 0.3850 / 0.3651 | 0.9349 / 0.8672 |

图片的绝对相似度天然低于「字面相同的文本」。复刻生产调用
（per = max(8, topK*2)，再 `continue` 掉文本块）：

    per=  8 → 5 次查询 40 条，图像块 0 条
    per=200 → 5 次查询 1000 条，图像块 0 条   ← 视觉路被彻底饿死

根因：**「取全局 top-K 再过滤掉文本块」——过滤发生在截断之后**，
名额早已被文本块占满。下面的 `continue` 只是防御，不是筛选手段。

## 修法

`BlockRecallQuery` 新增 `Modality` / `ExcludeText`，并在 **SQL 层**
限定（不是取回来再丢）：
  - 语义正确：让 top-K 在目标模态内部竞争
  - 顺带省算力：不必反序列化 3639 个文本块的向量再丢弃

`crossmodal.go` 视觉路传 `ExcludeText: true`。修复后同一诊断：
`per=200 → 560 条全部是图像块，文本块 0 条`。

## 判据（含变异）

- `TestRecallBlocks_模态过滤在截断前生效`（单测，500 满分文本块 + 2 低分媒体块）：
  ① `ExcludeText` TopK=2 仍取到 2 个媒体块；② `Modality=image` 只返回图像块。
  **变异**（同时移除 SQL 过滤与循环内 continue）→ 两条断言当场 FAIL。
  注：只移除 SQL 过滤而保留循环内 continue **不算变异**——语义等价，
  差别仅在性能（这点也实测确认过）。
- `TestE2E_MultimodalBlockRecall`（-tags 'e2e onnxruntime'，生产模型 + 真库）：
  ① 12 个真图块可嵌入（512 维）；② 12/12 块能被自己的向量召回（纯向量）；
  ③ 跨进程重开后向量/指纹/字节都在；④ `ExcludeText` 视觉路召到 20 个媒体块。
  判据②原写成"必须 top1"，实测发现同一张图被存成 4 个块（digest 相同）
  → 向量逐位相同 → 并列满分，top1 只取决于排序稳定性。
  改为"必须出现在满分并列集，且排在它前面的都必须是同内容"。

回归：memory / agent-core / sdk 全绿；全仓生产编译 GREEN。
2026-10-12 17:18:04 +08:00
..
distill
chore(module): Go module 路径随托管地迁移 gitcode → github
2026-10-08 10:40:17 +08:00
document
chore(module): Go module 路径随托管地迁移 gitcode → github
2026-10-08 10:40:17 +08:00
jiebadict
feat(core): 注入行为的记忆/裁剪标志位落地 + jieba 词库内嵌 + Windows 改走 WSL
2026-09-11 20:31:50 +08:00
pipeline
chore(module): Go module 路径随托管地迁移 gitcode → github
2026-10-08 10:40:17 +08:00
social
perf(memory): Introspect 507ms→11ms、ListPersons 130ms→3ms
2026-10-08 16:41:03 +08:00
text
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
vector
docs(memory): 修正三处仍把已删 CAS 当活的注释
2026-10-12 16:55:40 +08:00
abstain_test.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
abstain.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
access_hook_race_test.go
feat(memory): 图数据库自报真实读写事件，取代「按工具名猜节点」
2026-10-08 10:41:07 +08:00
access_hook_test.go
feat(memory): 图数据库自报真实读写事件，取代「按工具名猜节点」
2026-10-08 10:41:07 +08:00
alias_candidates_test.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
arbitration_sibling_guard_test.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
arbitration_test.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
arbitration.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
bilingual_test.go
refactor(memory): 拆除描述式媒体索引，媒体成为一等块并按原生向量融合
2026-09-11 11:45:24 +08:00
block_recall_test.go
fix(memory)!: 视觉路被文本块饿死 —— 模态过滤必须在截断之前
2026-10-12 17:18:04 +08:00
block_recall.go
fix(memory)!: 视觉路被文本块饿死 —— 模态过滤必须在截断之前
2026-10-12 17:18:04 +08:00
block.go
test(memory)!: 块 union 化判据重写（CAS 淘汰第二阶段：测试）
2026-10-12 14:26:13 +08:00
blocks_changed_test.go
perf(webui): pulse 端点不再全量扫描图库；修星图每帧全量开销
2026-10-08 12:35:28 +08:00
centroid_store_test.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
centroid_store.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
centroid_test.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
centroid.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
clean_stress_test.go
refactor(memory): 拆除描述式媒体索引，媒体成为一等块并按原生向量融合
2026-09-11 11:45:24 +08:00
clean_text_test.go
feat: NoMemory/Cleaner memory system + doc update
2026-07-25 11:17:31 +08:00
clean_text.go
chore(module): Go module 路径随托管地迁移 gitcode → github
2026-10-08 10:40:17 +08:00
commit_blocks_test.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
cut_test.go
sdk: embed non-toolchain SDK in third_party, add NoMemory/Cleaner support
2026-07-29 14:48:23 +08:00
cut.go
fix(memory): doc→graph 补回常用词闸门 + 存量噪音/孤立节点清理
2026-09-15 07:47:16 +08:00
delete_entity_blocks_test.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
e2e_backfill_test.go
feat(memory)!: 存量媒体字节回填（块 union 化第三阶段：数据迁移）
2026-10-12 16:23:23 +08:00
e2e_multimodal_recall_test.go
fix(memory)!: 视觉路被文本块饿死 —— 模态过滤必须在截断之前
2026-10-12 17:18:04 +08:00
edge_entity_test.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
edge_entity.go
feat(memory): 图数据库自报真实读写事件，取代「按工具名猜节点」
2026-10-08 10:41:07 +08:00
entityname_test.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
fusion_bfs_test.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
fusion_test.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
fusion.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
graph_readonly_test.go
feat(memory): N2a 第一块砖 —— 主图记忆的受限句柄（query_only），子是"读得到写不进"
2026-09-13 09:32:29 +08:00
graph_test.go
test(memory)!: 块 union 化判据重写（CAS 淘汰第二阶段：测试）
2026-10-12 14:26:13 +08:00
graph.go
test(memory)!: 块 union 化判据重写（CAS 淘汰第二阶段：测试）
2026-10-12 14:26:13 +08:00
indexer_test.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
indexer.go
refactor(memory)!: 块 union 化，彻底淘汰 CAS 第一阶段（生产代码）
2026-10-12 10:13:36 +08:00
introspect_count_truth_test.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
introspect_perf_test.go
perf(memory): Introspect 507ms→11ms、ListPersons 130ms→3ms
2026-10-08 16:41:03 +08:00
jieba_embed_test.go
feat(core): 注入行为的记忆/裁剪标志位落地 + jieba 词库内嵌 + Windows 改走 WSL
2026-09-11 20:31:50 +08:00
jieba_embed.go
feat(core): 注入行为的记忆/裁剪标志位落地 + jieba 词库内嵌 + Windows 改走 WSL
2026-09-11 20:31:50 +08:00
legacy_retire_precondition_test.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
light_memory_test.go
feat(memory): N2a 第二块砖 + N2d 数据面 —— 轻量图记忆装配（temp 可写/主库只读/并集）与回收合入
2026-09-13 09:38:54 +08:00
light_memory.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
merge_blocks_test.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
migrate_blockdata_test.go
feat(memory)!: 存量媒体字节回填（块 union 化第三阶段：数据迁移）
2026-10-12 16:23:23 +08:00
migrate_blockdata.go
docs(memory): 修正三处仍把已删 CAS 当活的注释
2026-10-12 16:55:40 +08:00
migrate_entities_test.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
migrate_entities.go
refactor(memory)!: 块 union 化，彻底淘汰 CAS 第一阶段（生产代码）
2026-10-12 10:13:36 +08:00
migrate_testhelp_test.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
migrate.go
refactor(memory)!: 块 union 化，彻底淘汰 CAS 第一阶段（生产代码）
2026-10-12 10:13:36 +08:00
near_screen_test.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
noise_test.go
test(memory)!: 块 union 化判据重写（CAS 淘汰第二阶段：测试）
2026-10-12 14:26:13 +08:00
noise.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
probe_e2e_test.go
chore(module): Go module 路径随托管地迁移 gitcode → github
2026-10-08 10:40:17 +08:00
probe_prod_test.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
prod_copy_regression_test.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
read_side_wrappers_test.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
real_context_test.go
memory 测试自包含：合成 word2vec 模型替代 /tmp 大模型依赖，测试不再联网下载 fastText
2026-08-05 09:59:30 +08:00
recall_exact_symbol_test.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
recall_order_test.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
recall_score_distribution_test.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
recall_separability_test.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
recall_sorted_blocks_test.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
reclaim_test.go
feat(memory): N2a 第二块砖 + N2d 数据面 —— 轻量图记忆装配（temp 可写/主库只读/并集）与回收合入
2026-09-13 09:38:54 +08:00
scene_dedupe_test.go
fix(memory): 图整备覆盖 scenes + 证据桶按桶清（R3/R5）
2026-09-26 20:16:11 +08:00
scene_emerge_test.go
fix(memory): 打通场景/索引/召回残余矛盾点，清理死代码与冗余索引
2026-09-15 10:20:40 +08:00
scene_emerge.go
fix(memory): 图整备覆盖 scenes + 证据桶按桶清（R3/R5）
2026-09-26 20:16:11 +08:00
scene_evidence_test.go
fix(memory): 图整备覆盖 scenes + 证据桶按桶清（R3/R5）
2026-09-26 20:16:11 +08:00
scene_key_test.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
scene_migrate_test.go
feat(memory): 图数据库自报真实读写事件，取代「按工具名猜节点」
2026-10-08 10:41:07 +08:00
scene_migrate.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00
scene_test.go
refactor(memory)!: 块 union 化，彻底淘汰 CAS 第一阶段（生产代码）
2026-10-12 10:13:36 +08:00
scene.go
refactor(memory)!: 块 union 化，彻底淘汰 CAS 第一阶段（生产代码）
2026-10-12 10:13:36 +08:00
sentence_block.go
test(memory)!: 块 union 化判据重写（CAS 淘汰第二阶段：测试）
2026-10-12 14:26:13 +08:00
static_embedder_mem_test.go
perf(memory): 静态词向量改用 float32 存储（省 ~0.65GB 常驻）
2026-09-13 14:09:35 +08:00
static_embedder_test.go
chore(module): Go module 路径随托管地迁移 gitcode → github
2026-10-08 10:40:17 +08:00
static_embedder.go
chore(module): Go module 路径随托管地迁移 gitcode → github
2026-10-08 10:40:17 +08:00
synth_model_test.go
fix: LLM 工具循环 400、中断消息注入、ConPTY 终端支持
2026-08-14 00:48:40 +08:00
traverse_test.go
merge: 整合 main（设备桥能力对齐 + 公开仓库清理 + 记忆块体系） (#2)
2026-10-05 11:25:20 +08:00