JianFeeeee
b1f02a22b6
fix(memory): 向量输入改用事件正文 —— 摘要是 jieba 词袋,把全库拉成同一方向
## 实测缺陷(真实 chineseclip,4 篇主题完全不同的短正文)
[1][3] 0.9478 [2][3] 0.9427
[1][2] 0.9316 [0][3] 0.8614
两两余弦 0.85~0.95,几乎同向。查询分数 0.70~0.78 挤在一起,区分度 0.08。
根因:denseFor 用 `doc.Summary + " " + doc.Content`,而 Summary 由
summarizeEntries → memory.ExtractKeywords → TokenizeContentWords → jieba.Tag()
生成,同一来源的摘要**逐字同质**:
来自 1 个来源的 1 条对话 (src0) 涉及: 用户, 提问
来自 1 个来源的 1 条对话 (src1) 涉及: 用户, 提问
这与设计直接矛盾:ARCHITECTURE L131/L174 写的向量层级是
「统一多模态空间(主)→ StaticEmbedder → TF-IDF(回退)」,
而 Summary 是**主路径的输入**,却由**最末一级的词法分词**产出。
## 修法
denseFor 改用 documentTextForVector(doc):按事件顺序拼原文(来自块里的正文)。
存量无 Events 的文档退回 Content(渲染视图,但比 Summary 更接近内容)。
★ 绝不含 Summary —— 它是词袋,会把全库拉向同一方向。
## 媒体为什么不单独生成摘要
媒体块与文本块**在同一事件内**(Doc.Events[i].Blocks),事件正文进入向量
即覆盖其语义。为媒体单独生成描述正是 CAS 时代「描述式索引」的错误
(描述是二手信息),v1.2.0 已整体拆除,不重走。
「按图搜图」是视觉路(RecallBlocks 读块自己的向量)的职责,已有独立通路。
## 判据
- TestRetrieval_SummaryNoiseMustNotPolluteVector:主题不同的短正文文档,
两两余弦必须 <0.80。修复前 0.82~0.86。
- TestRetrieval_VectorInputIsBodyNotSummary:正文里的唯一哨兵必须能检索到。
变异:denseFor 改回 Summary+Content ⇒ 前者立刻红(实测 0.8225~0.8573)。
2026-10-22 19:33:50 +08:00
..
2026-10-21 12:17:19 +08:00
2026-10-22 19:33:50 +08:00
2026-09-11 20:31:50 +08:00
2026-10-21 12:17:19 +08:00
2026-10-21 12:17:19 +08:00
2026-10-21 12:17:19 +08:00
2026-10-21 12:17:19 +08:00
2026-10-05 11:25:20 +08:00
2026-10-05 11:25:20 +08:00
2026-10-08 10:41:07 +08:00
2026-10-08 10:41:07 +08:00
2026-10-05 11:25:20 +08:00
2026-10-05 11:25:20 +08:00
2026-10-05 11:25:20 +08:00
2026-10-05 11:25:20 +08:00
2026-09-11 11:45:24 +08:00
2026-10-12 17:18:04 +08:00
2026-10-12 17:18:04 +08:00
2026-10-17 19:18:24 +08:00
2026-10-08 12:35:28 +08:00
2026-10-05 11:25:20 +08:00
2026-10-05 11:25:20 +08:00
2026-10-05 11:25:20 +08:00
2026-10-05 11:25:20 +08:00
2026-09-11 11:45:24 +08:00
2026-07-25 11:17:31 +08:00
2026-10-21 12:17:19 +08:00
2026-10-05 11:25:20 +08:00
2026-07-29 14:48:23 +08:00
2026-09-15 07:47:16 +08:00
2026-10-05 11:25:20 +08:00
2026-10-12 16:23:23 +08:00
2026-10-21 12:17:19 +08:00
2026-10-05 11:25:20 +08:00
2026-10-08 10:41:07 +08:00
2026-10-05 11:25:20 +08:00
2026-10-05 11:25:20 +08:00
2026-10-05 11:25:20 +08:00
2026-10-05 11:25:20 +08:00
2026-09-13 09:32:29 +08:00
2026-10-12 14:26:13 +08:00
2026-10-12 14:26:13 +08:00
2026-10-05 11:25:20 +08:00
2026-10-21 12:17:19 +08:00
2026-10-05 11:25:20 +08:00
2026-10-08 16:41:03 +08:00
2026-09-11 20:31:50 +08:00
2026-09-11 20:31:50 +08:00
2026-10-05 11:25:20 +08:00
2026-09-13 09:38:54 +08:00
2026-10-05 11:25:20 +08:00
2026-10-05 11:25:20 +08:00
2026-10-17 19:18:24 +08:00
2026-10-12 16:55:40 +08:00
2026-10-05 11:25:20 +08:00
2026-10-12 10:13:36 +08:00
2026-10-05 11:25:20 +08:00
2026-10-12 10:13:36 +08:00
2026-10-05 11:25:20 +08:00
2026-10-12 14:26:13 +08:00
2026-10-05 11:25:20 +08:00
2026-10-21 12:17:19 +08:00
2026-10-05 11:25:20 +08:00
2026-10-17 19:18:24 +08:00
2026-10-05 11:25:20 +08:00
2026-08-05 09:59:30 +08:00
2026-10-05 11:25:20 +08:00
2026-10-05 11:25:20 +08:00
2026-10-05 11:25:20 +08:00
2026-10-05 11:25:20 +08:00
2026-10-05 11:25:20 +08:00
2026-09-13 09:38:54 +08:00
2026-09-26 20:16:11 +08:00
2026-09-15 10:20:40 +08:00
2026-09-26 20:16:11 +08:00
2026-09-26 20:16:11 +08:00
2026-10-05 11:25:20 +08:00
2026-10-08 10:41:07 +08:00
2026-10-05 11:25:20 +08:00
2026-10-12 10:13:36 +08:00
2026-10-12 10:13:36 +08:00
2026-10-17 19:18:24 +08:00
2026-09-13 14:09:35 +08:00
2026-10-21 12:17:19 +08:00
2026-10-21 12:17:19 +08:00
2026-10-17 19:18:24 +08:00
2026-08-14 00:48:40 +08:00
2026-10-05 11:25:20 +08:00