JianFeeeee
2585bc67ef
feat(memory)!: 存量媒体字节回填(块 union 化第三阶段:数据迁移)
块 union 化后媒体字节归块所有(memory_blocks.data),但存量库里
data 为空、payload_digest 仍指向旧 CAS。不回填就删 CAS ⇒ BlockData
取不到字节,图永久丢失。本提交补上这一步。
生产数据实测(/home/newqqagent/memory):
- graph.db 112 个媒体块,引 106 个唯一 digest
- media.db 156 条 + blobs 87M,112/112 digest 命中
内核(internal/memory/migrate_blockdata.go)
- BackfillBlockData(resolver):单事务、全回滚,按 payload_digest
把字节写进块自身 data 列。保留原块 ID —— 边/场景/向量都挂在它上面。
- CountBlockDataBackfillCandidates:报告模式,不写库。
- ProbeBackfillAvailability:dry-run 看 CAS 命中率。
- ensurePayloadDigestColumn:★ 关键。block union 化后新库的 CREATE
已删该列,旧库还留着。迁移必须两者都能跑:旧库忽略 duplicate
column 错误,新库补列后得到 0 候选(安全空操作),而不是崩在
"no such column"。
- CAS 取不到字节的块计 Missing 并跳过(既有数据损失,不阻断其余)。
命令(cmd/homed-media-backfill)
- 默认只报告,-apply 才写;写前自动 sqlite3 .backup 快照。
- 回填后立刻 BlockData 抽样自检。
判据(4 条单元 + 1 条真实数据 e2e,全部做过变异测试)
- RoundTrip:BlockData 取回字节 == 来源逐字节一致
- MissingDigestSkipped:缺失内容计 Missing 且不阻断
- IdempotentThreeRuns:连跑三次只真回填一次
- FreshDBSafeNoOp:新库(无该列、无历史数据)上是安全空操作
- E2E(-tags e2e,读真 graph.db):112 块全部可取回、sha256 与
payload_digest 全等、抽样 20 块用自己的向量自召回 score=1.0
变异测试(判据不是装饰):
- 回填写空字节 → RoundTrip 挂
- Missing 分支改为也写入 → MissingDigestSkipped 挂
- 候选查询不排除已回填 → IdempotentThreeRuns 挂
- 移除 ensure 调用 → FreshDBSafeNoOp 挂(no such column)
生产数据 e2e 已在 /tmp/e2e-backfill 副本上完成(sqlite3 .backup 快照 +
CAS 拷贝):报告 112/112 命中 → apply 回填 112 块 55.03MB → 独立
交叉验证(python hashlib 全量 112/112 sha256 吻合 + sha256sum 对照
磁盘 blob 一致)→ 幂等复跑 0 候选 → 读路径召回 20/20 命中。
2026-10-12 16:23:23 +08:00
..
2026-10-08 10:40:17 +08:00
2026-10-08 10:40:17 +08:00
2026-09-11 20:31:50 +08:00
2026-09-15 06:32:36 +08:00
2026-10-08 10:40:17 +08:00
2026-10-08 16:41:03 +08:00
2026-10-05 11:25:20 +08:00
2026-10-08 10:40:17 +08:00
2026-10-05 11:25:20 +08:00
2026-10-05 11:25:20 +08:00
2026-10-08 10:41:07 +08:00
2026-10-08 10:41:07 +08:00
2026-10-05 11:25:20 +08:00
2026-10-05 11:25:20 +08:00
2026-10-05 11:25:20 +08:00
2026-10-05 11:25:20 +08:00
2026-09-11 11:45:24 +08:00
2026-10-05 11:25:20 +08:00
2026-10-12 10:13:36 +08:00
2026-10-12 14:26:13 +08:00
2026-10-08 12:35:28 +08:00
2026-10-05 11:25:20 +08:00
2026-10-05 11:25:20 +08:00
2026-10-05 11:25:20 +08:00
2026-10-05 11:25:20 +08:00
2026-09-11 11:45:24 +08:00
2026-07-25 11:17:31 +08:00
2026-10-08 10:40:17 +08:00
2026-10-05 11:25:20 +08:00
2026-07-29 14:48:23 +08:00
2026-09-15 07:47:16 +08:00
2026-10-05 11:25:20 +08:00
2026-10-12 16:23:23 +08:00
2026-10-05 11:25:20 +08:00
2026-10-08 10:41:07 +08:00
2026-10-05 11:25:20 +08:00
2026-10-05 11:25:20 +08:00
2026-10-05 11:25:20 +08:00
2026-10-05 11:25:20 +08:00
2026-09-13 09:32:29 +08:00
2026-10-12 14:26:13 +08:00
2026-10-12 14:26:13 +08:00
2026-10-05 11:25:20 +08:00
2026-10-12 10:13:36 +08:00
2026-10-05 11:25:20 +08:00
2026-10-08 16:41:03 +08:00
2026-09-11 20:31:50 +08:00
2026-09-11 20:31:50 +08:00
2026-10-05 11:25:20 +08:00
2026-09-13 09:38:54 +08:00
2026-10-05 11:25:20 +08:00
2026-10-05 11:25:20 +08:00
2026-10-12 16:23:23 +08:00
2026-10-12 16:23:23 +08:00
2026-10-05 11:25:20 +08:00
2026-10-12 10:13:36 +08:00
2026-10-05 11:25:20 +08:00
2026-10-12 10:13:36 +08:00
2026-10-05 11:25:20 +08:00
2026-10-12 14:26:13 +08:00
2026-10-05 11:25:20 +08:00
2026-10-08 10:40:17 +08:00
2026-10-05 11:25:20 +08:00
2026-10-05 11:25:20 +08:00
2026-10-05 11:25:20 +08:00
2026-08-05 09:59:30 +08:00
2026-10-05 11:25:20 +08:00
2026-10-05 11:25:20 +08:00
2026-10-05 11:25:20 +08:00
2026-10-05 11:25:20 +08:00
2026-10-05 11:25:20 +08:00
2026-09-13 09:38:54 +08:00
2026-09-26 20:16:11 +08:00
2026-09-15 10:20:40 +08:00
2026-09-26 20:16:11 +08:00
2026-09-26 20:16:11 +08:00
2026-10-05 11:25:20 +08:00
2026-10-08 10:41:07 +08:00
2026-10-05 11:25:20 +08:00
2026-10-12 10:13:36 +08:00
2026-10-12 10:13:36 +08:00
2026-10-12 14:26:13 +08:00
2026-09-13 14:09:35 +08:00
2026-10-08 10:40:17 +08:00
2026-10-08 10:40:17 +08:00
2026-08-14 00:48:40 +08:00
2026-10-05 11:25:20 +08:00