From ca5e62f775014db743fcb4e1eb7e1cc48dfb0d3d Mon Sep 17 00:00:00 2001 From: JianFeeeee Date: Sat, 12 Sep 2026 20:19:05 +0800 Subject: [PATCH] =?UTF-8?q?docs(plan):=20=E8=AE=B0=E5=BF=86=E4=B8=8E?= =?UTF-8?q?=E5=A4=9A=E6=A8=A1=E6=80=81=E7=9B=AE=E6=A0=87=E7=BA=A0=E6=AD=A3?= =?UTF-8?q?=EF=BC=88=E5=AA=92=E4=BD=93=E4=B8=BA=E4=B8=80=E7=AD=89=E8=8A=82?= =?UTF-8?q?=E7=82=B9=E3=80=81=E5=90=8C=E4=B8=80=E6=8C=87=E7=BA=B9=E7=A9=BA?= =?UTF-8?q?=E9=97=B4=E3=80=81=E9=9F=B3=E9=A2=91=20unsupported=EF=BC=89?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 把计划里过时的描述式索引路线改正：媒体/媒体块是 L3 一等节点与原生边， multimodal doc/context 的向量与裁剪须与 text/媒体块在同一指纹空间共同参与； 音频在该模型下明确 unsupported（不做文本描述式索引）。 --- plan.md | 11 ++++++++--- 1 file changed, 8 insertions(+), 3 deletions(-) diff --git a/plan.md b/plan.md index 3a9725a..f98ad28 100644 --- a/plan.md +++ b/plan.md @@ -1369,11 +1369,16 @@ SSE Last-Event-ID → 超时 → api 状态码 → renderAll 增量 → XSS 消 ### 13.12 L3 原生多模态 +**目标纠正**：现有 `media_refs` 与 `graph_sentence` 只是挂载/反查机制；从文本标记生成普通 `Media` 三元组也不是一等多模态图节点。目标是媒体拥有独立身份、模态、MIME、原生向量、模型 fingerprint 与生命周期，并通过结构化边直接参与图检索、文档检索和 context 语义淘汰。 + **实施**： -1. L3 node_type 新增 media/media_block -2. L3 edge_type 新增 depicts/contains -3. L2→L3 迁移时保留 media 引用边 +1. L3 建立结构化 media/media_block 一等节点（不从描述文本反解） +2. L3 建立 contains/depicts/derived_from 原生边，可连接 document/context/entity/media +3. L2→L3 迁移时把文档及其媒体变成节点与边，不只迁移 `media_refs` +4. multimodal doc 的向量由文本及其媒体块在同一 Qwen fingerprint 空间共同参与 +5. multimodal context 的裁剪查询与事件向量同时融合 text/image/video，而非只算文本字段 +6. text/image/video 必须来自同一个 Qwen 空间；音频在该模型下明确 unsupported **验证**：