NextAgent/docs/memory-subnet.md

记忆子网 — 训练目标与训练计划

概述

记忆子网类比人脑的海马体与皮层，负责长期记忆的存储、检索和管理。采用三级存储架构：图数据库（Neo4j）存储结构化知识图谱、向量数据库存储语义向量、文本存储记录会话历史。

图数据库记忆设计参考了 TrulyMEM-TrueHumanMEM 项目。

架构定位

记忆子网是整个 NextAgent 架构中唯一与记忆内容交互的模块。Core 不自作主张处理记忆——只负责将查询张量和新信息张量传递过来，如何更新、删除、修改由记忆子网自行完成。

         Core 传过来的两样东西
               │
     ┌─────────┴────────────┐
     │                      │
  查询张量                新信息张量
  (含意图/种子实体)       (含本轮标签/结果)
     │                      │
     └─────────┬────────────┘
               │
               ▼
┌───────────────────────────────────────────────────────────┐
│                    记忆子网（自治）                          │
│                                                           │
│  ┌────────────────────────────────────────────────────┐   │
│  │         记忆管理器 (Memory Manager)                  │   │
│  │  自行决定：                                         │   │
│  │  → 如何解析查询 → 走图DB/向量DB/文本                 │   │
│  │  → 如何写入新信息 → MERGE/CREATE/更新                 │   │
│  │  → 如何更新已有记忆 → 增量/覆盖/合并                  │   │
│  │  → 如何删除 → 软删除/硬删除/归档                      │   │
│  │  → 如何关联 → 链路推理/图谱推理                       │   │
│  └──────┬────────────┬──────────────┬─────────────────┘   │
│         │            │              │                       │
│         ▼            ▼              ▼                       │
│  ┌──────────┐ ┌────────────┐ ┌────────────────┐           │
│  │  图数据库  │ │ 向量数据库  │ │   文本存储       │           │
│  │ (Neo4j)   │ │(Milvus/FAISS)│ │ (日志/会话归档)  │           │
│  │          │ │            │ │                │           │
│  │ Entity   │ │ 语义向量    │ │ 原始对话记录     │           │
│  │ RELATES  │ │ 索引        │ │ 时间线索引       │           │
│  │ Cypher   │ │ 相似度搜索  │ │ 压缩归档         │           │
│  └──────────┘ └────────────┘ └────────────────┘           │
│                                                           │
│  ┌────────────────────────────────────────────────────┐   │
│  │      张量编/解码层                                   │   │
│  │  输入：查询张量 + 新信息张量（来自 Core）              │   │
│  │  输出：记忆结果张量（返回给 Core）                     │   │
│  └────────────────────────────────────────────────────┘   │
└───────────────────────────────────────────────────────────┘

三级存储架构

第一级：图数据库（Neo4j）— 温区

存储结构化知识，支持关系查询和推理。

参考 TrulyMEM 的图数据库设计：

节点 (Entity) 类型

节点类型	Node Label	属性	说明
人设节点	PersonaNode	name, type, created_at	AI 角色、性格、语气
任务节点	TaskNode	task_id, description, state, created_at	任务概述与状态
状态节点	StateNode	name, value, timestamp	任务或实体的状态
信息节点	InfoNode	name, content, source, confidence	具体信息
实体节点	EntityNode	name, type, mention_count, updated_at	通用实体

边 (RELATES) 类型

边类型	说明	示例
HAS_PERSONA	人设关联	AI → PersonaNode
NEXT_TASK	任务时间链	TaskNode → TaskNode
HAS_STATE	状态关联	TaskNode → StateNode
CONTAINS_INFO	信息包含	TaskNode → InfoNode
RELATES_TO	通用关联	EntityNode → EntityNode

索引设计

// 实体约束
CREATE CONSTRAINT entity_name_constraint IF NOT EXISTS FOR (e:Entity) REQUIRE e.name IS UNIQUE
CREATE CONSTRAINT session_id_constraint IF NOT EXISTS FOR (s:Session) REQUIRE s.session_id IS UNIQUE

// 关系索引
CREATE INDEX rel_created_at IF NOT EXISTS FOR ()-[r:RELATES]-() ON r.created_at
CREATE INDEX rel_type IF NOT EXISTS FOR ()-[r:RELATES]-() ON r.type
CREATE INDEX rel_status IF NOT EXISTS FOR ()-[r:RELATES]-() ON r.status
CREATE INDEX rel_date_bucket IF NOT EXISTS FOR ()-[r:RELATES]-() ON r.date_bucket

// 实体索引
CREATE INDEX entity_type IF NOT EXISTS FOR (e:Entity) ON e.type
CREATE INDEX entity_mention_count IF NOT EXISTS FOR (e:Entity) ON e.mention_count

检索示例

-- 关键字检索
MATCH (e:Entity)-[r:RELATES]->(t:Entity)
WHERE r.status = 'active' 
  AND (toLower(e.name) CONTAINS '关键词' OR toLower(t.name) CONTAINS '关键词')
RETURN e, r, t
ORDER BY r.created_at DESC
LIMIT 30

-- 会话隔离检索
MATCH (e:Entity)-[r:RELATES]->(t:Entity)
WHERE r.session_id = $session_id AND r.status = 'active'
RETURN e, r, t

-- 热点实体查询
MATCH (e:Entity)
RETURN e.name, e.mention_count, e.type
ORDER BY e.mention_count DESC
LIMIT 10

第二级：向量数据库（Milvus / FAISS）— 冷区

存储语义向量，支持相似度检索。

项目	说明
索引类型	IVF_FLAT / HNSW
向量维度	768 (匹配标准张量维度)
度量方式	Cosine Similarity
分片策略	按时间桶 + 会话 ID 分片

第三级：文本存储 — 冷区

存储完整的原始对话记录和会话日志。

项目	说明
存储格式	JSONL / 压缩归档
索引	时间线索引 + 会话 ID 索引
生命周期	30天后归档，90天后可清理
用途	审计、重建、深度分析

输入/输出

项目	说明
输入1	查询张量（来自 Core，含查询意图、种子实体、上下文）
输入2	新信息张量（来自 Core，含本轮标签和子网结果；不含具体写入指令）
输出	memory_result 张量（包含检索到的实体/关系/向量结果）
自治	记忆子网自行决定如何写入、更新、删除、修改记忆

训练目标

目标 1：图数据库检索准确率

指标	目标值	说明
检索召回率 (Recall@10)	≥ 90%	对于已知关系的检索
检索精确率 (Precision@10)	≥ 85%	检索结果的相关性
关系推理准确率	≥ 80%	通过图路径推理发现隐含关系

目标 2：向量检索能力

指标	目标值	说明
语义检索 Recall@10	≥ 85%	向量相似度检索
跨模态检索准确率	≥ 80%	文本→图像/语音的跨模态检索
索引构建时间	≤ 100ms/1000条	向量索引增量更新

目标 3：记忆关联发现

指标	目标值	说明
关联发现 F1	≥ 75%	自动发现实体间的隐含关系
记忆合并准确率	≥ 90%	重复实体的合并不引入错误
因果链路发现	≥ 70%	从事件序列中发现因果关系

目标 4：工作记忆管理

指标	目标值	说明
上下文切换延迟	≤ 10ms	工作记忆的热区缓存命中率
工作记忆容量	4096 tokens	每轮有效上下文
缓存命中率	≥ 80%	热区缓存有效减少冷区访问

训练计划

阶段 1：图数据库操作基座（无训练）

目标：构建 Neo4j 图数据库操作层，建立基础检索和写入能力

实现：

• 实现 Cypher 查询模板系统
• 实现 MERGE / CREATE 写入逻辑
• 实现会话隔离和索引管理
• 实现软删除和归档机制

参考 TrulyMEM 的 graph_client.py 实现：

class Neo4jGraph:
    def recall(self, query_intent, seed_entities, depth=2):
        """检索记忆 - Cypher 驱动"""
        # 关键词解析 → 构造 WHERE 子句
        # 支持深度扩展（depth 参数）
        # 返回实体列表 + 关系列表
    
    def commit(self, triplets, entity_types, temporal_tag):
        """写入记忆 - MERGE + CREATE"""
        # 逐条写入三元组
        # 自动维护 mention_count
        # 记录会话和轮次信息
    
    def purge(self, criteria, mode="soft", new_relation=None):
        """删除/修正记忆"""
        # soft: 标记 status='deleted'
        # supersede: 标记旧关系 + 创建新关系

阶段 2：图神经网络关联学习

目标：训练 GNN 模型进行知识关联推理

技术路线：

• 模型：R-GCN (Relational Graph Convolutional Network) 或 CompGCN
• 或 使用 GraphSAGE + 关系注意力

训练步骤：

1. 构建知识图谱训练集：从现有图数据库中采样子图
2. 链接预测任务 (Link Prediction)：预测两个实体之间是否存在关系
3. 实体分类任务 (Entity Classification)：预测实体类型
4. 损失函数：交叉熵 + 对比损失 (margin-based ranking loss)
5. 训练 200 epochs，使用 Adam 优化器，learning rate 1e-3
6. 评估：在验证集上计算 Hits@K 和 MRR

阶段 3：Memory-Augmented Neural Networks (MANN)

目标：训练记忆增强网络，实现高效的读写操作

技术路线：

• 模型：Differentiable Neural Computer (DNC) 或 Neural Turing Machine (NTM)
• 外部记忆矩阵 + 读写头

训练步骤：

1. 合成任务训练：copy task, repeat copy, associative recall
2. 问答任务训练：bAbI 数据集，测试记忆存取能力
3. 长序列建模：训练在长上下文中准确索引信息
4. 添加注意力读写机制
5. 损失函数：任务损失 + 记忆使用正则化

阶段 4：引用-拉取策略训练

目标：训练决定何时拉取（从冷区）、何时缓存的策略

技术路线：

• 强化学习：基于记忆访问模式的 RL
• 状态：当前任务类型、历史访问模式、缓存状态
• 动作：拉取/缓存/不操作
• 奖励：访问延迟降低 + 缓存命中率

训练步骤：

1. 构建模拟环境：包含热区缓存、图数据库、向量数据库
2. 收集真实交互日志作为训练数据
3. 训练策略网络（Policy Network）
4. 使用 PPO 算法优化策略
5. 评估：缓存命中率、平均访问延迟

阶段 5：端到端联合训练

目标：将以上阶段整合，与路由子网、逻辑子网联合训练

训练步骤：

1. 固定路由子网的输出作为记忆子网的查询输入
2. 使用多任务训练：图检索 + 向量检索 + 关联发现
3. 损失函数：L = L_retrieval + α * L_link + β * L_cache + γ * L_reg
4. 与 Core 的启发式调度策略联合优化

评估指标体系

离线评估

指标	计算方法	目标
图检索 Recall@10	检索结果中包含正确答案的比例	≥ 90%
向量检索 Recall@10	按语义相似度排序的召回率	≥ 85%
关联推理 MRR	Mean Reciprocal Rank	≥ 0.7
记忆写入一致性	写入后检索与原始一致	≥ 99%
缓存命中率	热区缓存直接命中的比例	≥ 80%

在线评估

指标	说明
记忆检索延迟	Core 发出查询到收到结果的时间
记忆更新延迟	Core 发出更新到写入完成的时间
信息一致性	同一信息多次检索结果是否一致
记忆容量	在不显著降低性能前提下的最大存储量

新信息张量格式

Core 传递给记忆子网的新信息张量（Core 不发送

{
  "header": {
    "source": "core",
    "target": "memory",
    "tensor_type": "memory_update",
    "trace_id": "trace-uuid",
    "timestamp": 1717200000
  },
  "payload": {
    "entities": [
      {"name": "用户_张三", "type": "PersonaNode", "attributes": {"preference": "摇滚音乐"}},
      {"name": "项目_NextAgent", "type": "EntityNode", "attributes": {}}
    ],
    "relations": [
      {"subject": "用户_张三", "relation": "HAS_PERSONA", "object": "喜欢_摇滚", "confidence": 0.95},
      {"subject": "用户_张三", "relation": "RELATES_TO", "object": "项目_NextAgent", "confidence": 0.9}
    ],
    "session_id": "session-20260601-xxxx",
    "turn_id": 42,
    "metadata": {
      "source_subnets": ["routing", "logic_trace", "core"],
      "aggregation_strategy": "merge"
    }
  },
  "metadata": {
    "entity_count": 3,
    "relation_count": 2,
    "upsert_mode": "merge"
  }
}