# 逻辑链路追踪神经网络 — 训练目标与训练计划 ## 概述 逻辑链路追踪神经网络（推理回路）类比人脑的**前额叶推理回路**，负责逻辑验证、错误追溯、路径重规划和自我修正。它是 NextAgent 实现"深度思考"的核心组件。 ### 架构定位 ``` 推理请求张量 (来自 Core) │ ▼ ┌──────────────────────────────────────────────┐ │ 逻辑链路追踪神经网络（推理回路） │ │ │ │ ┌──────────┐ ┌──────────┐ ┌──────────┐ │ │ │ 推理引擎 │→│ 路径追踪 │→│ 验证器 │ │ │ │ MCTS │ │ 记录器 │ │ Process │ │ │ │ 推理搜索 │ │ 推理路径 │ │ Reward │ │ │ └──────────┘ └──────────┘ └──────────┘ │ │ │ │ ┌──────────┐ ┌──────────┐ ┌──────────┐ │ │ │ 错误分析 │→│ 重规划器 │ │ 张量编码 │ │ │ │ Error │ │ Path │ │ →标准张量 │ │ │ │ Tracing │ │ Replanner│ │ │ │ │ └──────────┘ └──────────┘ └──────────┘ │ │ │ └──────────────────┬───────────────────────────┘ │ ▼ 推理路径张量 (Standard Reasoning Tensor) │ → 发送给调度 Core ``` ### 输入/输出 | 项目 | 说明 | |------|------| | **输入** | 推理请求张量（来自Core，包含任务描述、记忆上下文、路由引用） | | **输出** | 推理路径张量（发送给Core，包含推理步骤、验证标记、置信度、可选路径） | | **输出不是最终答案** | 只输出推理路径，不输出结论文本——结论由 LLM 子网负责表达 | | **延迟目标** | 单次推理 < 200ms | ### 推理路径张量格式 ```json { "header": { "source": "logic_trace", "target": "core", "tensor_type": "reasoning_path", "trace_id": "trace-uuid", "timestamp": 1717200000 }, "payload": { "reasoning_steps": [ { "step_id": 1, "type": "deduction", "input": "用户想要查询天气", "operation": "提取地点和时间信息", "output": "地点: 北京, 时间: 今天", "confidence": 0.95, "source_evidence": ["memory:偏好_北京天气"] }, { "step_id": 2, "type": "retrieval", "input": "需要天气数据", "operation": "查询记忆子网获取北京天气偏好", "output": "用户关注空气质量>温度", "confidence": 0.88, "source_evidence": ["graph:用户_北京_HAS_PERSONA_关注空气质量"] }, { "step_id": 3, "type": "verification", "input": "步骤1-2结果", "operation": "交叉验证", "output": "结论一致", "confidence": 0.92, "source_evidence": ["cross_validation"] } ], "final_confidence": 0.92, "alternative_paths": [ { "path_id": "alt_1", "conclusion": "用户可能不在北京（上次对话提到出差）", "confidence": 0.45, "rejection_reason": "信息过时（3天前的记录）" } ], "verified": true, "error_log": [] }, "metadata": { "step_count": 3, "mcts_iterations": 50, "search_depth": 5, "verification_status": "passed" } } ``` ## 子网内部架构 ``` ┌──────────────────────────────────────────────────────────────┐ │ 逻辑链路追踪神经网络 内部架构 │ │ │ │ 推理请求 → ┌──────────────────────────────────────────┐ │ │ │ 1. 推理引擎 (Reasoning Engine) │ │ │ │ ┌──────────────┐ ┌────────────────────┐ │ │ │ │ │ 蒙特卡洛树搜索 │ │ 思维链生成器 │ │ │ │ │ │ MCTS │ │ Chain-of-Thought │ │ │ │ │ │ 搜索推理路径 │ │ 多步推演 │ │ │ │ │ └──────────────┘ └────────────────────┘ │ │ │ └──────────────────────┬─────────────────────┘ │ │ │ │ │ ┌──────────────────────▼─────────────────────┐ │ │ │ 2. 路径追踪器 (Path Tracer) │ │ │ │ ┌──────────────┐ ┌────────────────────┐ │ │ │ │ │ 推理步骤记录 │ │ 依赖图构建 │ │ │ │ │ │ 每一步的输入/ │ │ 证据链追踪 │ │ │ │ │ │ 输出/置信度 │ │ 来源追溯 │ │ │ │ │ └──────────────┘ └────────────────────┘ │ │ │ └──────────────────────┬─────────────────────┘ │ │ │ │ │ ┌──────────────────────▼─────────────────────┐ │ │ │ 3. 验证器 (Verifier) │ │ │ │ ┌──────────────┐ ┌────────────────────┐ │ │ │ │ │ 过程奖励模型 │ │ 冲突检测器 │ │ │ │ │ │ Process │ │ 矛盾识别 │ │ │ │ │ │ Reward Model │ │ 逻辑一致性检查 │ │ │ │ │ └──────────────┘ └────────────────────┘ │ │ │ └──────────────────────┬─────────────────────┘ │ │ │ │ │ ┌──────────────────────▼─────────────────────┐ │ │ │ 4. 错误分析 & 重规划 │ │ │ │ ┌──────────────┐ ┌────────────────────┐ │ │ │ │ │ 错误追溯器 │ │ 重规划器 │ │ │ │ │ │ 失败路径分析 │ │ 替代路径生成 │ │ │ │ │ │ 根因定位 │ │ 参数调整 │ │ │ │ │ └──────────────┘ └────────────────────┘ │ │ │ └──────────────────────┬─────────────────────┘ │ │ │ │ │ ┌──────────────────────▼─────────────────────┐ │ │ │ 5. 张量编码层 │ │ │ │ 内部推理结果 → 标准推理路径张量 │ │ │ └──────────────────────────────────────────┘ │ │ │ └──────────────────────────────────────────────────────────────┘ ``` ## 训练目标 ### 目标 1：多步推理准确率 | 指标 | 目标值 | 说明 | |------|--------|------| | 链式推理准确率 | ≥ 85% | 5步以上的推理链 | | 数学推理准确率 | ≥ 75% | 多步数学问题 (GSM8K) | | 逻辑推理准确率 | ≥ 80% | 一阶逻辑推理任务 | | 常识推理准确率 | ≥ 85% | 常识推理基准 (CSQA) | ### 目标 2：错误路径检测 | 指标 | 目标值 | 说明 | |------|--------|------| | 错误检测召回率 | ≥ 90% | 能识别出推理链中的错误步骤 | | 错误检测精确率 | ≥ 80% | 标记为错误的确实有错误 | | 矛盾识别 F1 | ≥ 85% | 识别出推理结论中的矛盾 | ### 目标 3：回溯重规划能力 | 指标 | 目标值 | 说明 | |------|--------|------| | 回溯成功率 | ≥ 80% | 发现错误后成功重规划 | | 重规划效率 | ≤ 3轮回溯 | 最多3次回溯就能找到正确路径 | | 替代方案多样性 | ≥ 3条 | 每次至少生成3个替代推理路径 | ### 目标 4：推理可解释性 | 指标 | 目标值 | 说明 | |------|--------|------| | 推理步骤覆盖率 | 100% | 每步推理都有完整的 I/O 记录 | | 证据追溯准确率 | ≥ 95% | 每步推理都能追踪到数据来源 | | 推理路径可视化分 | ≥ 4/5 | 人类评估者可理解的程度 | ## 训练计划 ### 阶段 1：监督学习 — 基础推理能力 **目标**：训练 LLM 基础的多步推理能力 **技术路线**： - 使用思维链 (Chain-of-Thought) 数据集进行指令微调 (SFT) - 模型选择：基于开源 LLM（如 Llama 3 / Qwen 2.5）进行推理增强 **训练数据集**： | 数据集 | 用途 | 规模 | |--------|------|------| | GSM8K | 数学推理 | 8K | | MATH | 高级数学 | 12K | | StrategyQA | 策略推理 | 2K | | Logical Reasoning | 逻辑推理 | 5K | | HotpotQA | 多步问答 | 113K | **训练步骤**： 1. 收集和清洗上述数据集，统一格式为 (问题, 推理链, 答案) 2. 在基础模型上进行 LoRA 微调 3. 训练 3 epochs，batch size 128，learning rate 2e-5 4. 评估各数据集的推理准确率 ### 阶段 2：过程奖励模型 (PRM) 训练 **目标**：训练能够评估推理步骤质量的奖励模型 **技术路线**： - 为每步推理打分，而非仅评估最终结果 - 模型：Pythia / Llama + 值头 (Value Head) **训练步骤**： 1. 构建 PRM 训练集： - 从阶段1的模型生成多条推理链 - 人工标注每步的正确性（正确/错误/模糊） - 每步标注有监督信号 2. 训练奖励模型：输入推理步骤上下文 → 输出正确性分数 3. 损失函数：二元交叉熵（正步/错步分类） 4. 训练 5 epochs 5. 验证：奖励模型对错误步骤的识别准确率 ≥ 85% ### 阶段 3：RLHF + PRM 强化学习 **目标**：使用强化学习优化推理路径选择 **技术路线**： - PPO 算法 + 过程奖励模型 (PRM) - 奖励信号：PRM 对每步的打分 + 最终答案正确性 **训练步骤**： 1. 从阶段1的推理模型初始化策略网络 (Policy) 2. 使用 PPO 算法训练： - 从训练数据中采样问题 - 策略网络生成推理链 - PRM 对每步打分 - 优化策略以最大化累计奖励 3. KL 散度约束：防止策略偏离基座模型太远 4. 训练 100k steps 5. 在验证集上监控奖励和准确率 ### 阶段 4：蒙特卡洛树搜索 (MCTS) 训练 **目标**：使用 MCTS 模拟推理回溯，训练模型在不确定时探索替代路径 **技术路线**： - 在推理时使用 MCTS 扩展搜索空间 - 训练策略网络和价值网络指导 MCTS 搜索方向 **训练步骤**： 1. 构建 MCTS 推理框架： - 每个推理步作为搜索树的一个节点 - 使用阶段3的策略网络推理下一步 - 使用 PRM 作为价值评估 - 叶子节点回溯更新路径价值 2. MCTS 超参数： - 搜索次数：每次推理 50~200 次模拟 - 探索常数 (c_puct): 1.0 ~ 2.5 - 最大深度: 10步 3. 自我对弈 (Self-Play) 训练： - 使用当前策略 + MCTS 生成推理轨迹 - 将 MCTS 搜索概率作为训练目标 - 迭代优化策略网络 4. 训练 200k 步 ### 阶段 5：错误案例训练 **目标**：使用错误案例训练自我修正能力 **训练步骤**： 1. 构建错误案例数据集： - 收集阶段4中推理失败的案例 - 对于每一条失败案例，人工标注： a. 错误发生的位置 b. 错误的原因（知识缺失/逻辑错误/信息误解） c. 正确的替代路径 2. 修正微调： - 输入：原始推理链 + 错误位置标记 + 错误原因 - 输出：修正后的推理链 3. 训练 5 epochs 4. 评估：在错误案例上的修正成功率 ### 阶段 6：集成到 Core 的启发式调度 **目标**：与 Core 的调度策略引擎协同工作 **训练**： 1. Core 的启发式调度策略决定何时调用推理子网 2. 记录每次调用的上下文和结果 3. 使用离线强化学习优化调度策略（待 Core 模块单独训练） ## 评估指标体系 ### 离线评估 | 指标 | 计算方法 | 目标 | |------|----------|------| | 推理链准确率 | 完整推理链正确的比例 | ≥ 85% | | 每步准确率 | 推理链中每步正确的比例 | ≥ 90% | | 修正成功率 | 发现错误后成功修正的比例 | ≥ 80% | | MCTS 搜索效率 | 平均搜索节点数 / 解决问题数 | ≤ 200节点/题 | ### 在线评估（与 Core 集成后） | 指标 | 说明 | |------|------| | 验证通过率 | Core 收到推理路径张量后判断为"已验证"的比例 | | 重调度频率 | Core 因推理置信度低而发起的二次推理次数 | | 端到端准确率 | 完整链路（输入→推理→表达→用户）的最终准确率 | ## 技术难点与对策 | 难点 | 对策 | |------|------| | 推理搜索空间过大 | MCTS + 剪枝策略 + 启发式优先搜索 | | 错误检测过于保守 | 动态阈值 + 多验证器投票 | | 自我修正陷入循环 | 最大回溯次数限制 + 随机重启 | | 推理速度与质量的权衡 | 自适应搜索深度（简单问题浅搜，复杂问题深搜） |