fix: correct architecture docs - tensor protocol, heuristic scheduling, LLM dual output, memory update mechanism
Key corrections: - Subnets communicate via Standard Tensor Protocol, not natural language - Core scheduling is heuristic (non-linear), not pipeline-based - LLM subnet has dual output: natural language→user, expression tensor→Core - Core aggregates subnet results → memory update parameter tensor → memory subnet - Added TrulyMEM-style graph DB (Neo4j) reference in memory-subnet.md - LLM is demoted to specialized language generation engine - All docs include correct tensor schemas, architecture diagrams, and training plans
This commit is contained in:
root
@ -1,173 +1,215 @@
|
||||
# 路由与压缩子网（感觉中枢）
|
||||
# 路由与压缩子网 — 训练目标与训练计划
|
||||
|
||||
## 概述
|
||||
|
||||
路由与压缩子网类比人脑的**感觉中枢**，负责将外部的多模态输入（文本、图像、音频等）转化为结构化的内部表示。它是 NextAgent 的**入口层**，所有输入数据必须经过此子网处理才能进入后续流程。
|
||||
路由与压缩子网类比人脑的**感觉中枢**，负责处理多模态输入（图像、语音、文本）的特征提取与压缩，将原始数据转化为轻量级的**标准引用张量**（Reference Tensor）。
|
||||
|
||||
### 核心职责
|
||||
### 架构定位
|
||||
|
||||
- **多模态特征提取**：将不同模态的原始数据统一为向量表示
|
||||
- **信息压缩**：在保留语义的前提下最大化压缩率，降低存储与传输成本
|
||||
- **引用包生成**：将压缩后的特征打包为标准引用包（RefPack），供调度 Core 分发
|
||||
- **输入路由**：根据输入类型将数据分发到对应的特征提取通道
|
||||
```
|
||||
原始输入 (图像/语音/文本)
|
||||
│
|
||||
▼
|
||||
┌──────────────────────────────────────────────┐
|
||||
│ 路由与压缩子网（感觉中枢） │
|
||||
│ │
|
||||
│ ┌──────────┐ ┌──────────┐ ┌──────────┐ │
|
||||
│ │ 多模态 │ │ 特征融合 │ │ 压缩编码 │ │
|
||||
│ │ 编码器 │ →│ (Attention)│ →│ (AutoEnc)│ │
|
||||
│ └──────────┘ └──────────┘ └──────────┘ │
|
||||
│ │
|
||||
│ ┌──────────────────────────────────────┐ │
|
||||
│ │ 张量编码层 (Tensor Encoder) │ │
|
||||
│ │ 内部张量 → 标准通信张量 │ │
|
||||
│ └──────────────────────────────────────┘ │
|
||||
│ │
|
||||
└──────────────────┬───────────────────────────┘
|
||||
│
|
||||
▼
|
||||
标准引用张量 (Standard Ref Tensor)
|
||||
│
|
||||
→ 发送给调度 Core
|
||||
```
|
||||
|
||||
## 架构设计
|
||||
### 输入/输出
|
||||
|
||||
```mermaid
|
||||
graph TB
|
||||
Input["多模态输入"] --> Router["输入路由器"]
|
||||
|
||||
Router -->|"文本"| TextEnc["文本编码器<br/>BERT/RoBERTa"]
|
||||
Router -->|"图像"| ImageEnc["图像编码器<br/>ViT/ResNet"]
|
||||
Router -->|"音频"| AudioEnc["音频编码器<br/>Wav2Vec 2.0"]
|
||||
Router -->|"视频"| VideoEnc["视频编码器<br/>VideoMAE"]
|
||||
|
||||
TextEnc --> Merger["特征融合器"]
|
||||
ImageEnc --> Merger
|
||||
AudioEnc --> Merger
|
||||
VideoEnc --> Merger
|
||||
|
||||
Merger --> Compressor["压缩模块<br/>AutoEncoder"]
|
||||
Compressor --> RefPack["引用包生成器"]
|
||||
RefPack --> Output["引用包输出"]
|
||||
|
||||
subgraph Training ["训练组件"]
|
||||
SimCLR["对比学习<br/>SimCLR/MoCo"]
|
||||
KD["知识蒸馏"]
|
||||
AE["AutoEncoder<br/>训练"]
|
||||
end
|
||||
|
||||
TextEnc -.-> SimCLR
|
||||
ImageEnc -.-> SimCLR
|
||||
Merger -.-> KD
|
||||
Compressor -.-> AE
|
||||
| 项目 | 说明 |
|
||||
|------|------|
|
||||
| **输入** | 原始多模态数据（图像/语音/文本）+ 控制张量（来自Core） |
|
||||
| **输出** | 标准引用张量（发送给Core） |
|
||||
| **输出格式** | 标准张量协议，tensor_type=`ref_tensor` |
|
||||
| **压缩目标** | 10:1 ~ 100:1 压缩率 |
|
||||
| **延迟目标** | 单次处理 < 50ms |
|
||||
|
||||
## 子网内部架构
|
||||
|
||||
```
|
||||
┌──────────────────────────────────────────────┐
|
||||
│ 路由与压缩子网 内部架构 │
|
||||
│ │
|
||||
│ 图像输入 ──→ ViT 编码器 ─┐ │
|
||||
│ 语音输入 ──→ Wav2Vec ────┤ │
|
||||
│ 文本输入 ──→ BERT ──────┤ │
|
||||
│ │ │
|
||||
│ ▼ │
|
||||
│ ┌─────────────────────┐ │
|
||||
│ │ 多模态特征融合层 │ │
|
||||
│ │ Cross-Attention │ │
|
||||
│ │ Transformer 交叉编码 │ │
|
||||
│ └──────────┬──────────┘ │
|
||||
│ │ │
|
||||
│ ▼ │
|
||||
│ ┌─────────────────────┐ │
|
||||
│ │ 压缩编码器 │ │
|
||||
│ │ Variational AE │ │
|
||||
│ │ 或 Vector Quantized │ │
|
||||
│ │ VAE (VQ-VAE) │ │
|
||||
│ └──────────┬──────────┘ │
|
||||
│ │ │
|
||||
│ ▼ │
|
||||
│ ┌─────────────────────┐ │
|
||||
│ │ 张量编码层 │ │
|
||||
│ │ 内部格式→标准张量格式 │ │
|
||||
│ └──────────┬──────────┘ │
|
||||
└─────────────────────────┼─────────────────────┘
|
||||
│
|
||||
▼
|
||||
标准引用张量输出
|
||||
```
|
||||
|
||||
## 训练目标
|
||||
|
||||
### 目标 1：多模态特征提取
|
||||
### 目标 1：多模态特征提取能力
|
||||
|
||||
训练各模态编码器，使其能够从原始输入中提取高质量的语义特征。
|
||||
| 指标 | 目标值 | 说明 |
|
||||
|------|--------|------|
|
||||
| 图像分类 Top-1 | ≥ 85% | 在 ImageNet 上 |
|
||||
| 语音识别字错率 | ≤ 5% | 在 LibriSpeech 上 |
|
||||
| 文本理解 F1 | ≥ 90% | 在 GLUE 基准上 |
|
||||
| 多模态对齐准确率 | ≥ 92% | 跨模态检索任务 |
|
||||
|
||||
- **文本模态**：预训练语言模型（BERT-base / RoBERTa-base），输出 768 维向量
|
||||
- **图像模态**：视觉 Transformer（ViT-B/16），输出 768 维向量
|
||||
- **音频模态**：自监督语音模型（Wav2Vec 2.0 Base），输出 768 维向量
|
||||
- **视频模态**：视频掩码自编码器（VideoMAE Base），输出 768 维向量
|
||||
### 目标 2：高压缩率下的信息保留
|
||||
|
||||
### 目标 2：信息压缩
|
||||
| 指标 | 目标值 | 说明 |
|
||||
|------|--------|------|
|
||||
| 压缩率 | 10:1 ~ 100:1 | 可配置，动态调整 |
|
||||
| 重建质量 PSNR | ≥ 30dB | 图像重建 |
|
||||
| 语义保留率 | ≥ 95% | 压缩前后语义相似度 |
|
||||
| 信息瓶颈下界 | ≤ 理论下限的 110% | 接近最优压缩 |
|
||||
|
||||
在保持重建质量的前提下，将特征维度压缩至原始大小的 10%-20%。
|
||||
### 目标 3：标准张量格式兼容性
|
||||
|
||||
- 压缩率目标：≥ 5 倍（即 768 维 → ≤ 150 维）
|
||||
- 重建相似度：余弦相似度 ≥ 0.92
|
||||
- 推理速度：单次压缩 ≤ 5ms（GPU）
|
||||
|
||||
### 目标 3：引用包生成
|
||||
|
||||
将压缩特征包装为标准化的引用包，包含元数据、签名和冷区索引。
|
||||
| 指标 | 目标值 | 说明 |
|
||||
|------|--------|------|
|
||||
| 张量编码精度损失 | ≤ 0.1% | 编码/解码循环误差 |
|
||||
| 协议兼容率 | 100% | 与所有子网的标准张量协议兼容 |
|
||||
| 编码延迟 | ≤ 5ms | 张量编码层处理时间 |
|
||||
|
||||
## 训练计划
|
||||
|
||||
### 阶段 1：对比学习预训练（SimCLR / MoCo）
|
||||
### 阶段 1：对比学习预训练（单模态编码器）
|
||||
|
||||
**目标**：为各模态编码器学习通用的特征表示。
|
||||
**目标**：为每个模态预训练独立编码器
|
||||
|
||||
- **SimCLR**：用于文本和图像编码器的初始训练
|
||||
- 批大小：4096
|
||||
- 温度系数 τ：0.07
|
||||
- 投影头：2 层 MLP（2048 → 2048 → 128）
|
||||
- 损失函数：NT-Xent（归一化温度标度交叉熵损失）
|
||||
- 优化器：LARS（Layer-wise Adaptive Rate Scaling）
|
||||
- 学习率：0.3 × BatchSize / 256
|
||||
- 训练轮数：100 epochs
|
||||
**技术路线**：
|
||||
|
||||
- **MoCo v3**：用于视频和音频编码器的训练
|
||||
- 动量系数 m：0.999
|
||||
- 队列大小：65536
|
||||
- 编码器更新：动量式（momentum encoder）
|
||||
- 损失函数：InfoNCE
|
||||
- 优化器：AdamW
|
||||
- 学习率：1.5e-4
|
||||
- 训练轮数：200 epochs
|
||||
| 模态 | 模型 | 预训练方法 | 数据集 |
|
||||
|------|------|-----------|--------|
|
||||
| 图像 | ViT (Vision Transformer) | SimCLR / MoCo v3 | ImageNet-1K, JFT-300M |
|
||||
| 语音 | Wav2Vec 2.0 / HuBERT | 对比预测编码 (CPC) | LibriSpeech, CommonVoice |
|
||||
| 文本 | BERT / RoBERTa | Masked Language Model | BookCorpus, Wikipedia |
|
||||
|
||||
**数据集**：
|
||||
**训练步骤**：
|
||||
1. 图像编码器：使用 SimCLR 对比学习预训练 ViT-Base，batch size 4096，训练 200 epochs
|
||||
2. 语音编码器：使用 HuBERT 自监督预训练，k-means 聚类作为伪标签，训练 400k steps
|
||||
3. 文本编码器：使用 RoBERTa 预训练，MLM 任务，训练 500k steps
|
||||
4. 评估：分别在下游任务上评估各编码器质量
|
||||
|
||||
| 模态 | 数据集 | 规模 |
|
||||
|------|--------|------|
|
||||
| 文本 | Wikipedia + BookCorpus | 16GB |
|
||||
| 图像 | ImageNet-1K + LAION-400M | 4 亿样本 |
|
||||
| 音频 | LibriSpeech + AudioSet | 5000 小时 |
|
||||
| 视频 | Kinetics-700 + HowTo100M | 70 万视频 |
|
||||
### 阶段 2：知识蒸馏（编码器轻量化）
|
||||
|
||||
### 阶段 2：知识蒸馏
|
||||
**目标**：将大模型能力蒸馏到轻量编码器
|
||||
|
||||
**目标**：将大模型的丰富特征迁移到轻量编码器，减少推理成本。
|
||||
**技术路线**：
|
||||
- Teacher-Student 蒸馏框架
|
||||
- Teacher 模型：ViT-Large / HuBERT-Large / RoBERTa-Large
|
||||
- Student 模型：ViT-Tiny / TinyHuBERT / DistilBERT
|
||||
|
||||
- **教师模型**：CLIP ViT-L/14（文本+图像）、HuBERT-Large（音频）、InternVideo（视频）
|
||||
- **学生模型**：各模态专用编码器（参数量为教师模型的 1/10）
|
||||
- **蒸馏损失**：
|
||||
- 特征蒸馏：MSE(教师特征, 学生特征)
|
||||
- 关系蒸馏：基于互信息的对比蒸馏
|
||||
- 逻辑蒸馏：KL 散度(教师输出 || 学生输出)
|
||||
- **总损失**：L = α·L_feat + β·L_rel + γ·L_logit
|
||||
- α = 0.5, β = 0.3, γ = 0.2
|
||||
- **温度 T**：4.0（软化概率分布）
|
||||
- **训练轮数**：50 epochs
|
||||
**训练步骤**：
|
||||
1. 冻结 Teacher 模型权重
|
||||
2. Student 模型学习 Teacher 的隐藏层输出（MSE loss）
|
||||
3. 同时学习 Teacher 的 attention map（KL divergence）
|
||||
4. 添加任务损失保持下游性能
|
||||
5. 目标：Student 参数量 ≤ Teacher 的 20%，性能 ≥ Teacher 的 95%
|
||||
|
||||
### 阶段 3：AutoEncoder 压缩训练
|
||||
### 阶段 3：AutoEncoder 端到端训练
|
||||
|
||||
**目标**：训练压缩-解压缩的 AutoEncoder 结构。
|
||||
**目标**：训练压缩-重建网络，实现高压缩率下的信息保留
|
||||
|
||||
- **编码器结构**：
|
||||
```
|
||||
Input (768) → Dense(512, ReLU) → BN → Dense(256, ReLU) → BN → Dense(128, Linear)
|
||||
```
|
||||
- **解码器结构**：
|
||||
```
|
||||
Latent (128) → Dense(256, ReLU) → BN → Dense(512, ReLU) → BN → Dense(768, Linear)
|
||||
```
|
||||
- **损失函数**：
|
||||
- 重建损失：MSE + 余弦相似度
|
||||
- 感知损失：基于预训练编码器的特征匹配
|
||||
- 对抗损失：附加判别器，提升重建质量
|
||||
- KL 散度正则项：β-VAE 风格
|
||||
- **优化器**：Adam（β1=0.9, β2=0.999）
|
||||
- **学习率**：1e-4，余弦退火调度
|
||||
- **训练轮数**：150 epochs
|
||||
- **压缩比搜索**：在 {2×, 3×, 5×, 8×, 10×} 中搜索最优压缩比
|
||||
**技术路线**：
|
||||
- 架构：VQ-VAE (Vector Quantized Variational Autoencoder)
|
||||
- 或 改进版本：VQ-GAN (加入对抗损失)
|
||||
|
||||
### 阶段 4：端到端联合微调
|
||||
**训练步骤**：
|
||||
1. 固定阶段1-2的编码器输出作为特征输入
|
||||
2. VQ-VAE 编码器将特征压缩到潜在空间
|
||||
3. 代码本（Codebook）大小为 8192，每个码字维度 64
|
||||
4. 解码器重建原始特征
|
||||
5. 损失函数：
|
||||
- 重建损失: MSE(原特征, 重建特征)
|
||||
- 码本损失: sg[encoder_output] - codebook + β * sg[codebook] - encoder_output
|
||||
- 承诺损失: 鼓励编码器输出靠近选中的码字
|
||||
6. 训练 100 epochs，batch size 256
|
||||
7. 评估：在不同压缩率 (10x, 50x, 100x) 下测量重建质量
|
||||
|
||||
**目标**：将编码器、压缩器联合微调，优化跨模态对齐。
|
||||
### 阶段 4：张量编码层训练
|
||||
|
||||
- 固定解码器参数
|
||||
- 引入跨模态对比损失：batch_size 内的跨模态负样本挖掘
|
||||
- 训练轮数：30 epochs（低学习率 5e-5）
|
||||
**目标**：训练编码层将内部张量转换为标准通信张量
|
||||
|
||||
## 评估指标
|
||||
**技术路线**：
|
||||
- 可学习的线性投影层 + LayerNorm
|
||||
- 维度对齐网络（Projection Head）
|
||||
|
||||
### 压缩效率
|
||||
**训练步骤**：
|
||||
1. 定义标准张量协议的目标格式（固定维度、精度等）
|
||||
2. 收集阶段3的 VQ-VAE 潜在表示作为训练数据
|
||||
3. 训练投影网络将内部张量映射到标准格式
|
||||
4. 训练配套的解码网络（供其他子网使用）
|
||||
5. 验证编码/解码循环的一致性误差
|
||||
|
||||
| 指标 | 定义 | 目标值 |
|
||||
|------|------|--------|
|
||||
| 压缩率 | 原始维度 / 压缩后维度 | ≥ 5× |
|
||||
| 压缩延迟 | 单次前向推理时间 | ≤ 5ms |
|
||||
| 吞吐量 | 每秒处理的样本数 | ≥ 1000 samples/s |
|
||||
### 阶段 5：联合端到端微调
|
||||
|
||||
### 重建质量
|
||||
**目标**：将前四个阶段整合，端到端微调路由子网
|
||||
|
||||
| 指标 | 定义 | 目标值 |
|
||||
|------|------|--------|
|
||||
| MSE | 原始与重建的均方误差 | ≤ 0.01 |
|
||||
| 余弦相似度 | 原始与重建的余弦相似度 | ≥ 0.92 |
|
||||
| PSNR | 峰值信噪比（图像模态） | ≥ 30dB |
|
||||
| 感知距离 | LPIPS（ Learned Perceptual Image Patch Similarity） | ≤ 0.05 |
|
||||
**训练步骤**：
|
||||
1. 构建完整的路由子网流水线：输入 → 编码 → 压缩 → 张量化
|
||||
2. 与记忆子网、逻辑子网联合训练（参看训练流程）
|
||||
3. 使用多任务损失: L_total = L_rec + L_semantic + L_tensor + λ * L_reg
|
||||
|
||||
### 检索与召回
|
||||
## 评估指标体系
|
||||
|
||||
| 指标 | 定义 | 目标值 |
|
||||
|------|------|--------|
|
||||
| Top-1 召回 | 压缩查询的最近邻检索准确率 | ≥ 85% |
|
||||
| Top-5 召回 | Top-5 召回率 | ≥ 95% |
|
||||
| 跨模态检索 | 文本→图像/图像→文本检索准确率 | ≥ 70% |
|
||||
| 反事实一致性 | 语义相近输入的重建一致性 | ≥ 90% |
|
||||
### 离线评估
|
||||
|
||||
| 指标 | 计算方法 | 目标 |
|
||||
|------|----------|------|
|
||||
| 压缩率 | 原始数据大小 / 张量大小 | ≥ 10x |
|
||||
| 重建 PSNR | 峰值信噪比 | ≥ 30 dB |
|
||||
| 语义保留率 | cosine_sim(原语义向量, 重建语义向量) | ≥ 0.95 |
|
||||
| 编码延迟 | 从输入到张量输出的时间 | ≤ 50 ms |
|
||||
| 张量协议兼容性 | 编码/解码循环一致性 | ≥ 99.9% |
|
||||
|
||||
### 在线评估（与 Core 集成后）
|
||||
|
||||
| 指标 | 说明 |
|
||||
|------|------|
|
||||
| 信息缺失率 | Core 通知缺少信息时触发 |
|
||||
| 冗余压缩率 | 引用张量中实际被使用的比例 |
|
||||
| 多模态融合质量 | 下游任务表现的改善 |
|
||||
|
||||
## 技术难点与对策
|
||||
|
||||
| 难点 | 对策 |
|
||||
|------|------|
|
||||
| 不同模态特征空间不统一 | 使用 Cross-Attention Transformer 对齐特征分布 |
|
||||
| 极端压缩下信息丢失 | 引入语义损失（对比学习） + 自适应压缩率 |
|
||||
| 实时性要求高 | 编码器轻量化 + 量化加速（INT8） |
|
||||
| 多模态时间同步 | 时间戳对齐 + 滑动窗口缓冲 |
|
||||
|
||||
Reference in New Issue
Block a user