# 路由与压缩子网 — 训练目标与训练计划

## 概述

路由与压缩子网类比人脑的**感觉中枢**，负责处理多模态输入（图像、语音、文本）的特征提取与压缩，将原始数据转化为轻量级的**标准引用张量**（Reference Tensor）。

### 架构定位

```
原始输入 (图像/语音/文本)
    │
    ▼
┌──────────────────────────────────────────────┐
│           路由与压缩子网（感觉中枢）              │
│                                              │
│  ┌──────────┐  ┌──────────┐  ┌──────────┐   │
│  │ 多模态     │  │ 特征融合  │  │ 压缩编码  │   │
│  │ 编码器     │ →│ (Attention)│ →│ (AutoEnc)│   │
│  └──────────┘  └──────────┘  └──────────┘   │
│                                              │
│  ┌──────────────────────────────────────┐    │
│  │       张量编码层 (Tensor Encoder)      │    │
│  │  内部张量 → 标准通信张量               │    │
│  └──────────────────────────────────────┘    │
│                                              │
└──────────────────┬───────────────────────────┘
                   │
                   ▼
         标准引用张量 (Standard Ref Tensor)
                   │
          → 发送给调度 Core
```

### 输入/输出

| 项目 | 说明 |
|------|------|
| **输入** | 原始多模态数据（图像/语音/文本）+ 控制张量（来自Core） |
| **输出** | 标准引用张量（发送给Core） |
| **输出格式** | 标准张量协议，tensor_type=`ref_tensor` |
| **压缩目标** | 10:1 ~ 100:1 压缩率 |
| **延迟目标** | 单次处理 < 50ms |

## 子网内部架构

```
┌──────────────────────────────────────────────┐
│       路由与压缩子网 内部架构                   │
│                                              │
│  图像输入 ──→ ViT 编码器 ─┐                  │
│  语音输入 ──→ Wav2Vec ────┤                  │
│  文本输入 ──→ BERT ──────┤                  │
│                          │                  │
│                          ▼                  │
│              ┌─────────────────────┐         │
│              │  多模态特征融合层     │         │
│              │  Cross-Attention     │         │
│              │  Transformer 交叉编码 │         │
│              └──────────┬──────────┘         │
│                         │                    │
│                         ▼                    │
│              ┌─────────────────────┐         │
│              │  压缩编码器          │         │
│              │  Variational AE      │         │
│              │  或 Vector Quantized  │         │
│              │  VAE (VQ-VAE)       │         │
│              └──────────┬──────────┘         │
│                         │                    │
│                         ▼                    │
│              ┌─────────────────────┐         │
│              │  张量编码层          │         │
│              │  内部格式→标准张量格式 │         │
│              └──────────┬──────────┘         │
└─────────────────────────┼─────────────────────┘
                          │
                          ▼
                  标准引用张量输出
```

## 训练目标

### 目标 1：多模态特征提取能力

| 指标 | 目标值 | 说明 |
|------|--------|------|
| 图像分类 Top-1 | ≥ 85% | 在 ImageNet 上 |
| 语音识别字错率 | ≤ 5% | 在 LibriSpeech 上 |
| 文本理解 F1 | ≥ 90% | 在 GLUE 基准上 |
| 多模态对齐准确率 | ≥ 92% | 跨模态检索任务 |

### 目标 2：高压缩率下的信息保留

| 指标 | 目标值 | 说明 |
|------|--------|------|
| 压缩率 | 10:1 ~ 100:1 | 可配置，动态调整 |
| 重建质量 PSNR | ≥ 30dB | 图像重建 |
| 语义保留率 | ≥ 95% | 压缩前后语义相似度 |
| 信息瓶颈下界 | ≤ 理论下限的 110% | 接近最优压缩 |

### 目标 3：标准张量格式兼容性

| 指标 | 目标值 | 说明 |
|------|--------|------|
| 张量编码精度损失 | ≤ 0.1% | 编码/解码循环误差 |
| 协议兼容率 | 100% | 与所有子网的标准张量协议兼容 |
| 编码延迟 | ≤ 5ms | 张量编码层处理时间 |

## 训练计划

### 阶段 1：对比学习预训练（单模态编码器）

**目标**：为每个模态预训练独立编码器

**技术路线**：

| 模态 | 模型 | 预训练方法 | 数据集 |
|------|------|-----------|--------|
| 图像 | ViT (Vision Transformer) | SimCLR / MoCo v3 | ImageNet-1K, JFT-300M |
| 语音 | Wav2Vec 2.0 / HuBERT | 对比预测编码 (CPC) | LibriSpeech, CommonVoice |
| 文本 | BERT / RoBERTa | Masked Language Model | BookCorpus, Wikipedia |

**训练步骤**：
1. 图像编码器：使用 SimCLR 对比学习预训练 ViT-Base，batch size 4096，训练 200 epochs
2. 语音编码器：使用 HuBERT 自监督预训练，k-means 聚类作为伪标签，训练 400k steps
3. 文本编码器：使用 RoBERTa 预训练，MLM 任务，训练 500k steps
4. 评估：分别在下游任务上评估各编码器质量

### 阶段 2：知识蒸馏（编码器轻量化）

**目标**：将大模型能力蒸馏到轻量编码器

**技术路线**：
- Teacher-Student 蒸馏框架
- Teacher 模型：ViT-Large / HuBERT-Large / RoBERTa-Large
- Student 模型：ViT-Tiny / TinyHuBERT / DistilBERT

**训练步骤**：
1. 冻结 Teacher 模型权重
2. Student 模型学习 Teacher 的隐藏层输出（MSE loss）
3. 同时学习 Teacher 的 attention map（KL divergence）
4. 添加任务损失保持下游性能
5. 目标：Student 参数量 ≤ Teacher 的 20%，性能 ≥ Teacher 的 95%

### 阶段 3：AutoEncoder 端到端训练

**目标**：训练压缩-重建网络，实现高压缩率下的信息保留

**技术路线**：
- 架构：VQ-VAE (Vector Quantized Variational Autoencoder)
- 或 改进版本：VQ-GAN (加入对抗损失)

**训练步骤**：
1. 固定阶段1-2的编码器输出作为特征输入
2. VQ-VAE 编码器将特征压缩到潜在空间
3. 代码本（Codebook）大小为 8192，每个码字维度 64
4. 解码器重建原始特征
5. 损失函数：
   - 重建损失: MSE(原特征, 重建特征)
   - 码本损失: sg[encoder_output] - codebook + β * sg[codebook] - encoder_output
   - 承诺损失: 鼓励编码器输出靠近选中的码字
6. 训练 100 epochs，batch size 256
7. 评估：在不同压缩率 (10x, 50x, 100x) 下测量重建质量

### 阶段 4：张量编码层训练

**目标**：训练编码层将内部张量转换为标准通信张量

**技术路线**：
- 可学习的线性投影层 + LayerNorm
- 维度对齐网络（Projection Head）

**训练步骤**：
1. 定义标准张量协议的目标格式（固定维度、精度等）
2. 收集阶段3的 VQ-VAE 潜在表示作为训练数据
3. 训练投影网络将内部张量映射到标准格式
4. 训练配套的解码网络（供其他子网使用）
5. 验证编码/解码循环的一致性误差

### 阶段 5：联合端到端微调

**目标**：将前四个阶段整合，端到端微调路由子网

**训练步骤**：
1. 构建完整的路由子网流水线：输入 → 编码 → 压缩 → 张量化
2. 与记忆子网、逻辑子网联合训练（参看训练流程）
3. 使用多任务损失: L_total = L_rec + L_semantic + L_tensor + λ * L_reg

## 评估指标体系

### 离线评估

| 指标 | 计算方法 | 目标 |
|------|----------|------|
| 压缩率 | 原始数据大小 / 张量大小 | ≥ 10x |
| 重建 PSNR | 峰值信噪比 | ≥ 30 dB |
| 语义保留率 | cosine_sim(原语义向量, 重建语义向量) | ≥ 0.95 |
| 编码延迟 | 从输入到张量输出的时间 | ≤ 50 ms |
| 张量协议兼容性 | 编码/解码循环一致性 | ≥ 99.9% |

### 在线评估（与 Core 集成后）

| 指标 | 说明 |
|------|------|
| 信息缺失率 | Core 通知缺少信息时触发 |
| 冗余压缩率 | 引用张量中实际被使用的比例 |
| 多模态融合质量 | 下游任务表现的改善 |

## 技术难点与对策

| 难点 | 对策 |
|------|------|
| 不同模态特征空间不统一 | 使用 Cross-Attention Transformer 对齐特征分布 |
| 极端压缩下信息丢失 | 引入语义损失（对比学习） + 自适应压缩率 |
| 实时性要求高 | 编码器轻量化 + 量化加速（INT8） |
| 多模态时间同步 | 时间戳对齐 + 滑动窗口缓冲 |