# 路由与压缩子网（感觉中枢）

## 概述

路由与压缩子网类比人脑的**感觉中枢**，负责将外部的多模态输入（文本、图像、音频等）转化为结构化的内部表示。它是 NextAgent 的**入口层**，所有输入数据必须经过此子网处理才能进入后续流程。

### 核心职责

- **多模态特征提取**：将不同模态的原始数据统一为向量表示
- **信息压缩**：在保留语义的前提下最大化压缩率，降低存储与传输成本
- **引用包生成**：将压缩后的特征打包为标准引用包（RefPack），供调度 Core 分发
- **输入路由**：根据输入类型将数据分发到对应的特征提取通道

## 架构设计

```mermaid
graph TB
    Input["多模态输入"] --> Router["输入路由器"]
    
    Router -->|"文本"| TextEnc["文本编码器<br/>BERT/RoBERTa"]
    Router -->|"图像"| ImageEnc["图像编码器<br/>ViT/ResNet"]
    Router -->|"音频"| AudioEnc["音频编码器<br/>Wav2Vec 2.0"]
    Router -->|"视频"| VideoEnc["视频编码器<br/>VideoMAE"]
    
    TextEnc --> Merger["特征融合器"]
    ImageEnc --> Merger
    AudioEnc --> Merger
    VideoEnc --> Merger
    
    Merger --> Compressor["压缩模块<br/>AutoEncoder"]
    Compressor --> RefPack["引用包生成器"]
    RefPack --> Output["引用包输出"]
    
    subgraph Training ["训练组件"]
        SimCLR["对比学习<br/>SimCLR/MoCo"]
        KD["知识蒸馏"]
        AE["AutoEncoder<br/>训练"]
    end
    
    TextEnc -.-> SimCLR
    ImageEnc -.-> SimCLR
    Merger -.-> KD
    Compressor -.-> AE
```

## 训练目标

### 目标 1：多模态特征提取

训练各模态编码器，使其能够从原始输入中提取高质量的语义特征。

- **文本模态**：预训练语言模型（BERT-base / RoBERTa-base），输出 768 维向量
- **图像模态**：视觉 Transformer（ViT-B/16），输出 768 维向量
- **音频模态**：自监督语音模型（Wav2Vec 2.0 Base），输出 768 维向量
- **视频模态**：视频掩码自编码器（VideoMAE Base），输出 768 维向量

### 目标 2：信息压缩

在保持重建质量的前提下，将特征维度压缩至原始大小的 10%-20%。

- 压缩率目标：≥ 5 倍（即 768 维 → ≤ 150 维）
- 重建相似度：余弦相似度 ≥ 0.92
- 推理速度：单次压缩 ≤ 5ms（GPU）

### 目标 3：引用包生成

将压缩特征包装为标准化的引用包，包含元数据、签名和冷区索引。

## 训练计划

### 阶段 1：对比学习预训练（SimCLR / MoCo）

**目标**：为各模态编码器学习通用的特征表示。

- **SimCLR**：用于文本和图像编码器的初始训练
  - 批大小：4096
  - 温度系数 τ：0.07
  - 投影头：2 层 MLP（2048 → 2048 → 128）
  - 损失函数：NT-Xent（归一化温度标度交叉熵损失）
  - 优化器：LARS（Layer-wise Adaptive Rate Scaling）
  - 学习率：0.3 × BatchSize / 256
  - 训练轮数：100 epochs

- **MoCo v3**：用于视频和音频编码器的训练
  - 动量系数 m：0.999
  - 队列大小：65536
  - 编码器更新：动量式（momentum encoder）
  - 损失函数：InfoNCE
  - 优化器：AdamW
  - 学习率：1.5e-4
  - 训练轮数：200 epochs

**数据集**：

| 模态 | 数据集 | 规模 |
|------|--------|------|
| 文本 | Wikipedia + BookCorpus | 16GB |
| 图像 | ImageNet-1K + LAION-400M | 4 亿样本 |
| 音频 | LibriSpeech + AudioSet | 5000 小时 |
| 视频 | Kinetics-700 + HowTo100M | 70 万视频 |

### 阶段 2：知识蒸馏

**目标**：将大模型的丰富特征迁移到轻量编码器，减少推理成本。

- **教师模型**：CLIP ViT-L/14（文本+图像）、HuBERT-Large（音频）、InternVideo（视频）
- **学生模型**：各模态专用编码器（参数量为教师模型的 1/10）
- **蒸馏损失**：
  - 特征蒸馏：MSE(教师特征, 学生特征)
  - 关系蒸馏：基于互信息的对比蒸馏
  - 逻辑蒸馏：KL 散度(教师输出 || 学生输出)
- **总损失**：L = α·L_feat + β·L_rel + γ·L_logit
  - α = 0.5, β = 0.3, γ = 0.2
- **温度 T**：4.0（软化概率分布）
- **训练轮数**：50 epochs

### 阶段 3：AutoEncoder 压缩训练

**目标**：训练压缩-解压缩的 AutoEncoder 结构。

- **编码器结构**：
  ```
  Input (768) → Dense(512, ReLU) → BN → Dense(256, ReLU) → BN → Dense(128, Linear)
  ```
- **解码器结构**：
  ```
  Latent (128) → Dense(256, ReLU) → BN → Dense(512, ReLU) → BN → Dense(768, Linear)
  ```
- **损失函数**：
  - 重建损失：MSE + 余弦相似度
  - 感知损失：基于预训练编码器的特征匹配
  - 对抗损失：附加判别器，提升重建质量
  - KL 散度正则项：β-VAE 风格
- **优化器**：Adam（β1=0.9, β2=0.999）
- **学习率**：1e-4，余弦退火调度
- **训练轮数**：150 epochs
- **压缩比搜索**：在 {2×, 3×, 5×, 8×, 10×} 中搜索最优压缩比

### 阶段 4：端到端联合微调

**目标**：将编码器、压缩器联合微调，优化跨模态对齐。

- 固定解码器参数
- 引入跨模态对比损失：batch_size 内的跨模态负样本挖掘
- 训练轮数：30 epochs（低学习率 5e-5）

## 评估指标

### 压缩效率

| 指标 | 定义 | 目标值 |
|------|------|--------|
| 压缩率 | 原始维度 / 压缩后维度 | ≥ 5× |
| 压缩延迟 | 单次前向推理时间 | ≤ 5ms |
| 吞吐量 | 每秒处理的样本数 | ≥ 1000 samples/s |

### 重建质量

| 指标 | 定义 | 目标值 |
|------|------|--------|
| MSE | 原始与重建的均方误差 | ≤ 0.01 |
| 余弦相似度 | 原始与重建的余弦相似度 | ≥ 0.92 |
| PSNR | 峰值信噪比（图像模态） | ≥ 30dB |
| 感知距离 | LPIPS（ Learned Perceptual Image Patch Similarity） | ≤ 0.05 |

### 检索与召回

| 指标 | 定义 | 目标值 |
|------|------|--------|
| Top-1 召回 | 压缩查询的最近邻检索准确率 | ≥ 85% |
| Top-5 召回 | Top-5 召回率 | ≥ 95% |
| 跨模态检索 | 文本→图像/图像→文本检索准确率 | ≥ 70% |
| 反事实一致性 | 语义相近输入的重建一致性 | ≥ 90% |