feat: protocol base lib + rule-based parser MVP + 31 tests
This commit is contained in:
@ -71,7 +71,7 @@
|
||||
|------|------|
|
||||
| **输入** | 原始多模态数据(图像/语音/文本)+ 控制张量(来自Core) |
|
||||
| **输出** | 标准引用张量(发送给Core) |
|
||||
| **输出格式** | 标准张量协议,tensor_type=`ref_tensor` |
|
||||
| **输出格式** | 统一通信张量,fmt_id=0 (ref_tensor) |
|
||||
| **压缩目标** | 10:1 ~ 100:1 压缩率 |
|
||||
| **延迟目标** | 单次处理 < 50ms |
|
||||
|
||||
@ -103,7 +103,8 @@
|
||||
│ ▼ │
|
||||
│ ┌─────────────────────┐ │
|
||||
│ │ 张量编码层 │ │
|
||||
│ │ 内部格式→标准张量格式 │ │
|
||||
│ │ 内部格式→统一通信张量 │ │
|
||||
│ │ 拼接 fmt_id=0 前缀 │ │
|
||||
│ └──────────┬──────────┘ │
|
||||
└─────────────────────────┼─────────────────────┘
|
||||
│
|
||||
@ -195,20 +196,21 @@
|
||||
6. 训练 100 epochs,batch size 256
|
||||
7. 评估:在不同压缩率 (10x, 50x, 100x) 下测量重建质量
|
||||
|
||||
### 阶段 4:张量编码层训练
|
||||
### 阶段 4:编码适配器训练
|
||||
|
||||
**目标**:训练编码层将内部张量转换为标准通信张量
|
||||
**目标**:训练编码层将内部张量转换为统一通信张量(拼接 fmt_id/parser_id 前缀)
|
||||
|
||||
**技术路线**:
|
||||
- 可学习的线性投影层 + LayerNorm
|
||||
- 维度对齐网络(Projection Head)
|
||||
|
||||
**训练步骤**:
|
||||
1. 定义标准张量协议的目标格式(固定维度、精度等)
|
||||
1. 定义统一通信张量的目标维度(payload 部分)
|
||||
2. 收集阶段3的 VQ-VAE 潜在表示作为训练数据
|
||||
3. 训练投影网络将内部张量映射到标准格式
|
||||
4. 训练配套的解码网络(供其他子网使用)
|
||||
5. 验证编码/解码循环的一致性误差
|
||||
3. 训练投影网络将内部张量映射到 payload 格式
|
||||
4. 实现编码适配器: payload + 拼接 [fmt_id=0, parser_id=0, padding..., data]
|
||||
5. 训练配套的解码网络(供其他子网使用)
|
||||
6. 验证编码/解码循环的一致性误差
|
||||
|
||||
### 阶段 5:联合端到端微调
|
||||
|
||||
|
||||
Reference in New Issue
Block a user