feat: protocol base lib + rule-based parser MVP + 31 tests

This commit is contained in:
root
2026-06-01 11:12:45 +08:00
parent 6edda94a89
commit ac663fca16
22 changed files with 1066 additions and 373 deletions

View File

@ -71,7 +71,7 @@
|------|------|
| **输入** | 原始多模态数据(图像/语音/文本)+ 控制张量(来自Core) |
| **输出** | 标准引用张量(发送给Core) |
| **输出格式** | 标准张量协议,tensor_type=`ref_tensor` |
| **输出格式** | 统一通信张量,fmt_id=0 (ref_tensor) |
| **压缩目标** | 10:1 ~ 100:1 压缩率 |
| **延迟目标** | 单次处理 < 50ms |
@ -103,7 +103,8 @@
│ ▼ │
│ ┌─────────────────────┐ │
│ │ 张量编码层 │ │
│ │ 内部格式→标准张量格式 │ │
│ │ 内部格式→统一通信张量 │ │
│ │ 拼接 fmt_id=0 前缀 │ │
│ └──────────┬──────────┘ │
└─────────────────────────┼─────────────────────┘
│
@ -195,20 +196,21 @@
6. 训练 100 epochs,batch size 256
7. 评估:在不同压缩率 (10x, 50x, 100x) 下测量重建质量
### 阶段 4:张量编码层训练
### 阶段 4:编码适配器训练
**目标**:训练编码层将内部张量转换为标准通信张量
**目标**:训练编码层将内部张量转换为统一通信张量(拼接 fmt_id/parser_id 前缀)
**技术路线**:
- 可学习的线性投影层 + LayerNorm
- 维度对齐网络(Projection Head)
**训练步骤**:
1. 定义标准张量协议的目标格式(固定维度、精度等)
1. 定义统一通信张量的目标维度(payload 部分)
2. 收集阶段3的 VQ-VAE 潜在表示作为训练数据
3. 训练投影网络将内部张量映射到标准格式
4. 训练配套的解码网络(供其他子网使用)
5. 验证编码/解码循环的一致性误差
3. 训练投影网络将内部张量映射到 payload 格式
4. 实现编码适配器: payload + 拼接 [fmt_id=0, parser_id=0, padding..., data]
5. 训练配套的解码网络(供其他子网使用)
6. 验证编码/解码循环的一致性误差
### 阶段 5:联合端到端微调