mirror of
https://gitcode.com/JianFeeeee/HomeAgent.git
synced 2026-09-21 17:38:10 +00:00
1a02971f88
此前三段式拆分后 ONNX 路径从未从 Go 侧跑通：embedder_onnx_test.go 仍引用 分段前的 API（e.renderInput、TextTower.onnx、旧目录），go vet -tags onnxruntime 直接编译失败。导出脚本只在 /tmp 且硬编码本机路径、从第三个目录拷贝固定形状的 Vision.onnx，完全不可复现。音频会被视觉塔编码，静默往统一空间灌入错误坐标。 本提交补齐这些缺口： 一、可复现导出脚本（scripts/export_qwen3vl_embedding_onnx.py） - 自动拉取模型（HuggingFace 优先，失败回落 ModelScope，支持 HF_ENDPOINT 镜像）； - 导出 TokenEmbedding + Transformer + Vision 三段图，图文共用同一 token embedding、28 层 Transformer、last-token 池化与 fingerprint； - 双重自检（不可省）：分段 PyTorch vs 完整模型 + 导出后的 ONNX vs 完整模型， cos < 0.999999 即非零退出——「能加载」不等于「算得对」； - 默认把 L2 归一化后的冻结参考向量写入产物目录（qwen_reference.json）—— Go 测试据此做逐维冻结回归，且「该目录是哪次导出的」从文件本身可追溯； - --verify-only 校验既有产物不重新导出，可用来确认线上在用的图没坏。 关键实测结论（已写入 docs/zh/multimodal-space.md 与长期记忆）： 原生多帧视频不可行——Qwen3-VL 视觉塔把 grid_thw 当 Python 值消费 （grid_thw.tolist()），legacy tracer 固化为常量，导出后图中根本没有 grid_thw 输入，换帧数调用直接 Invalid input name: grid_thw。故视觉塔固定 (1,48,48)， 视频由上层抽帧后逐帧按图像编码（同模型/同维度/同 fingerprint），音频明确 unsupported。 二、模态边界（vector.ErrModalityUnsupported） - 新增 vector.ErrModalityUnsupported：表示「该模态不在本统一空间的原生覆盖 范围内」，与普通错误语义不同——调用方应把它当「永远不会有向量」而非 「本次失败、下次重试」； - qwen.EmbedImageDense 按 mime 拒绝 audio/* 与 video/*：此前它会拿视觉塔 去解音频字节，往统一空间灌入语义错误的坐标且静默； - reembedStaleMedia 对 ErrModalityUnsupported 不计失败、不重试、不用别的 模型向量顶替（TestReembedStaleMedia_SkipsUnsupportedWithoutFaking 守住）。 三、Go ONNX 测试首次完整通过 - 重写 embedder_onnx_test.go：修复编译 + 文本冻结回归 + 图像冻结回归 + 两条阴性对照（不同输入必须不同、图像与文本必须不同）+ 不支持模态断言； - 参考值从产物目录的 qwen_reference.json 读取（不在测试里硬编码浮点）； - 用线上部署产物实测全部通过（text cos=0.999999940, image cos=0.999999762）。 四、.gitignore 修复 - /scripts/ 此前被列在「运行时产物」下，但它是作者维护的工具目录 （模型导出、侧车、部署校验），deploy/systemd/embed-sidecar.service 直接 引用 scripts/embed_sidecar.py，忽略它会让那份 unit 在别人的机器上指向 不存在的文件。改为只忽略 __pycache__。 五、文档（docs/zh/multimodal-space.md） - 获取/启用/产物契约/模态边界/验证/资源成本/与现有部署产物的等价性。 验证：go build ./...、go vet ./...、go vet -tags onnxruntime ./...、 go test -short 全部通过；ONNX 标签测试对线上部署产物全部通过。
68 lines
1.8 KiB
Plaintext
68 lines
1.8 KiB
Plaintext
/homed
|
||
/waiter
|
||
*.exe
|
||
*.log
|
||
*.test
|
||
build/
|
||
*.so
|
||
*.db
|
||
data/
|
||
.tmp-plugins/
|
||
.go/
|
||
.local/
|
||
|
||
*.hmap
|
||
dev/
|
||
|
||
login.json
|
||
|
||
# GUI
|
||
cmd/gui/node_modules/
|
||
cmd/gui/dist/
|
||
|
||
.gopath/
|
||
|
||
# SDK 工具链 — 核心仓不追踪
|
||
#
|
||
# 外部插件与工具链维护在独立 SDK 仓（决策 sdk_repo_only），
|
||
# 本仓经 go.mod 的 replace => ./third_party/homeagent-sdk 引用。
|
||
# example/ 下已跟踪的 20 个文件（plg.json + plugin.go）早于本规则，
|
||
# 靠「已跟踪文件不受 .gitignore 影响」保留——这是有意的，不要「修」。
|
||
third_party/homeagent-sdk/bin/
|
||
third_party/homeagent-sdk/tools/
|
||
third_party/homeagent-sdk/package/
|
||
third_party/homeagent-sdk/.gitignore
|
||
third_party/homeagent-sdk/README*
|
||
third_party/homeagent-sdk/example/
|
||
.codegraph/
|
||
|
||
# codegraph 本地索引配置（含嵌套 SDK 仓放行，仅本地生效）
|
||
codegraph.json
|
||
|
||
# 运行时产物(不提交)
|
||
#
|
||
# ⚠️ 这些必须带前导斜杠。不带斜杠的模式（如 `memory/`）会匹配**任意层级**的
|
||
# 同名目录，把 internal/memory/、internal/knowledge/、deploy/scripts/ 一起吞掉
|
||
# ——24 + 3 + 1 个已跟踪源码文件曾因此落在 ignore 规则下，只靠「已跟踪
|
||
# 文件不受 .gitignore 影响」这条 git 规则兜着，新增文件会默默不入库。
|
||
/adapters/
|
||
/knowledge/
|
||
/memory/
|
||
# 注：/scripts/ **不**忽略。它是作者维护的工具目录（模型导出、侧车、部署校验），
|
||
# 不是运行期产物：deploy/systemd/embed-sidecar.service 直接引用
|
||
# scripts/embed_sidecar.py，忽略它会让那份 unit 在别人的机器上指向不存在的文件。
|
||
# 只忽略其中的缓存。
|
||
/scripts/__pycache__/
|
||
__pycache__/
|
||
terminal_locked_log.txt
|
||
|
||
dist/
|
||
.pi-glla/
|
||
.omo/
|
||
.pi/
|
||
|
||
# HarmonyOS 构建工具链缓存（HVIGOR_USER_HOME / ohpm 生成，非源码）
|
||
.hvigor-home/
|
||
.npm-cache/
|
||
.ohpm/
|