2 Commits

Author	SHA1	Message	Date
JianFeeeee	d4c5e808c7	feat(packaging): 模型与 ONNX Runtime 随 server/full 包发布 ... 模型与运行库是发行版能力的一部分，不做成「装完再自己下载」： - package-linux.sh：新增 stage_multimodal_assets()，打 server/full 前校验产物 SHA256SUMS、逐文件非空、运行库架构与目标一致，缺一即失败；client 包不含。 顺带修掉三个让打包在最后一步才炸的既有缺陷： · 版本串直接取 git describe（v1.0.0-68-gxxx-dirty）不是合法包版本——deb 要求 数字开头、rpm 不允许 '-'。以前只有显式 VERSION=1.0.3 才打得出来；默认路径 从来没通过过。现在归一化，非数字开头时显式报错。 · 三处 mktemp -d 落在 /tmp（本机 9.8GB tmpfs），而 staging 要复制 719MB 模型， 中途 ENOSPC；报错文本指向某个 .onnx 文件，看着像资产坏了。改为落在与构建产物 同盘的 build/.stage-tmp。 · 开工前删掉旧的 SHA256SUMS：失败时脚本直接退出、不重算，留着像在为残缺产物背书。 - setup.sh：把包内 /usr/lib/homeagent/models/chinese-clip-vit-b16-onnx 软链到 <dataDir>/models/…（不复制 754MB、保持 dataDir 可迁移、已有自定义目录不覆盖） - homeagent.service：ExecStart 改 /usr/bin/homed（deb 装在那里，此前写 /usr/local/bin， 装了也不会被 unit 用上）、加 ONNXRUNTIME_DIR 与 StateDirectory、MemoryMax 2G→8G （实测常驻约 4.5GB，2G 会在首次全量建索引时被 cgroup OOM） - control-{full,server}：补 libstdc++6 / libgcc-s1（libonnxruntime.so 需要） - providers/{chineseclip,qwen3vl}：findOnnxLib 支持 ONNXRUNTIME_DIR / ONNX_ML_DIR 与包内 /usr/lib/homeagent/onnxruntime，随包的运行库才真的会被用上 - postinst：修掉两个让「装完即用」失效的点——它检查 /lib/systemd/system/ 下的 unit 而 deb 装到 /etc/systemd/system/，于是 daemon-reload/enable **从未执行**；以及 setup.sh 的失败被 `|| true` 吞掉（正是 initconfig 静默缺陷被藏住的原因）。现在 三个候选路径都查、失败可见并给出补救命令、首装 start / 升级 restart。 - docs/zh/multimodal-space.md：新增「随包分发」一节，并修正播种判据的说明 验收（从真实 deb 走一遍，不是读脚本）： - 包内 initconfig 已是动态链接，凭据真的写进 config.db - 解包 → 按 postinst 顺序跑 setup.sh → 包内 homed 冷启动： multimodal space active: provider=chineseclip dim=512 fp=cd2a495cf990 modalities=[text image] - 全新安装的默认值确实被播种（core.plugin.dir / provider / model_dir 都在） - 真实对话拿到回复（3.4s，回复中含唯一标记） - 包内模型 SHA256SUMS 5/5 通过；包内 ORT 与源同 sha256；server 包 722MB （旧版 17MB，差额即模型与运行库）；full 包同样含全部资产；client 包不含	2026-09-12 08:10:44 +08:00
JianFeeeee	bfdb395731	feat(memory): 新增 chineseclip provider —— text+image 的小体积可商用向量空间 ... ## 为什么 用户决定「本轮不覆盖 video，先支持 text+image」。这一刀正好解锁了此前 「小 + 可商用 + 覆盖视频」三者不可兼得的僵局：不要求视频后，唯一同时满足 **小、可商用、中文原生** 的选项是 Chinese-CLIP ViT-B/16。 实测对比（同机、真实跑出来的数字）： | | Chinese-CLIP | jina-v5-omni-nano | Qwen3-VL-Emb-2B | |---|---|---|---| | 参数量 | 188M | 1.04B | 2B | | 产物 / 常驻内存 | 754MB / **1.15GB** | ~2GB / 2.23GB | 8GB / 9.4GB | | 维度 | 512 | 768 | 2048 | | 许可 | **Apache-2.0** | CC BY-NC（不可商用） | Apache-2.0 | | 视频 | 无 | 有 | 有 | 本机可用内存只有 5.3GB，Qwen 的 9.4GB 无法进程内使用；而 ORT format + mmap 那条路被证实当前不通（转换器对三段图段错误；走通还需同时升 ORT 运行时与 Go 绑定，v1.36 要求 API 29 而本机只有 28）。1.15GB 则可以直接进程内跑。 **代价已写进包注释与文档**：CLIP 是双塔对比学习，text↔image 是强项，但纯文本 语义明显弱于 MLLM 型嵌入器；文本检索仍由既有词向量/TF-IDF 路径兜底。 需要更强文本语义或视频时切回 qwen3vl。 ## 内容 - `providers/chineseclip/`：按公共 SPI 实现的 provider（注册名 `chineseclip`）， 含 BERT WordPiece 分词器、图像预处理、ONNX 双塔推理、无标签 stub。 - `scripts/export_chineseclip_onnx.py`：从官方权重导出规范产物 + 冻结参考， 自带逐用例 PyTorch 对比与覆盖度断言（计划集合≠执行集合即非零退出）。 - `cmd/homed/main.go`：空白导入两个 provider，由配置选其一。 - `go.mod`：`golang.org/x/text` 由间接依赖转为直接依赖（删音标需要 NFD）。 ## 实现要点 - **分词器逐 token 对齐官方**。第一版探针自己拼 BertTokenizer（只给 vocab.txt、 没删音标、中文没逐字切），中文被整体切成 [UNK]，三个不同句子产出几乎相同的 向量（余弦 0.98）——差点把「模型坏了」当成结论。官方配置是 do_lower_case=true + 删音标生效 + 中文逐字切分；`TestTokenizerMatchesOfficialReference` 钉住 逐 token 一致。 - **图像缩放自写 bicubic**（复刻 PIL 的 precompute_coeffs + a=-0.5 核），不引 golang.org/x/image：它未进本机模块缓存，且最新版要求把整个工具链升到 Go 1.26， 为一个缩放函数动工具链不划算。 - **归一化在 provider 侧**（两个塔的图里都没归一化），检索按余弦。 - **指纹覆盖全部影响语义的产物**：两个 ONNX 图 + vocab.txt + embed_config.json， 读不到就写 MISSING（跳过等于对缺件不敏感）。 - 会话 Run 用 runMu 串行化（ORT 会话不保证并发安全），创建/销毁用 mu。 ## 模态范围 只声明 `text` 与 `image`；`audio`/`video` 明确返回 `ErrUnsupportedModality`， 绝不用别的模型向量冒充（这是「音频明确 unsupported」纪律的落地）。 ## 验证（实测） 导出侧：10 个用例（5 文本 + 5 图像）ONNX vs 官方 PyTorch 全部 `cos = 1.000000000`，覆盖度断言 10/10 通过。 Go 侧（`CHINESECLIP_MODEL_DIR=... go test -tags onnxruntime ./providers/chineseclip/ -v`）： 11/11 通过，其中 - 文本 5 用例 `cos = 1.000000000000`（逐位一致） - 图像 4 纯色用例 `cos = 1.000000`（与官方预处理在 6 位小数内一致） - 跨模态判别：红图对「红色」文本高于「蓝色」文本 - 模态拒绝 / 空输入 / 指纹稳定 / 产物缺失报错 顺带修掉测试自身的一个假通过：参考向量是**未归一化**的原始输出（模长 10~36）， 原先「点积当余弦 + 单侧下界」会让 13.6 也判过，已改为真余弦 + 双侧容差。 构建矩阵：`go build/vet ./...` 与 `-tags onnxruntime` 两种都过； `providers/... pkg/... internal/config/... internal/memory/vector/...` 回归通过 （qwen3vl 的 TestVideoModelInputMRope 需要 QWEN_ONNX_MODEL_DIR 指向含视频档的 v3 目录，缺该环境变量时用的是只有文本+图像的目录，与本改动无关）。 ## 未做（明确记录） - 发行版默认 provider 与构建标签变更：留下一提交（涉及打包与模型分发策略）。 - 模型产物（754MB）不进仓库，由导出脚本生成。	2026-09-11 23:58:53 +08:00