diff --git a/deploy/packaging/build.sh b/deploy/packaging/build.sh index f65d27a..649b84f 100644 --- a/deploy/packaging/build.sh +++ b/deploy/packaging/build.sh @@ -118,8 +118,21 @@ build_homed() { # Go 用 CC 驱动 CGO 编译与链接,用 CC 指定的交叉工具链来决定目标架构。 # 必须同时 export CC 给 Go 的 CGO 代码生成器,否则 CGO_ENABLED=1 下的 # 目标文件与 host 的 ld 不兼容(如 arm64 的 .o 给了 x86_64 的 ld)。 + # + # HOMED_TAGS 默认带 onnxruntime:发行版**默认启用**本地向量空间。 + # 不带这个标签时 providers/chineseclip 与 providers/qwen3vl 仍会注册, + # 但打开时报「requires build tag」并优雅降级(不静默假装成功)。 + # 需要极简构建时可显式 HOMED_TAGS= 关掉。 + # + # 运行期还需要 libonnxruntime.so(provider 按 /opt/onnxruntime、 + # /usr/local/lib、/usr/lib 顺序查找);缺失时同样是「日志里的明确错误 + + # 降级」,不会假装启用。 local _cc="${CC:-cc}" + local _tags="${HOMED_TAGS-onnxruntime}" + local -a _tagargs=() + if [ -n "$_tags" ]; then _tagargs=(-tags "$_tags"); fi CGO_ENABLED=1 CC="$_cc" "$GO" build -trimpath -installsuffix dynlink \ + ${_tagargs[@]+"${_tagargs[@]}"} \ -ldflags "$LDFLAGS" -o "$out" ./cmd/homed/ echo " OK ($(file "$out" | sed 's/.*: //') | $(du -h "$out" | cut -f1))" } diff --git a/docs/zh/multimodal-space.md b/docs/zh/multimodal-space.md index b4b4d88..300f057 100644 --- a/docs/zh/multimodal-space.md +++ b/docs/zh/multimodal-space.md @@ -145,8 +145,28 @@ core.memory.multimodal_space.provider = chineseclip core.memory.multimodal_space.options.model_dir = /home/newqqagent/models/chinese-clip-vit-b16-onnx ``` +**新装默认就是这个**(`SeedDefaults` 写入 `chineseclip` + `/models/chinese-clip-vit-b16-onnx`), +发行版构建也默认带 `onnxruntime` 标签(`deploy/packaging/build.sh` 的 `HOMED_TAGS`, +需要极简构建时显式 `HOMED_TAGS=` 关闭)。 + +已于既有安装:`SeedDefaults` 对非空配置库直接返回(`GetString` 缺键时回落调用方默认值), +所以老安装**不会**自动拿到这两个默认值,需要显式写配置。这是有意的: +升级就静默加载 1.8GB 模型不是无副作用的事。 + 同样要求 `homed` 带 `onnxruntime` build tag。 +#### ORT 环境是进程级单例(单主不析构) + +进程内可能有多个 ORT 消费者(本 provider、`qwen3vl`、`internal/nlp` 的依存解析器)。 +`onnxruntime_go` 的行为是:第二次 `InitializeEnvironment` 报错,而 +`DestroyEnvironment` 会把别人正在用的环境一起拆掉。约定: + +- 初始化前先 `IsInitialized()`,只有未初始化时才初始化; +- **任何消费者都不销毁环境**(环境随进程存活),只销毁自己的会话。 + +这个缺陷是「发行版默认带 onnxruntime 标签」后才暴露的:不带标签时多个消费者不会 +同时存在(此前 `internal/nlp` 会重复初始化并降级,失败路径还会误销毁环境)。 + ### 模态范围 只声明 `text` 与 `image`。`audio`/`video` **明确返回 `ErrUnsupportedModality`**—— diff --git a/internal/config/registry.go b/internal/config/registry.go index ba944e3..e0bd033 100644 --- a/internal/config/registry.go +++ b/internal/config/registry.go @@ -545,6 +545,13 @@ func (r *ConfigRegistry) seedDBValues(dataDir string) { set("core.memory.text", filepath.Join(dataDir, "memory", "text")) set("core.memory.documents", filepath.Join(dataDir, "memory", "documents")) set("core.memory.media.dir", filepath.Join(dataDir, "memory", "media")) + // 发行版默认启用本地向量空间。用 chineseclip(text+image、512 维、实测 + // 常驻 1.15GB、Apache-2.0)而不是 qwen3vl(9.4GB):多数机器装不下后者。 + // 产物不在仓库里,用 scripts/export_chineseclip_onnx.py 生成到这个路径; + // 产物缺失时 homed 会打印明确错误并退回 fastText 文本路径(不静默假装启用)。 + set("core.memory.multimodal_space.provider", "chineseclip") + set("core.memory.multimodal_space.options.model_dir", + filepath.Join(dataDir, "models", "chinese-clip-vit-b16-onnx")) set("core.knowledge.path", filepath.Join(dataDir, "knowledge")) set("core.log.path", filepath.Join(dataDir, "log")) @@ -651,8 +658,8 @@ func (r *ConfigRegistry) seedCoreDefs(dataDir string) { reg(ConfigDef{Key: "core.memory.documents", Default: filepath.Join(dataDir, "memory", "documents"), Type: "string", DisplayName: "文档记忆路径", Description: "文档记忆存储目录", Category: "paths"}) reg(ConfigDef{Key: "core.memory.media.enabled", Default: "true", Type: "bool", DisplayName: "媒体记忆", Description: "把对话里出现的图片/音频变成一等记忆块,内容按 sha256 落盘去重。关闭后媒体仅在当前对话内可见,下一轮起只剩路径或 alt 文本", Category: "memory"}) reg(ConfigDef{Key: "core.memory.media.dir", Default: filepath.Join(dataDir, "memory", "media"), Type: "string", DisplayName: "媒体存储路径", Description: "媒体内容寻址存储目录(内含 media.db 与 blobs/)", Category: "paths"}) - reg(ConfigDef{Key: "core.memory.multimodal_space.provider", Default: "", Type: "string", DisplayName: "多模态向量 provider", Description: "从公共 provider 注册表(pkg/embedding)按名字打开的多模态向量空间。内置:qwen3vl(内嵌 Qwen3-VL ONNX,需 onnxruntime 构建标签)、http(外部向量 API)。也可是第三方注册的名字。留空禁用多模态向量检索,只保留 fastText 文本路径。provider 的模型文件、预处理与运行时全在 provider 内部,核心不做任何模型假设。修改后需重启生效。", Category: "memory"}) - reg(ConfigDef{Key: "core.memory.multimodal_space.options.model_dir", Default: "", Type: "string", DisplayName: "provider 模型目录", Description: "provider 自定义选项(以 options. 开头的键会去掉前缀后原样传给 provider,核心不解释其含义)。对内置 qwen3vl:指定 ONNX 产物目录。", Category: "memory"}) + reg(ConfigDef{Key: "core.memory.multimodal_space.provider", Default: "chineseclip", Type: "string", DisplayName: "多模态向量 provider", Description: "从公共 provider 注册表(pkg/embedding)按名字打开的多模态向量空间。内置:chineseclip(默认,text+image,512 维,实测常驻 1.15GB,Apache-2.0)、qwen3vl(text+image,2048 维,常驻 9.4GB;视频已实现但未纳入契约)、http(外部向量 API)。也可是第三方注册的名字。两者均需 onnxruntime 构建标签。留空禁用多模态向量检索,只保留 fastText 文本路径。provider 的模型文件、预处理与运行时全在 provider 内部,核心不做任何模型假设。修改后需重启生效。", Category: "memory"}) + reg(ConfigDef{Key: "core.memory.multimodal_space.options.model_dir", Default: filepath.Join(dataDir, "models", "chinese-clip-vit-b16-onnx"), Type: "string", DisplayName: "provider 模型目录", Description: "provider 自定义选项(以 options. 开头的键会去掉前缀后原样传给 provider,核心不解释其含义)。对内置 chineseclip:Chinese-CLIP 产物目录(用 scripts/export_chineseclip_onnx.py 生成)。对内置 qwen3vl:Qwen3-VL ONNX 产物目录(用 scripts/export_qwen3vl_embedding_onnx.py 生成)。", Category: "memory"}) reg(ConfigDef{Key: "core.memory.multimodal_space.options.endpoint", Default: "", Type: "string", DisplayName: "provider 服务端点", Description: "provider 自定义选项。对内置 http:外部多模态向量服务的端点 URL(POST,接受 modality/side/text/data/mime,返回 embedding)。", Category: "memory"}) reg(ConfigDef{Key: "core.memory.multimodal_space.options.api_key", Default: "", Type: "password", DisplayName: "provider 服务密钥", Description: "provider 自定义选项。对内置 http:作为 Bearer token 发送。可选。", Category: "memory"}) reg(ConfigDef{Key: "core.memory.multimodal_space.options.model", Default: "", Type: "string", DisplayName: "provider 模型标识", Description: "provider 自定义选项。对内置 http:外部服务使用的模型名,作为 vec_model 持久化。", Category: "memory"}) diff --git a/internal/nlp/onnx.go b/internal/nlp/onnx.go index b629b32..b744d09 100644 --- a/internal/nlp/onnx.go +++ b/internal/nlp/onnx.go @@ -49,9 +49,20 @@ func NewONNXParser(cfg ONNXConfig) (*ONNXParser, error) { } } - ort.SetSharedLibraryPath(libPath()) - if err := ort.InitializeEnvironment(); err != nil { - return nil, fmt.Errorf("init onnx env: %w", err) + // ORT 环境是**进程级单例**,同一进程里可能有多个消费者(多模态向量 + // provider、本依存解析器)。onnxruntime_go 的行为是:第二次 + // InitializeEnvironment 报「already been initialized」,而 + // DestroyEnvironment 会把别人正在用的环境一起拆掉——先初始化的 provider + // 会因此拿到失效的会话。所以这里只在未初始化时初始化,并且**永不销毁** + // (与 providers/chineseclip、providers/qwen3vl 的约定一致):环境随进程存活。 + // + // 这个缺陷是在「发行版默认带 onnxruntime 标签」后才暴露的:不带标签时 + // 两个消费者不会同时存在,重复初始化与误销毁都无法发生。 + if !ort.IsInitialized() { + ort.SetSharedLibraryPath(libPath()) + if err := ort.InitializeEnvironment(); err != nil { + return nil, fmt.Errorf("init onnx env: %w", err) + } } inputNames := []string{"input_ids"} @@ -59,7 +70,7 @@ func NewONNXParser(cfg ONNXConfig) (*ONNXParser, error) { session, err := ort.NewDynamicAdvancedSession(modelPath, inputNames, outputNames, nil) if err != nil { - ort.DestroyEnvironment() + // 不在这里 DestroyEnvironment:环境是进程级的,可能正被多模态 provider 使用。 return nil, fmt.Errorf("create session: %w", err) } @@ -73,7 +84,7 @@ func NewONNXParser(cfg ONNXConfig) (*ONNXParser, error) { func (p *ONNXParser) Close() error { p.close.Do(func() { p.rt.Destroy() - ort.DestroyEnvironment() + // 不销毁进程级 ORT 环境:多模态 provider 可能仍在使用(见 NewONNXParser)。 }) return nil }