mirror of
https://gitcode.com/JianFeeeee/HomeAgent.git
synced 2026-09-21 17:38:10 +00:00
feat(release): 发行版默认启用本地向量空间(onnxruntime 标签 + chineseclip 默认)
用户要求:后续发行版默认带 ONNX 模型能力。这条要求落到两处,并顺带修掉一个 被它**暴露出来**的真缺陷。 ## 1. 构建默认带 onnxruntime(deploy/packaging/build.sh) `HOMED_TAGS` 默认 `onnxruntime`,需要极简构建时显式 `HOMED_TAGS=` 关闭。 不带标签时 provider 仍注册、但打开即报「requires build tag」并优雅降级—— 不静默假装成功。运行期还需要 `libonnxruntime.so`(provider 按 /opt/onnxruntime、/usr/local/lib、/usr/lib 顺序查找),缺失时同样是 「日志里明确错误 + 降级」。 ## 2. 新装默认选 chineseclip(internal/config/registry.go) `SeedDefaults` 写入: core.memory.multimodal_space.provider = chineseclip core.memory.multimodal_space.options.model_dir = <dataDir>/models/chinese-clip-vit-b16-onnx 选它而不是 qwen3vl:后者实测常驻 9.4GB,多数机器装不下;chineseclip 是 1.99GB(实测,见下)。同时更新两个 ConfigDef 的默认值与描述(WebUI 显示用)。 **老安装不会自动拿到这两个默认值**,这是有意的:`seedDBValues` 对非空配置库 直接返回,`GetString` 缺键时回落到调用方默认值(main.go 传的是空串)。 升级就静默加载 ~1.8GB 模型不是无副作用的事,应由部署显式开启。已写进文档。 ## 3. 修掉 ORT 环境被重复初始化 + 误销毁(internal/nlp/onnx.go) 这是「默认带标签」才暴露的缺陷:此前不带标签时进程内不会有多个 ORT 消费者。 - `NewONNXParser` 无条件 `InitializeEnvironment()` → 若多模态 provider 先初始化, 这里报「The onnxruntime has already been initialized」并**降级**(实测日志: `ONNX parser init: init onnx env: ... using fallback`)。 - 更严重的是失败路径与 `Close()` 里的 `DestroyEnvironment()`:它会把别人 (多模态 provider)正在用的进程级环境一起拆掉,让对方的会话失效。 改为:初始化前先 `IsInitialized()`;**任何消费者都不销毁环境**(随进程存活), 只销毁自己的会话。providers/chineseclip 与 providers/qwen3vl 本来就是这个约定, 现在三处一致。 ## 验证(实测) - 全新数据目录启动:配置库出现上述两个默认值。 - 模型未安装:`multimodal space active` 不出现,代之以明确错误 (点名缺失的 embed_config.json 路径 + 已注册 provider 列表)+ 降级,不静默。 - 模型就位:`multimodal space active: provider=chineseclip dim=512 fp=cd2a495cf990 modalities=[text image]`。 - 内存:同一份 homed,启用时 RSS **1.99GB**(峰值 2.09GB),不启用 **0.17GB**。 - NLP 修复:日志由 `ONNX parser init: ... using fallback` 变为 `dep parser initialized`。 - 构建矩阵:`go build/vet ./...` 与 `-tags onnxruntime` 两种都过; `bash -n deploy/packaging/build.sh` 通过。 ## 未做(明确记录) - `libonnxruntime.so`(24MB)与 Chinese-CLIP 产物(754MB)目前都需自行安装/导出, 发行版尚未打包它们。若要让「默认启用」在干净机器上真正开箱可用,需要决定 是随包分发、安装时下载、还是保持文档指引。
This commit is contained in:
@ -118,8 +118,21 @@ build_homed() {
|
||||
# Go 用 CC 驱动 CGO 编译与链接,用 CC 指定的交叉工具链来决定目标架构。
|
||||
# 必须同时 export CC 给 Go 的 CGO 代码生成器,否则 CGO_ENABLED=1 下的
|
||||
# 目标文件与 host 的 ld 不兼容(如 arm64 的 .o 给了 x86_64 的 ld)。
|
||||
#
|
||||
# HOMED_TAGS 默认带 onnxruntime:发行版**默认启用**本地向量空间。
|
||||
# 不带这个标签时 providers/chineseclip 与 providers/qwen3vl 仍会注册,
|
||||
# 但打开时报「requires build tag」并优雅降级(不静默假装成功)。
|
||||
# 需要极简构建时可显式 HOMED_TAGS= 关掉。
|
||||
#
|
||||
# 运行期还需要 libonnxruntime.so(provider 按 /opt/onnxruntime、
|
||||
# /usr/local/lib、/usr/lib 顺序查找);缺失时同样是「日志里的明确错误 +
|
||||
# 降级」,不会假装启用。
|
||||
local _cc="${CC:-cc}"
|
||||
local _tags="${HOMED_TAGS-onnxruntime}"
|
||||
local -a _tagargs=()
|
||||
if [ -n "$_tags" ]; then _tagargs=(-tags "$_tags"); fi
|
||||
CGO_ENABLED=1 CC="$_cc" "$GO" build -trimpath -installsuffix dynlink \
|
||||
${_tagargs[@]+"${_tagargs[@]}"} \
|
||||
-ldflags "$LDFLAGS" -o "$out" ./cmd/homed/
|
||||
echo " OK ($(file "$out" | sed 's/.*: //') | $(du -h "$out" | cut -f1))"
|
||||
}
|
||||
|
||||
@ -145,8 +145,28 @@ core.memory.multimodal_space.provider = chineseclip
|
||||
core.memory.multimodal_space.options.model_dir = /home/newqqagent/models/chinese-clip-vit-b16-onnx
|
||||
```
|
||||
|
||||
**新装默认就是这个**(`SeedDefaults` 写入 `chineseclip` + `<dataDir>/models/chinese-clip-vit-b16-onnx`),
|
||||
发行版构建也默认带 `onnxruntime` 标签(`deploy/packaging/build.sh` 的 `HOMED_TAGS`,
|
||||
需要极简构建时显式 `HOMED_TAGS=` 关闭)。
|
||||
|
||||
已于既有安装:`SeedDefaults` 对非空配置库直接返回(`GetString` 缺键时回落调用方默认值),
|
||||
所以老安装**不会**自动拿到这两个默认值,需要显式写配置。这是有意的:
|
||||
升级就静默加载 1.8GB 模型不是无副作用的事。
|
||||
|
||||
同样要求 `homed` 带 `onnxruntime` build tag。
|
||||
|
||||
#### ORT 环境是进程级单例(单主不析构)
|
||||
|
||||
进程内可能有多个 ORT 消费者(本 provider、`qwen3vl`、`internal/nlp` 的依存解析器)。
|
||||
`onnxruntime_go` 的行为是:第二次 `InitializeEnvironment` 报错,而
|
||||
`DestroyEnvironment` 会把别人正在用的环境一起拆掉。约定:
|
||||
|
||||
- 初始化前先 `IsInitialized()`,只有未初始化时才初始化;
|
||||
- **任何消费者都不销毁环境**(环境随进程存活),只销毁自己的会话。
|
||||
|
||||
这个缺陷是「发行版默认带 onnxruntime 标签」后才暴露的:不带标签时多个消费者不会
|
||||
同时存在(此前 `internal/nlp` 会重复初始化并降级,失败路径还会误销毁环境)。
|
||||
|
||||
### 模态范围
|
||||
|
||||
只声明 `text` 与 `image`。`audio`/`video` **明确返回 `ErrUnsupportedModality`**——
|
||||
|
||||
@ -545,6 +545,13 @@ func (r *ConfigRegistry) seedDBValues(dataDir string) {
|
||||
set("core.memory.text", filepath.Join(dataDir, "memory", "text"))
|
||||
set("core.memory.documents", filepath.Join(dataDir, "memory", "documents"))
|
||||
set("core.memory.media.dir", filepath.Join(dataDir, "memory", "media"))
|
||||
// 发行版默认启用本地向量空间。用 chineseclip(text+image、512 维、实测
|
||||
// 常驻 1.15GB、Apache-2.0)而不是 qwen3vl(9.4GB):多数机器装不下后者。
|
||||
// 产物不在仓库里,用 scripts/export_chineseclip_onnx.py 生成到这个路径;
|
||||
// 产物缺失时 homed 会打印明确错误并退回 fastText 文本路径(不静默假装启用)。
|
||||
set("core.memory.multimodal_space.provider", "chineseclip")
|
||||
set("core.memory.multimodal_space.options.model_dir",
|
||||
filepath.Join(dataDir, "models", "chinese-clip-vit-b16-onnx"))
|
||||
set("core.knowledge.path", filepath.Join(dataDir, "knowledge"))
|
||||
set("core.log.path", filepath.Join(dataDir, "log"))
|
||||
|
||||
@ -651,8 +658,8 @@ func (r *ConfigRegistry) seedCoreDefs(dataDir string) {
|
||||
reg(ConfigDef{Key: "core.memory.documents", Default: filepath.Join(dataDir, "memory", "documents"), Type: "string", DisplayName: "文档记忆路径", Description: "文档记忆存储目录", Category: "paths"})
|
||||
reg(ConfigDef{Key: "core.memory.media.enabled", Default: "true", Type: "bool", DisplayName: "媒体记忆", Description: "把对话里出现的图片/音频变成一等记忆块,内容按 sha256 落盘去重。关闭后媒体仅在当前对话内可见,下一轮起只剩路径或 alt 文本", Category: "memory"})
|
||||
reg(ConfigDef{Key: "core.memory.media.dir", Default: filepath.Join(dataDir, "memory", "media"), Type: "string", DisplayName: "媒体存储路径", Description: "媒体内容寻址存储目录(内含 media.db 与 blobs/)", Category: "paths"})
|
||||
reg(ConfigDef{Key: "core.memory.multimodal_space.provider", Default: "", Type: "string", DisplayName: "多模态向量 provider", Description: "从公共 provider 注册表(pkg/embedding)按名字打开的多模态向量空间。内置:qwen3vl(内嵌 Qwen3-VL ONNX,需 onnxruntime 构建标签)、http(外部向量 API)。也可是第三方注册的名字。留空禁用多模态向量检索,只保留 fastText 文本路径。provider 的模型文件、预处理与运行时全在 provider 内部,核心不做任何模型假设。修改后需重启生效。", Category: "memory"})
|
||||
reg(ConfigDef{Key: "core.memory.multimodal_space.options.model_dir", Default: "", Type: "string", DisplayName: "provider 模型目录", Description: "provider 自定义选项(以 options. 开头的键会去掉前缀后原样传给 provider,核心不解释其含义)。对内置 qwen3vl:指定 ONNX 产物目录。", Category: "memory"})
|
||||
reg(ConfigDef{Key: "core.memory.multimodal_space.provider", Default: "chineseclip", Type: "string", DisplayName: "多模态向量 provider", Description: "从公共 provider 注册表(pkg/embedding)按名字打开的多模态向量空间。内置:chineseclip(默认,text+image,512 维,实测常驻 1.15GB,Apache-2.0)、qwen3vl(text+image,2048 维,常驻 9.4GB;视频已实现但未纳入契约)、http(外部向量 API)。也可是第三方注册的名字。两者均需 onnxruntime 构建标签。留空禁用多模态向量检索,只保留 fastText 文本路径。provider 的模型文件、预处理与运行时全在 provider 内部,核心不做任何模型假设。修改后需重启生效。", Category: "memory"})
|
||||
reg(ConfigDef{Key: "core.memory.multimodal_space.options.model_dir", Default: filepath.Join(dataDir, "models", "chinese-clip-vit-b16-onnx"), Type: "string", DisplayName: "provider 模型目录", Description: "provider 自定义选项(以 options. 开头的键会去掉前缀后原样传给 provider,核心不解释其含义)。对内置 chineseclip:Chinese-CLIP 产物目录(用 scripts/export_chineseclip_onnx.py 生成)。对内置 qwen3vl:Qwen3-VL ONNX 产物目录(用 scripts/export_qwen3vl_embedding_onnx.py 生成)。", Category: "memory"})
|
||||
reg(ConfigDef{Key: "core.memory.multimodal_space.options.endpoint", Default: "", Type: "string", DisplayName: "provider 服务端点", Description: "provider 自定义选项。对内置 http:外部多模态向量服务的端点 URL(POST,接受 modality/side/text/data/mime,返回 embedding)。", Category: "memory"})
|
||||
reg(ConfigDef{Key: "core.memory.multimodal_space.options.api_key", Default: "", Type: "password", DisplayName: "provider 服务密钥", Description: "provider 自定义选项。对内置 http:作为 Bearer token 发送。可选。", Category: "memory"})
|
||||
reg(ConfigDef{Key: "core.memory.multimodal_space.options.model", Default: "", Type: "string", DisplayName: "provider 模型标识", Description: "provider 自定义选项。对内置 http:外部服务使用的模型名,作为 vec_model 持久化。", Category: "memory"})
|
||||
|
||||
@ -49,9 +49,20 @@ func NewONNXParser(cfg ONNXConfig) (*ONNXParser, error) {
|
||||
}
|
||||
}
|
||||
|
||||
ort.SetSharedLibraryPath(libPath())
|
||||
if err := ort.InitializeEnvironment(); err != nil {
|
||||
return nil, fmt.Errorf("init onnx env: %w", err)
|
||||
// ORT 环境是**进程级单例**,同一进程里可能有多个消费者(多模态向量
|
||||
// provider、本依存解析器)。onnxruntime_go 的行为是:第二次
|
||||
// InitializeEnvironment 报「already been initialized」,而
|
||||
// DestroyEnvironment 会把别人正在用的环境一起拆掉——先初始化的 provider
|
||||
// 会因此拿到失效的会话。所以这里只在未初始化时初始化,并且**永不销毁**
|
||||
// (与 providers/chineseclip、providers/qwen3vl 的约定一致):环境随进程存活。
|
||||
//
|
||||
// 这个缺陷是在「发行版默认带 onnxruntime 标签」后才暴露的:不带标签时
|
||||
// 两个消费者不会同时存在,重复初始化与误销毁都无法发生。
|
||||
if !ort.IsInitialized() {
|
||||
ort.SetSharedLibraryPath(libPath())
|
||||
if err := ort.InitializeEnvironment(); err != nil {
|
||||
return nil, fmt.Errorf("init onnx env: %w", err)
|
||||
}
|
||||
}
|
||||
|
||||
inputNames := []string{"input_ids"}
|
||||
@ -59,7 +70,7 @@ func NewONNXParser(cfg ONNXConfig) (*ONNXParser, error) {
|
||||
|
||||
session, err := ort.NewDynamicAdvancedSession(modelPath, inputNames, outputNames, nil)
|
||||
if err != nil {
|
||||
ort.DestroyEnvironment()
|
||||
// 不在这里 DestroyEnvironment:环境是进程级的,可能正被多模态 provider 使用。
|
||||
return nil, fmt.Errorf("create session: %w", err)
|
||||
}
|
||||
|
||||
@ -73,7 +84,7 @@ func NewONNXParser(cfg ONNXConfig) (*ONNXParser, error) {
|
||||
func (p *ONNXParser) Close() error {
|
||||
p.close.Do(func() {
|
||||
p.rt.Destroy()
|
||||
ort.DestroyEnvironment()
|
||||
// 不销毁进程级 ORT 环境:多模态 provider 可能仍在使用(见 NewONNXParser)。
|
||||
})
|
||||
return nil
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user