mirror of
https://gitcode.com/JianFeeeee/HomeAgent.git
synced 2026-09-21 17:38:10 +00:00
配套 SDK 提交:homeagent-sdk ba49dfd(公开 API 纯追加,无签名变更)。
本仓第三方的库镜像同步至该版本,以保证全新 clone 能编译。
## 1. 注入标志位(内核侧)
- 7 条注入路径(排队/中断/同步 × 纯文本/带媒体 + 旧 NoMem 变体)解析并转发
no_memory / context_policy / cleaner_name;策略在入口**校验**,
非法值报错而不是静默降级成 none(降级会让调用方以为自己声明的裁剪在生效)。
- 新增 validateContextPolicy(与 tool.register 同一套规则)与 pubSdkInjectOpts。
- input.register 不再手写字段白名单重建 ChannelDef,改为整体传递 + 补 ContextPolicy。
- io 层:applyInjectOpts 把标志位写进事件 payload,仅非零时写
(零值与旧 payload 逐字节一致,事件订阅方与旧内核都不受影响)。
- ioAdapter / procCore / internal-sdk 别名补齐六个 *Opts 实现。
## 2. 修掉「输入无条件裁剪」这个真缺陷
eventloop 此前对**每条非中断输入**都调 `context.Prune(...)`:破坏性(低相关事件被
归档移出上下文)且无法从调用点看出是谁触发的。改为 pruneOnInput/pruneDeclared:
优先级:注入点声明(payload.context_policy)> 通道声明(ChannelDef.ContextPolicy)
> 默认**不裁剪**
查询向量仍取清洗后的内容;新增 cleanInputFor 解析清洗文本,优先级为
注入点声明的 cleaner(cleaner_name)> 按 source 查到的通道 cleaner > 原文,
名字查不到时**记日志再回退**(注入是 fire-and-forget,插件看不到错误,
至少要在内核日志留下「你声明的清洗没生效」的痕迹)。
## 3. jieba 词库内嵌(修「猜 GOMODCACHE → 静默失效」)
原 jiebaDictDir() 去猜 GOMODCACHE/GOPATH/~/go/pkg/mod,部署机上通常没有 Go 模块
缓存 → GetJieba() 返回 nil → 分词/关键词提取/NLP 依存解析(进而 doc→graph 三元组
抽取)/静态词向量 tokenizer **一律静默返回空列表**,只有一行日志。本机看起来正常
只因开发机与生产机重合、恰好有那份缓存。
现在词库随二进制分发:internal/memory/jiebadict/ 5 文件约 11.6MB + go:embed,
按**内容哈希**命名缓存目录落盘(词库升级不复用旧文件),已齐全则跳过写入。
模块缓存降为兜底。homed 体积 32MB。
顺带确认(并有测试佐证):gojieba 的 Tag() 不需要 pos_dict/ 目录——
cppjieba 的 PosTagger 从主词典每行的词性列取 tag。
## 4. homed 放弃 Windows 原生,改走 WSL2
插件体系依赖「继承的 fd」+「统一共享内存区的段内偏移解引用」,Windows 既无 fd
继承语义,其句柄模型也无法表达后者;强行适配等于再维护一套平台专属 ABI
(C ABI 时代三套 ABI 并存曾导致改写型插件在某平台静默失效)。
- cmd/homed/platform_{windows,other}.go:原生 Windows 启动即拒绝并打印 WSL2 指引。
- internal/plugin/proc/shmalloc_windows.go:allocShm 直接返回「请用 WSL2」,
**不返回半可用的段**(与 shmalloc_other.go 同风格:未支持平台显式报错);
procEnvForShm 返回 nil。顺手修掉两处长期编译错误
(cryptorand→rand、h.evData→h.unified.evtData),使 GOOS=windows 至少能编译。
注:homed 本就编不出 Windows——internal/memory 依赖 cgo-only 的 gojieba。
- deploy/packaging/installer.nsi:不再安装 homed.exe/initconfig.exe,改为携带
**linux payload** 并调用新的 install-via-wsl.ps1;退出码 20/21 表示
「需先装 WSL/发行版」,走指引而非报错。
- deploy/packaging/windows/install-via-wsl.ps1(新):检测 WSL → 引导安装 →
确保 WSL2 → 送包进发行版 → 在 WSL 内按 Linux 方式安装。**复用 Linux 包与
linux/setup.sh**,不另写一套安装逻辑;落点与 deb 布局统一
(/usr/bin/homed + /usr/lib/homeagent/setup.sh)。
- deploy/packaging/linux/setup.sh:API Key 允许 HOMEAGENT_API_KEY 覆盖
(否则安装器界面显示一份、config.db 里另一份 → 登录不上)。
- deploy/packaging/build.sh:windows 目标只构建 waiter + gui,并新增
stage_linux_payload 把 Linux 包暂存给安装器;homed/initconfig 在 windows
目标下明确拒绝。
## 5. 插件调用点统一写明意图
- webui 的 OpenAI 兼容端点(固定提示词模板)→ InjectTextSyncNoMemory。
- agentcli 的 5 处纯状态通知(已启动/超时/执行结束/进程退出/读取结束)→ NoMemory;
**带输出**的 2 处(定时反馈、有新输出)刻意保留记忆并注明理由。
- timer 的定时提醒 → NoMemory(中断本来也隐含 NoMemory,这里是写明意图)。
## 6. 版本
meta.Version 仍为 1.2.0(main 是下一个未发布中版本);
SDKCompatibleVersion 1.1.0 → **1.2.0**(本内核已实现 SDK 1.2.0 全部新增方法)。
## 测试
- core:默认不裁剪(无声明/none/空)、通道 opt-in、注入点双向覆盖通道、
nil context/io 安全、cleaner 优先级与未知名回退。
- io:零值 opts 与历史 payload 逐键相同;text/中断/媒体三类注入标志位都落到
payload;旧方法仍生效。
- proc:validateContextPolicy 只接受 ""/none/prune,报错含位置与实际值;
**跨进程** e2e——testdata 插件经 io.injectText 送出三个标志位,断言它们穿过 RPC
到达内核。
- memory:模块缓存不可见时内嵌词库仍可用(分词与 POS 内容词均非空)、
落盘幂等、内容哈希稳定。
验证:go build ./... / go vet ./... / go vet -tags onnxruntime ./...
go test -short ./internal/memory/... ./internal/nlp/... ./internal/plugin/...
./internal/agent/{core,io}/... ./pkg/...
246 lines
9.6 KiB
Bash
246 lines
9.6 KiB
Bash
#!/usr/bin/env bash
|
||
set -euo pipefail
|
||
|
||
# 本脚本位于 deploy/packaging/,故仓库根在上两级。
|
||
#
|
||
# v0.7.2 的根目录清理把 package/build.sh 移到 deploy/packaging/build.sh
|
||
# (深度 1 → 2 层),但这行的 ".." 没跟着改成 "../..",于是 PROJECT_ROOT
|
||
# 变成了 <repo>/deploy:产物落进 deploy/build/、GUI 去找 deploy/cmd/gui。
|
||
# 跨平台构建从那次起一直是坏的(Makefile 的单平台 build 不走这里,所以没暴露)。
|
||
PROJECT_ROOT="$(cd "$(dirname "$0")/../.." && pwd)"
|
||
BUILD_DIR="${PROJECT_ROOT}/build"
|
||
VERSION="${VERSION:-$(git -C "$PROJECT_ROOT" describe --tags --dirty 2>/dev/null || echo "0.8.0")}"
|
||
COMMIT="${COMMIT:-$(git -C "$PROJECT_ROOT" rev-parse --short HEAD 2>/dev/null || echo "unknown")}"
|
||
BUILD_TIME="${BUILD_TIME:-$(date -u '+%Y-%m-%dT%H:%M:%SZ')}"
|
||
GO="${GO:-$(command -v go 2>/dev/null || echo "go")}"
|
||
LDFLAGS="-X gitcode.com/JianFeeeee/HomeAgent/internal/meta.Version=${VERSION} -X gitcode.com/JianFeeeee/HomeAgent/internal/meta.Commit=${COMMIT} -X gitcode.com/JianFeeeee/HomeAgent/internal/meta.BuildTime=${BUILD_TIME}"
|
||
|
||
TARGET="${1:-native}"
|
||
COMPONENT="${2:-all}"
|
||
|
||
# ---- platform matrix ----
|
||
# homed: linux/amd64 + linux/arm64 (CGO), macOS native-only (no osxcross),
|
||
# windows/amd64 (MinGW)
|
||
# waiter: all platforms (CGO-free, raw terminal mode is a no-op on non-Linux)
|
||
# gui: electron-builder handles cross-platform natively
|
||
|
||
case "$TARGET" in
|
||
native) GOOS="" GOARCH="" ;;
|
||
linux/amd64) GOOS=linux GOARCH=amd64 CC="${CC:-}" ;;
|
||
# arm64 必须同时给 CXX:gojieba 是 C++,缺 CXX 时 cgo 用宿主 g++ 编出
|
||
# x86-64 的 .o,链接时报 "Relocations in generic ELF (EM: 183)"(183 = aarch64)。
|
||
#
|
||
# 此处曾有一条注释写着「arm64 刻意不设 CXX」,理由是设了会报
|
||
# "file format not recognized"。那个判断是错的:那个报错的真因是
|
||
# cmd/{homed,waiter}/*.syso(x86-64 COFF Windows 资源对象)被链进了目标,
|
||
# 与 CXX 无关。四组对照:
|
||
# syso 在 + 无 CXX → Relocations in generic ELF (EM: 183)
|
||
# syso 在 + 有 CXX → 000000.o: file format not recognized
|
||
# syso 隐藏 + 无 CXX → Relocations in generic ELF (EM: 183)
|
||
# syso 隐藏 + 有 CXX → 成功,ELF aarch64
|
||
# 本脚本的 hide_syso_for_target 已处理前一个条件,这里补上后一个。
|
||
linux/arm64) GOOS=linux GOARCH=arm64 CC="${CC:-aarch64-linux-gnu-gcc}" CXX="${CXX:-aarch64-linux-gnu-g++}" ;;
|
||
darwin/amd64) GOOS=darwin GOARCH=amd64 CC="${CC:-}" ;;
|
||
darwin/arm64) GOOS=darwin GOARCH=arm64 CC="${CC:-}" ;;
|
||
# Windows 必须同时给 CXX:gojieba 是 C++,缺 CXX 时 cgo 回退到宿主 g++,
|
||
# 而宿主 g++ 不认 mingw 的 -mthreads,报 unrecognized command-line option。
|
||
windows/amd64) GOOS=windows GOARCH=amd64 CC="${CC:-x86_64-w64-mingw32-gcc}" CXX="${CXX:-x86_64-w64-mingw32-g++}" ;;
|
||
all)
|
||
"$0" linux/amd64 "$COMPONENT"
|
||
"$0" linux/arm64 "$COMPONENT"
|
||
"$0" darwin/amd64 "$COMPONENT"
|
||
"$0" darwin/arm64 "$COMPONENT"
|
||
"$0" windows/amd64 "$COMPONENT"
|
||
exit 0
|
||
;;
|
||
*)
|
||
echo "Unknown target: $TARGET"
|
||
echo "Usage: $0 [native|linux/amd64|linux/arm64|darwin/amd64|darwin/arm64|windows/amd64|all] [all|homed|waiter|initconfig|gui|payload]"
|
||
echo " [all|homed|waiter|initconfig|gui]"
|
||
exit 1
|
||
esac
|
||
|
||
if [ -n "${GOOS:-}" ]; then
|
||
SUFFIX="${GOOS}_${GOARCH}"
|
||
export GOOS GOARCH
|
||
fi
|
||
if [ -n "${CC:-}" ]; then
|
||
export CC
|
||
fi
|
||
if [ -n "${CXX:-}" ]; then
|
||
export CXX
|
||
fi
|
||
export CGO_ENABLED="${CGO_ENABLED:-1}"
|
||
|
||
mkdir -p "$BUILD_DIR"
|
||
|
||
# ---- .syso 隔离 ----
|
||
#
|
||
# cmd/{homed,waiter}/*.syso 是 Windows 资源对象(COFF,含图标/版本信息)。
|
||
# Go 会把同目录的 .syso 无条件链进任何目标,于是交叉编译到非 Windows 平台时:
|
||
# - linux/arm64、darwin/arm64 报 "unknown ARM64 relocation type 3"
|
||
# - 其他架构报 "file format not recognized"
|
||
# package-linux.sh 有 hide_syso(),但直接调本脚本时没有那层保护——
|
||
# 这正是 arm64 产物长期缺失的原因(曾被误判为缺 g++ 交叉编译器)。
|
||
SYSO_HIDDEN=()
|
||
hide_syso_for_target() {
|
||
[ "${GOOS:-}" = "windows" ] && return 0
|
||
local f
|
||
for f in "$PROJECT_ROOT"/cmd/homed/*.syso "$PROJECT_ROOT"/cmd/waiter/*.syso; do
|
||
[ -f "$f" ] || continue
|
||
mv "$f" "$f.hidden"
|
||
SYSO_HIDDEN+=("$f")
|
||
done
|
||
}
|
||
restore_syso_for_target() {
|
||
local f
|
||
for f in "${SYSO_HIDDEN[@]:-}"; do
|
||
[ -n "$f" ] && [ -f "$f.hidden" ] && mv "$f.hidden" "$f"
|
||
done
|
||
SYSO_HIDDEN=()
|
||
}
|
||
trap restore_syso_for_target EXIT
|
||
hide_syso_for_target
|
||
|
||
# ---- homed (CGO, sqlite3) ----
|
||
build_homed() {
|
||
local out="$BUILD_DIR/homed${SUFFIX:+_$SUFFIX}"
|
||
local plat="${GOOS:-linux}/${GOARCH:-amd64}"
|
||
|
||
if [ "$GOOS" = "darwin" ] && [ "${CC:-}" = "" ] && [ "$(uname)" != "Darwin" ]; then
|
||
echo "[SKIP] homed ${plat} — requires native macOS build (CGO + sqlite3, no osxcross)"
|
||
return
|
||
fi
|
||
if [ "$GOOS" = "windows" ]; then
|
||
out="${out}.exe"
|
||
fi
|
||
echo "[BUILD] homed ${plat} → $out"
|
||
# Go 用 CC 驱动 CGO 编译与链接,用 CC 指定的交叉工具链来决定目标架构。
|
||
# 必须同时 export CC 给 Go 的 CGO 代码生成器,否则 CGO_ENABLED=1 下的
|
||
# 目标文件与 host 的 ld 不兼容(如 arm64 的 .o 给了 x86_64 的 ld)。
|
||
local _cc="${CC:-cc}"
|
||
CGO_ENABLED=1 CC="$_cc" "$GO" build -trimpath -installsuffix dynlink \
|
||
-ldflags "$LDFLAGS" -o "$out" ./cmd/homed/
|
||
echo " OK ($(file "$out" | sed 's/.*: //') | $(du -h "$out" | cut -f1))"
|
||
}
|
||
|
||
# ---- waiter (cross-platform, CGO-free) ----
|
||
build_waiter() {
|
||
local plat="${GOOS:-linux}/${GOARCH:-amd64}"
|
||
local out="$BUILD_DIR/waiter${SUFFIX:+_$SUFFIX}"
|
||
if [ "$GOOS" = "windows" ]; then out="${out}.exe"; fi
|
||
|
||
echo "[BUILD] waiter ${plat} → $out"
|
||
CGO_ENABLED=0 "$GO" build -trimpath -installsuffix dynlink \
|
||
-ldflags "$LDFLAGS" -o "$out" ./cmd/waiter/
|
||
echo " OK ($(du -h "$out" | cut -f1))"
|
||
}
|
||
|
||
# ---- initconfig (CGO-free 配置初始化器) ----
|
||
#
|
||
# NSIS 安装包(installer.nsi:220 File "..\build\initconfig.exe")与
|
||
# package-linux.sh 的 stage_variant 都引用它,但此前 build.sh 从不构建它——
|
||
# Windows 安装包构建会直接失败在缺文件上。
|
||
build_initconfig() {
|
||
local plat="${GOOS:-linux}/${GOARCH:-amd64}"
|
||
local out="$BUILD_DIR/initconfig${SUFFIX:+_$SUFFIX}"
|
||
if [ "$GOOS" = "windows" ]; then out="${out}.exe"; fi
|
||
|
||
echo "[BUILD] initconfig ${plat} → $out"
|
||
CGO_ENABLED=0 "$GO" build -trimpath -installsuffix dynlink \
|
||
-ldflags "$LDFLAGS" -o "$out" ./cmd/initconfig/
|
||
echo " OK ($(du -h "$out" | cut -f1))"
|
||
}
|
||
|
||
# ---- linux-payload(给 Windows 安装器用的 Linux 包)----
|
||
#
|
||
# Windows 不再安装 homed.exe:homed 依赖 fd 继承 + 统一共享内存区的段内偏移
|
||
# 解引用,Windows 句柄模型无法表达(见 cmd/homed/platform_windows.go)。
|
||
# Windows 安装器改为引导到 WSL2,并把 **Linux 包**送进发行版里安装。
|
||
# 因此 Windows 安装包必须带上 Linux 产物——这一段就是把它暂存到
|
||
# build/linux-payload/(installer.nsi 从这里 File /r 打进安装包)。
|
||
#
|
||
# 复用 package-linux.sh 的产物,而不是在这里另行编译:WSL 里跑的就是普通
|
||
# linux/amd64,安装内容必须与 Linux 原生安装**完全一致**,否则又变成两个平台。
|
||
stage_linux_payload() {
|
||
local src="$PROJECT_ROOT/dist/linux"
|
||
local out="$BUILD_DIR/linux-payload"
|
||
|
||
rm -rf "$out"
|
||
mkdir -p "$out"
|
||
|
||
local found=0
|
||
for f in "$src"/*.deb "$src"/*.tar.gz; do
|
||
[ -f "$f" ] || continue
|
||
cp "$f" "$out/"
|
||
found=$((found + 1))
|
||
done
|
||
|
||
if [ "$found" -eq 0 ]; then
|
||
echo "[FAIL] build/linux-payload 为空:先运行 package-linux.sh 产出 dist/linux/*.deb|*.tar.gz" >&2
|
||
echo " (Windows 安装器会把这里的包送进 WSL 安装;空包等于装不上)" >&2
|
||
return 1
|
||
fi
|
||
echo "[BUILD] linux-payload ← $found 个包"
|
||
ls -1 "$out" | sed 's/^/ /'
|
||
}
|
||
|
||
# ---- gui (Electron) ----
|
||
build_gui() {
|
||
if [ -n "${GOOS:-}" ] && [ "$GOOS" != "$("$GO" env GOOS)" ]; then
|
||
echo "[SKIP] gui ${GOOS}/${GOARCH} — electron-builder handles cross-platform natively; run 'all' on CI host"
|
||
return
|
||
fi
|
||
|
||
local gui_dir="$PROJECT_ROOT/cmd/gui"
|
||
echo "[BUILD] gui → $BUILD_DIR/"
|
||
|
||
if [ ! -d "$gui_dir/node_modules" ]; then
|
||
echo " npm install..."
|
||
(cd "$gui_dir" && npm install --production)
|
||
fi
|
||
|
||
# 不传 --config:electron-builder 默认从 package.json 的 "build" 键读配置。
|
||
# 传 --config package.json 会让它把**整个** package.json 当配置校验,
|
||
# 于是 devDependencies / build / scripts 全被判为 "unknown property" 而失败。
|
||
(cd "$gui_dir" && npx electron-builder \
|
||
--linux --win --mac \
|
||
--x64 --arm64 \
|
||
-p never \
|
||
-o "$BUILD_DIR")
|
||
echo " OK"
|
||
}
|
||
|
||
# ---- dispatch ----
|
||
if [ "${GOOS:-}" = "windows" ]; then
|
||
# Windows 目标:构建的**不是** homed——它已放弃 Windows 原生支持。
|
||
# 需要的是:Linux 包(送进 WSL 安装)+ Windows 侧客户端(waiter CLI / GUI)。
|
||
case "$COMPONENT" in
|
||
all) build_waiter; stage_linux_payload; build_gui ;;
|
||
waiter) build_waiter ;;
|
||
payload) stage_linux_payload ;;
|
||
gui) build_gui ;;
|
||
homed|initconfig)
|
||
echo "homed/initconfig 不再提供 Windows 原生构建:请用 WSL2(或用 linux/amd64 目标)。" >&2
|
||
echo "原因见 cmd/homed/platform_windows.go。" >&2
|
||
exit 1
|
||
;;
|
||
*)
|
||
echo "Unknown component: $COMPONENT"
|
||
exit 1
|
||
;;
|
||
esac
|
||
else
|
||
case "$COMPONENT" in
|
||
all) build_homed; build_waiter; build_initconfig; build_gui ;;
|
||
homed) build_homed ;;
|
||
waiter) build_waiter ;;
|
||
initconfig) build_initconfig ;;
|
||
gui) build_gui ;;
|
||
*)
|
||
echo "Unknown component: $COMPONENT"
|
||
exit 1
|
||
;;
|
||
esac
|
||
fi
|