mirror of
https://gitcode.com/JianFeeeee/HomeAgent.git
synced 2026-11-06 09:17:31 +00:00
feat(update): 差分 OTA + 安装形态分派 + 事件总线统一受安全监控
三条主线，由 e2e 实测驱动。 ## 一、差分 OTA（internal/update/delta.go） 实测：改一行逻辑，88MB 的二进制逐字节只差 80 字节，而 OTA 一直下整包。 用 rsync 族的滚动哈希块匹配（4KB 粒度），不是 bsdiff —— 后者需 17×N 峰值内存（88MB → 1.5GB），而升级恰可能发生在内存紧张时。 真实二进制实测：88,036,728 字节 → 补丁 77,316 字节（0.088%）。 三道闸：应用前验旧文件 sha256（错基线会静默产出垃圾）、应用后验结果 sha256、COPY/LITERAL 越界防护。任何失败**退回整包**，不向上抛 —— 差分是优化，不是可用性前提。 接入：Source.Resolve 优先试 delta；CheckRelease 按 -from-<commit8>.delta 匹配（不猜基线）；CLI 新增 -make-delta；打包脚本 build_delta（需 PREVIOUS_HOMED），delta 进 SHA256SUMS。 ## 二、安装形态分派（internal/update/install.go + channel.go） 内核对「能不能自己升级」此前只有一个答案：直接替换二进制。而 deb/rpm 形态下那样做会让 dpkg/rpm 数据库与实际内容不一致（下次 apt upgrade 覆盖回旧版，或 dpkg 拒绝后续升级）。 新增探测：deb/rpm/tar/container/source 五类形态 + 变体（full/server/ client/toolchain）+ 目录写权限。判据全部来自可观测系统事实（dpkg 的 info 目录、容器标记文件），不做路径推断。 三端统一走 PlanUpgrade 分派；形态闸门放在**下载 880MB 之前**。 ## 三、事件总线统一受安全监控（internal/events + security） 用户指正：「eventbus 上所有事件都要接受安全模块的监控」。 此前 EventPolicy 只被 internal/sdk/events.go 调用，而那是四条路径中的 一条。s.Publish / s.Subscribe / s.EventBus() 拿的是裸 *events.Bus， 任何插件都能绕过策略发任意事件（含伪造内核事件）。 现在闸门在 Bus.Publish/Subscribe 本体上（Guard 接口注入，避免 events ↔ security 成环），四条路径全部覆盖。sdk.EventBus() 改返回带身份的 BusHandle。内核身份免授权，但载荷照样过凭据闸门。 白名单按主体收窄：agent_output/stage/terminal_output 只允许承载者 （webui/cli/agentcli）发布 —— 它们是内核向外的输出面，谁都能发就等于 能伪造 agent 说的话。 ## e2e 暴露并修掉的三个真实回归 [bus] subscribe denied: pluginmgr type=update_request [bus] subscribe denied: skillmgr type=skill_detected 前两个让升级请求静默丢失、职责链交接断掉。内部协作事件必须可订阅 （安全边界在发布侧，订阅只是「听得到」）。 ## 顺带的止血修复 - 回滚判据从 `--version` 改为 digest：旧内核（1.3.x 及以前）没有该 flag，而它恰是最常见的回滚目标 —— 原逻辑让「从旧版升级失败」永久 无法回滚。 - CopyFile 补 fsync（替换 homed 本体时掉电会留半截文件）。 - restore 完整还原才清 marker（原先先清再还原，还原失败就失去第二次 自愈机会）。 - 回滚时移除升级中新增的 depgraph（否则「旧 homed + 新 depgraph」 会因 digest 不匹配崩溃循环）。 - homed-upgrade 不再硬编码 systemctl restart（丢 guard 状态、unit 名 漂移）；改用内核已有的 restartCh → exit 42 语义。 - homed-upgrade 不再用 CGO_ENABLED=0 编却依赖 go-sqlite3（stub 下 静默失效，该路径从未工作过）；改用 internal/config。 - 服务单元补 User=hologramagent + 三条安装路径补建用户（此前发行物里 完全没有落实降权）。 - rpm 的 fpm 调用补 --after-install（此前 rpm 装完根本不建用户）。 ## 判据 新增 30 条：差分 8（往返/压缩比/错基线/截断/篡改/边界）、通道 8、 执行器 6、事件闸门 8、按主体授权 8。全仓 go test ./... 0 失败。
This commit is contained in:
JianFeeeee
@ -42,8 +42,34 @@ var contentPOS = map[string]bool{
|
||||
var (
|
||||
jiebaOnce sync.Once
|
||||
jiebaInst *gojieba.Jieba
|
||||
|
||||
// jiebaDataDir 是内核数据目录（供外置词库查找，第 4 项）。
|
||||
//
|
||||
// 为何用包级变量而不是给 GetJieba() 加参数：它是**全局单例**
|
||||
// （jiebaOnce），调用方散布在 memory/indexer/knowledge 多处，
|
||||
// 加参数会让每个调用点都要传一遍 dataDir，而那些地方未必拿得到。
|
||||
//
|
||||
// 未设置时为空 ⇒ 只查系统目录与内嵌词库（与旧行为一致）。
|
||||
jiebaDataDirMu sync.RWMutex
|
||||
jiebaDataDir string
|
||||
)
|
||||
|
||||
// SetJiebaDataDir 由内核启动时注入数据目录（供外置词库覆盖）。
|
||||
//
|
||||
// **必须在 GetJieba() 首次调用之前调**：首次调用会初始化单例并
|
||||
// 固定词库目录，之后再改不会生效。
|
||||
func SetJiebaDataDir(dir string) {
|
||||
jiebaDataDirMu.Lock()
|
||||
defer jiebaDataDirMu.Unlock()
|
||||
jiebaDataDir = dir
|
||||
}
|
||||
|
||||
func jiebaDataDirValue() string {
|
||||
jiebaDataDirMu.RLock()
|
||||
defer jiebaDataDirMu.RUnlock()
|
||||
return jiebaDataDir
|
||||
}
|
||||
|
||||
func GetJieba() *gojieba.Jieba {
|
||||
jiebaOnce.Do(func() {
|
||||
defer func() {
|
||||
@ -68,11 +94,11 @@ func GetJieba() *gojieba.Jieba {
|
||||
}
|
||||
|
||||
func jiebaDictDir() string {
|
||||
// 首选内嵌词库：它是产物的一部分，与二进制同版本、不依赖宿主环境。
|
||||
// 首选外置词库（DataDir 与系统目录）→ 退回内嵌词库落盘。
|
||||
//
|
||||
// 以前这里只猜 GOMODCACHE/GOPATH/~/go/pkg/mod，部署机上通常没有 Go 模块缓存，
|
||||
// 于是分词与关键词提取会**静默退回空列表**（详见 jieba_embed.go 的说明）。
|
||||
if dir, err := materializeJiebaDict(); err == nil && dir != "" {
|
||||
if dir, err := materializeJiebaDict(jiebaDataDirValue()); err == nil && dir != "" {
|
||||
return dir
|
||||
}
|
||||
log.Printf("[jieba] writing embedded dictionary failed, falling back to module cache lookup (embedded failure usually means cache dir is not writable)")
|
||||
|
||||
@ -45,16 +45,41 @@ var jiebaDictFiles = []string{
|
||||
"stop_words.utf8",
|
||||
}
|
||||
|
||||
// materializeJiebaDict 把内嵌词库落盘，返回目录路径。
|
||||
// materializeJiebaDict 返回可用的词库目录（gojieba 只接文件路径）。
|
||||
//
|
||||
// gojieba 的 C++ API 只接受**文件路径**（NewJieba 会对每个路径 os.Stat，
|
||||
// 缺失就 panic），所以必须先落盘再传路径。
|
||||
// ## 取值顺序（第 4 项：数据外置）
|
||||
//
|
||||
// 落盘位置与幂等性：
|
||||
// - 用内容哈希命名目录：词库升级后不会复用旧文件（否则会出现「新旧词库混用」
|
||||
// 这种最难查的一类问题——分词结果与版本对不上）。
|
||||
// - 已存在且大小一致就跳过写入：正常启动只做几次 stat。
|
||||
func materializeJiebaDict() (string, error) {
|
||||
// ① 部署目录 <DataDir>/jiebadict/（5 个文件齐备且非空）
|
||||
// ② 系统目录 /usr/share/hologram/jiebadict/
|
||||
// ③ 内嵌词库落盘（向下兼容：旧部署里二进制内就有）
|
||||
//
|
||||
// ## 为何要允许外置（这是 OTA 体积问题的根）
|
||||
//
|
||||
// 词库 12MB 是**数据**，不是代码。它 #go:embed 进二进制后：
|
||||
//
|
||||
// · 二进制 88MB 里有 59MB 是模型+词库，改一行代码要重下 88MB
|
||||
// · 而 patch 版本之间这两个目录**从未变过**（实测 v1.3.8→v1.3.13
|
||||
// 的 git log 里零提交）
|
||||
//
|
||||
// 外置后：词库可以独立发版，二进制只剩代码；掉电风险也不受影响
|
||||
// （词库坏了只是分词变差，不阻断启动）。
|
||||
//
|
||||
// ★ 外置目录只要**文件齐备且非空**就用，不做哈希校验：
|
||||
// 词库是数据不是可执行代码，装错版本最多分词效果差；而哈希校验会让
|
||||
// “用户手工换了一份词库”直接不可用，那是不必要的刚性。
|
||||
func materializeJiebaDict(dataDirs ...string) (string, error) {
|
||||
// ① ② 部署目录优先（带 DataDir 的调用方由 cut.go 传入）
|
||||
for _, d := range append(dataDirs, "/usr/share/hologram") {
|
||||
if d == "" {
|
||||
continue
|
||||
}
|
||||
cand := filepath.Join(d, "jiebadict")
|
||||
if externalJiebaDictComplete(cand) {
|
||||
return cand, nil
|
||||
}
|
||||
}
|
||||
|
||||
// ③ 退回内嵌（保持旧行为，不破坏任何现有部署）
|
||||
sum, err := jiebaDictDigest()
|
||||
if err != nil {
|
||||
return "", err
|
||||
@ -89,6 +114,20 @@ func materializeJiebaDict() (string, error) {
|
||||
return dir, nil
|
||||
}
|
||||
|
||||
// externalJiebaDictComplete 判断外部目录里的 5 个词库是否齐备且非空。
|
||||
//
|
||||
// ★ 只查“存在且非空”，不跟内嵌版本比大小：外置的意义就是允许
|
||||
// 词库独立升级，拿内嵌版本当基准会让升级永远不生效。
|
||||
func externalJiebaDictComplete(dir string) bool {
|
||||
for _, name := range jiebaDictFiles {
|
||||
st, err := os.Stat(filepath.Join(dir, name))
|
||||
if err != nil || st.IsDir() || st.Size() == 0 {
|
||||
return false
|
||||
}
|
||||
}
|
||||
return true
|
||||
}
|
||||
|
||||
// jiebaDictDigest 对全部内嵌词库内容求哈希，作为落盘目录名的一部分。
|
||||
func jiebaDictDigest() (string, error) {
|
||||
h := sha256.New()
|
||||
|
||||
102
internal/memory/jieba_external_test.go
Normal file
102
internal/memory/jieba_external_test.go
Normal file
@ -0,0 +1,102 @@
|
||||
package memory
|
||||
|
||||
// 外置词库的判据（第 4 项：数据外置）。
|
||||
//
|
||||
// 这一项的直接收益是 OTA 体积：词库 12MB 与 ONNX 模型 47MB 是数据而非代码，
|
||||
// 却 #go:embed 进了 88MB 的二进制；而 patch 版本之间它们从未变过。
|
||||
|
||||
import (
|
||||
"os"
|
||||
"path/filepath"
|
||||
"testing"
|
||||
)
|
||||
|
||||
// ① 外部目录齐备时**优先**用它（而不是内嵌落盘）。
|
||||
func TestMaterializeJiebaDict_PrefersExternal(t *testing.T) {
|
||||
dataDir := t.TempDir()
|
||||
dictDir := filepath.Join(dataDir, "jiebadict")
|
||||
if err := os.MkdirAll(dictDir, 0755); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
// 造 5 个非空文件（内容不重要：外置不做哈希校验）
|
||||
for _, name := range jiebaDictFiles {
|
||||
if err := os.WriteFile(filepath.Join(dictDir, name), []byte("external-"+name), 0644); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
}
|
||||
|
||||
got, err := materializeJiebaDict(dataDir)
|
||||
if err != nil {
|
||||
t.Fatalf("不应失败: %v", err)
|
||||
}
|
||||
if got != dictDir {
|
||||
t.Errorf("★ 应优先使用外置目录 %s，实际 %s", dictDir, got)
|
||||
}
|
||||
}
|
||||
|
||||
// ② 外置目录**缺一个文件就不算齐备**，必须退回内嵌。
|
||||
//
|
||||
// 判据重点：半套词库会让分词结果不可预测（缺 stop_words 会把停用词
|
||||
// 当成普通词），比"整份退回内嵌"更糟。
|
||||
func TestMaterializeJiebaDict_IncompleteExternalFallsBack(t *testing.T) {
|
||||
dataDir := t.TempDir()
|
||||
dictDir := filepath.Join(dataDir, "jiebadict")
|
||||
if err := os.MkdirAll(dictDir, 0755); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
// 只放 4 个（少一个）
|
||||
for i, name := range jiebaDictFiles {
|
||||
if i == 0 {
|
||||
continue
|
||||
}
|
||||
if err := os.WriteFile(filepath.Join(dictDir, name), []byte("x"), 0644); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
}
|
||||
|
||||
got, err := materializeJiebaDict(dataDir)
|
||||
if err != nil {
|
||||
t.Fatalf("退回内嵌不应失败: %v", err)
|
||||
}
|
||||
if got == dictDir {
|
||||
t.Error("★ 缺文件的外置目录不得被采用")
|
||||
}
|
||||
}
|
||||
|
||||
// ③ 空文件等同缺失（磁盘写坏的典型形态）。
|
||||
func TestExternalJiebaDictComplete_RejectsEmptyFile(t *testing.T) {
|
||||
dir := t.TempDir()
|
||||
for _, name := range jiebaDictFiles {
|
||||
if err := os.WriteFile(filepath.Join(dir, name), []byte{}, 0644); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
}
|
||||
if externalJiebaDictComplete(dir) {
|
||||
t.Error("★ 全零字节的词库不得被判为齐备")
|
||||
}
|
||||
// 填上内容后应变齐备
|
||||
for _, name := range jiebaDictFiles {
|
||||
if err := os.WriteFile(filepath.Join(dir, name), []byte("x"), 0644); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
}
|
||||
if !externalJiebaDictComplete(dir) {
|
||||
t.Error("非空词库应判为齐备")
|
||||
}
|
||||
}
|
||||
|
||||
// ④ SetJiebaDataDir 的读写不产生数据竞争（配合 -race）。
|
||||
func TestSetJiebaDataDir_RaceFree(t *testing.T) {
|
||||
defer SetJiebaDataDir("")
|
||||
done := make(chan struct{})
|
||||
go func() {
|
||||
for i := 0; i < 100; i++ {
|
||||
SetJiebaDataDir("/tmp/x")
|
||||
}
|
||||
close(done)
|
||||
}()
|
||||
for i := 0; i < 100; i++ {
|
||||
_ = jiebaDataDirValue()
|
||||
}
|
||||
<-done
|
||||
}
|
||||
Reference in New Issue
Block a user