Files
homeagent-sdk/sdk/secrets.go
JianFeeeee 81a3efa4df feat(commondev): 主管式多仓库开发流水线 + sidecar 后端抽象(pi/zcode) (#3)
* feat(commondev): 主管式多仓库开发流水线 + sidecar 后端抽象(pi/zcode)

## 是什么

agent 统筹开发流程的插件:登记项目 → 开工程线(每条线一个隔离工作目录 +
一个 sidecar 子进程 + 一对通道)→ 投递任务 → 同会话续投 → 评审/合入。

38 个工具:project_*/branch_*/workdir_*/job_*/review_*/test_*/
endpoint_*/agent_*/pi_*/conflict_check。

## sidecar 后端抽象(本轮核心)

传输层(local/ssh)与后端(pi/zcode/自定义)**正交**,四个自由组合:

  driver.json 描述一个后端:script / cliPath / env / args / llmConfig
  三级查找:插件数据目录 → **随包 rawfile** → 内置 pi 描述
  占位符:{workdir} {dataDir} {pluginDir} {rawfile} {sessionId}

★ 内置 pi 回退**与默认后端解耦**(2026-10-17 修):原实现写
`if cli == defaultAgentCLI { return builtinPiDriver() }`,把"给谁兜底"
和"默认选谁"耦合到同一常量 —— 一旦有人改默认,pi 当场失去兜底,
显式 cli="pi" 开始报「驱动不存在」。现在判断字面 "pi"。

默认后端保持 **pi**(我们本地主用);交付方用 zcode 走两种局部开关:
 · 单线:commondev_branch_open(cli="zcode")
 · 按机器:commondev_endpoint_set(host=..., cli="zcode")

## zcode 接入(三条真机判据,全部要求真改工程文件)

 · TestZcodeFullPipeline(29-34s):随包 driver + 真实 ZCode CLI
 · TestZcodeOverSSH(39s):真 ssh + scp,远端 node 跑 zcode
 · TestZcodeOverSSHWithPerHostEndpoints(68s):两个 host 别名配不同
   cli_path,走端点表而不是全局 settings

★ 会话库必须隔离到工作区(sidecar.mjs 的 ensureWorkspaceSessionStore):
实测 ZCode 的会话库路径**硬编码 homedir()**,`ZCODE_DATA_BASE_DIR` 对它
完全无效(26 个会话全落全局库)。但 `<workdir>/.zcode/config.json` 的
`storage.sessionDbPath` **确实生效**。所以启动前写一份工作区配置,
一举解决:多线不共用历史 / 不污染全局 ~/.zcode / 删线不留孤儿会话。
只在不存在时写 —— 用户手工放的要尊重。

## 其他

 · rawfile:项目根 rawfile/ 默认全收,解到 <插件目录>/rawfile/,绝对路径拒绝
 · 凭证:命名引用 + ${ENV_VAR},独立 0600 文件,绝不进 config.db(0644)
 · secretshell:给不受信 agent 用的安全 shell(ackey + safeshell)
 · 冲突检查 / 评审判据 / 镜像 / 每条线独立 workdir(hash 命名,合并后删除)

判据 30+ 条,含 4 条「判据本身的判据」(防止判据假绿)。

* fix(sdk): 协议通道纪律 + hmapdev 模板升级 + 示例插件 stdout 污染

## 核心缺陷:插件往 stdout 打日志 = 污染 JSON-RPC 协议通道

子进程插件与内核用 stdout 传 NDJSON 帧,stderr 才是日志通道。
脚手架模板(及 4 个示例插件)用 `fmt.Printf` 打日志 ⇒ 内核收到非 JSON 文本:

    [proc] weather 收到非法 JSON 帧(21 字节): invalid character 'i'

**生产实测 1038 条**(huawei_smarthome 720 / weather 113 / rss 103 / calendar 102)。
后果不只是日志噪音:那一行日志被**丢弃**,插件看起来"没启动"。

修法:
- hmapdev 模板 `fmt.Printf` → `log.Printf`(9 处)
- 示例插件 4 个 14 处:ai_image(2) calendar(5) rss(4) weather(3)
  + 补 "log" import
- 内核侧(主仓)同步让报错可定位:内容摘要 + 可能原因 + 修法

判别法:`package main` = 子进程(协议通道,禁用 stdout 打日志);
普通库包 = 进程内插件(编译进内核,写真实终端,**不是**缺陷)——
`internal/plugins/cli` 的 `fmt.Println` 属后者。

## hmapdev

- `cmd_build.go` +136:平台产物精确匹配(`--target` 是**append** 语义,
  原脚本 `ls dist/*.hmap | head -1` 会按字典序抓到 amd64,
  **导致 arm64 包里装的是 x86-64 二进制**,且退出码 0、校验和通过)
- `cmd_init.go` +46:脚手架 stdio 纪律
- `templates/proc_main.go.tmpl`:补齐 mgrStop/mgrStart/mgrIsRuntimeStopped
  三态能力(插件管理器运行态停启)
- `templates/plg.json.tmpl` 删除(合并进 cmd_init)

## 判据

- `scaffold_stdout_test.go`(3 条):扫模板生成的代码不得写 stdout。
  ★ 判据自身先假红过一次:**模板的注释里就写了 `fmt.Printf`** ⇒
  必须 `stripTemplateComments()` 之后才判
- `example_stdout_test.go`(2 条):扫全部 20 个子进程示例插件,
  报错给**文件:行号**;变异咬住并给出准确行号
- `package_examples_test.go`(2 条):**执行真实打包脚本**
  (第一版测的是 hmapdev 而不是脚本 ⇒ 变异不咬)
- `cmd_build` / `cmd_init` 新判据

## 其他

- sdk/settings.go +15(三态能力透传)
- `docs/versions.md` +§示例插件协议通道纪律(含生产 1038 条实测表格)
- `skills/homeagent-plugin-dev/SKILL.md` +§协议通道纪律(正误代码对比)

* fix(examples): 恢复 go.mod 相对路径 + 移除 plg.json 的 sdk 固定(修 CI 红)

CI 上 `Examples (linux/amd64)` 与 `(darwin/arm64)` 双红,只有两个失败:

  ✗ commondev   构建失败
  ✗ editdoc     构建失败
  error: 项目声明 sdk=1.4.0,但本地 SDK 存储里没有这个版本

其余 20 个示例全部成功 —— 说明不是通用问题,而是这两个被改坏了。

## 根因(两个叠加)

**① go.mod 被本机绝对路径污染**

我在上一个提交里用 `git add -A`,把本机 `go build` **自动改写**过的
go.mod 一并提交了:

  require github.com/JianFeeeee/homeagentsdk v1.4.0
  replace github.com/JianFeeeee/homeagentsdk => /root/.homeagent/hmapdev/sdk/v1.4.0

基线(origin/main)是:

  require github.com/JianFeeeee/homeagentsdk v0.0.0
  replace github.com/JianFeeeee/homeagentsdk => ../../

本机那个目录真的存在 ⇒ 本地全绿;CI 没有 ⇒ 必红。

**② plg.json 声明了 `"sdk": "1.4.0"`**

一声明版本,hmapdev 就去**本地 SDK store** 找它,找不到直接拒绝构建。
全仓 20+ 示例**都不声明**,只有我改过的这两个声明了。
示例的正确依赖表达是 go.mod 的 `v0.0.0` + `replace ../../`。

## 修法

两个文件都恢复到与其余示例一致的写法。

## 判据(3 条,都是新加的)

 · `TestExampleGoModHasNoAbsoluteReplace`:任何示例 go.mod 不得含
   `/root/`、`/home/`、`/Users/`、`C:\`
 · `TestExampleGoModUsesRelativeSDKReplace`:replace 必须是相对路径 `../../`
 · `TestExamplePlgJsonDoesNotPinSDKVersion`:plg.json 不得声明 sdk

变异 2/2 咬住(重新引入绝对路径 / 重新声明 sdk,都准确报出文件路径)。

## 本地验证(模拟 CI 干净环境)

用干净 HOME 跑 `package/build-examples.sh`:
 · 修复前:成功 18 / 失败 4(commondev, editdoc, browser, rss)
 · 修复后:成功 20 / 失败 2(browser, rss —— **本机代理不通**,
   `proxy.golang.org` 超时;用本地 modcache 验证这两个可正常构建)

即 22/22 源码都能构建,CI 有网络不受影响。

## 教训

`git add -A` 会把「构建工具自动改写的文件」一起提交。
提交前必须 `git status` 逐个看,尤其 go.mod / go.sum。

---------

Co-authored-by: JianFeeeee <JianFeeeee@users.noreply.gitcode.com>
2026-10-17 19:44:15 +08:00

112 lines
5.2 KiB
Go
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

package sdk
// SecretsAPI 是插件访问**内核变量库**的接口。
//
// ## 为什么要有它(去重)
//
// 在此之前,commondev 插件自带了一整套加密存储(`secrets.json` +
// AES-256-GCM + 别名表 + `${ENV}` 解析),与内核的 `internal/security`
// **完全重复**:
//
// 内核 security.Store 插件 unifiedSecretFile
// 落盘 secrets.json secrets.json
// 加密 AES-256-GCM AES-256-GCM
// 别名 HMAC 自动派生 用户指定
// 引用语法 @{sec_xxx} @{name}
//
// 重复的代价不只是代码量:**两套变量库互不可见** —— 内核拦截时登记的
// 变量,插件看不到;插件登记的,内核拦截不认识。结果是同一个凭据可能
// 在两处各存一份,而使用者不知道哪个才是权威。
//
// ## ★ 安全设计:明文的边界
//
// 内核的硬约束 S1 是「不提供取回明文的接口」—— 理由是一旦 LLM 能取回,
// 它就能把明文写回上下文,整层防护作废。
//
// 那为什么插件可以拿到明文?因为**边界不在插件侧**:
//
// ① 内核在**插件 handler 之前**就把工具参数里的 @{别名} 填好了
// (`StageHost.ExecuteTool` → `security.FillMap`)—— 插件本来
// 就能从 args 里读到明文,这是设计使然(否则插件无法用凭据)。
// ② 明文若被插件**返回**给内核,会被两处拦回别名:
// · `ContextEvent` 的 scrub(记忆/历史侧路)
// · provider 装饰器(出向,LLM 永不看到)
//
// 两条都有判据钉住(`leakback_test.go`)。所以:
//
// **暴露 Fill 不新增泄漏面** —— 它不是「开了一个口子」,
// 而是把「本来就存在的能力」从各插件自己实现改为统一接口。
//
// ⚠️ 但绝不能暴露 `Reveal(alias) -> 明文` 这样的**按名字直取**接口:
// 那会让插件(以及通过插件操纵它的 LLM)枚举别名并逐个取值。
// 本接口刻意**没有**这样的方法 —— 见下面 Fill 与 List 的签名。
//
// ## 与 Encrypt/Decrypt 的区别
//
// 插件常把凭据存进自己的配置文件(如 pi 的 `auth.json`)。那些文件权限
// 0600 但**明文落盘**。`Encrypt`/`Decrypt` 提供 at-rest 加密,
// 密钥由内核统一管理,插件不必自持密钥(自持会让密钥散落、无法轮换)。
type SecretsAPI interface {
// Store 把一个凭据登记进内核变量库,返回其**别名**。
//
// 之后在工具参数里写 @{别名},内核会在调用插件前换回真实值。
//
// ★ 只返回别名,不回显明文 —— 避免插件(或它转述给 LLM 的内容)
// 顺带把明文带出去。
//
// note 是给人看的用途说明(如「Gitea 推送令牌」)。
Store(value, note string) (alias string, err error)
// List 列出变量库的元信息(别名/来源/备注/命中次数)—— **不含明文**。
//
// ★ 刻意返回元信息而非值:调用方拿不到明文,只能引用。
List() []SecretInfo
// Forget 按别名删除一个变量。
//
// ★ 变量库**不自动淘汰**(用户明确):泄漏控制靠主动删除,不靠超时。
// 所以凭据用完后应主动删。
Forget(alias string) error
// Fill 把一段文本里的 @{别名} 换成明文。
//
// 用途:插件需要把明文喂给**不经过内核参数回填**的地方 ——
// 例如 commondev 的 enc_shell 要把命令经 **stdin** 送给 bash
//(不是 argv,避免本机其他进程从 /proc/<pid>/cmdline 读到明文)。
//
// ★ 为什么这个方法是安全的(而不是"开了个取回明文的口子"):
// 插件**本来就**能从 `args` 里拿到内核填好的明文 ——
// 内核在 handler 之前就填了。Fill 只是让插件能对**自己构造的文本**
// 做同样的事(如读文件内容、拼一段脚本)。
//
// 它**不是**按名字直取:要填谁必须先在文本里写出那个别名,
// 而别名本身不泄漏明文(HMAC 派生)。想枚举就得先 List,
// 而 List 只给元信息 —— 拿到别名后仍只能用,不能读回。
//
// 返回替换处数与用到的别名(便于插件做输出脱敏时的比对)。
Fill(text string) (out string, replaced int, aliases []string)
// Encrypt 加密一段字节用于插件自己落盘(密钥由内核管理)。
// 返回的串带版本前缀,可直接存文件。
Encrypt(plain []byte) (string, error)
// Decrypt 解密由 Encrypt 产生的串。
Decrypt(stored string) ([]byte, error)
// Available 报告变量库是否可用(内核未启用安全模块时为 false)。
//
// ★ 插件应据此**响亮失败**而不是静默降级 —— 例如
// 「密钥不可用 ⇒ 拒绝明文存储」。
Available() bool
}
// SecretInfo 是一条变量的元信息(**不含明文**)。
type SecretInfo struct {
Alias string `json:"alias"`
Source string `json:"source"` // intercepted | submitted
Note string `json:"note,omitempty"`
CreatedAt string `json:"created_at"`
UpdatedAt string `json:"updated_at,omitempty"`
Hits int `json:"hits,omitempty"`
}