mirror of
https://gitcode.com/JianFeeeee/HomeAgent.git
synced 2026-10-03 07:43:58 +00:00
c49c06e0cb
记忆系统在 1.1.0 支持了二进制多媒体节点，但那条链路只对**内核自己**开放： 用户在 qq 发图能落进 CAS、能被记忆引用，而插件调 Commit / DocMemory().Insert 交进来的媒体一律无处安放。原因是三层都断着，且**每一层都不报错**。 ## 一、公开 SDK：补上媒体的表达能力（全部新增，无签名变更） - `Triple` += `SentenceText`、`MediaDigests` - `Doc` += `MediaDigests`、`Attachments`；新增 `MediaAttachment` - `TextEvent` += `Attachments` - `DocMemoryAPI` += `InsertWithMedia` - `IOInjector` += `InjectInputMedia` / `InjectInputMediaSync` / `InjectInterruptMedia` - `PluginSDK` 补上一直缺失的 `SetToolBlocks` 包装（接口里有、便捷方法里没有） `MediaAttachment` 一个类型服务两个方向：给 `Data`+`MIME` 是新内容（CAS 按字节 去重），只给 `Digest` 是引用已有内容。读路径**只回元数据不回字节**——一次检索 可能命中几十份媒体，全塞回去会把跨进程消息撑爆。 媒体注入不能搭 `SetToolBlocks` 的车：那个方法只在工具处理函数内部可用，且媒体 要等下一条 tool message 才到模型手上。插件主动发起一轮带媒体的对话、以及中断 注入，需要自己的签名，且媒体在**本轮**就送到模型。 ## 二、内核桥接层：原先在静默裁字段 `internal/sdk/memory_impl.go` 此前只搬自己认识的几个字段，其余丢弃且返回 nil： - 图记忆丢 `Confidence`/`SubjectType`/`ObjectType`/`SentenceText`，又走 `Commit` 而非 `CommitWithMedia`（不回 sentenceIDs）→ 媒体绑定链 `SentenceText → sentences → sentence_id → media_refs` 一步都走不通，插件即便按格式写好标记也永远挂不上； - 知识库 `Query` 只回 ID/Title/Content，`Insert` 只写这三个；`Remove` 不解引用， 于是那些媒体永久处于「被引用」状态，GC 收不掉、磁盘只增不减 （内核的归档路径 `releaseDocMedia` 做了这一步，插件路径漏了同一步）。 规则改为：**内部结构有的字段一律透传**。标记格式处理作为包级私有辅助留在桥接 层自己手里，但必须与内核 `mediaSummaryForEvent` 字节兼容——两边要能互读对方 写下的标记。 标记插入必须在 `ds.Insert` **之前**（向量索引取 `Summary + " " + Content`， 之后补的标记检索不到），引用绑定必须在**之后**（owner_id 是 Insert 生成的 ID）。 ## 三、跨进程链路：不接线就是全体外部插件编译失败 `go test` 直接把这一层拍出来了——`procIO does not implement sdk.IOInjector`。 公开接口加方法后，生成模板不跟上，**每个外部插件都编不过**，是硬失败不是软降级。 六处接线：`protocol.go` 四个 method 常量、`capability.go` 能力归属、 `corehandler.go` 四个分派分支、`proc_core.go` 委托、`proc_main.go.tmpl` 模板侧 实现、以及三个测试替身。 ## 四、统一输入主干：把模态从「函数选择」降级为「字段」 `processTextInput` / `processMediaInput` 合并为 `processInput`。这个分叉是历史 产物而非设计：`processTextInput` 本来就处理媒体（`bindEventMedia` + `mediaSummaryForEvent`，与媒体路径尾部完全相同），`process()` 只看 `stageCtx.Extra["media_blocks"]`、根本不认识 `evt.Type`。模态是输入的**属性**， 不是输入的**种类**。 媒体路径由此获得它一直缺的六项：去重、`no_memory`、通道 `Cleaner`、中断语义、 `_consolidation_` 路由、正确的 `EventRawInput`。 最后一项是个真 bug：媒体路径发布 `"content": evt.Payload`（一个 map），而 `webui/handler.go` 断言 `.(string)` → 断言失败、`content == ""`、提前返回。 **用户发的图从来没出现在 WebUI 聊天记录里。** `media_blocks` 同时接受 `[]agentAPI.ContentBlock` 与 `[]pubsdk.ContentBlock`： 字段一致但 Go 不自动转换，只认一种的后果是另一种被静默丢弃。 ## 五、模型可调用的三个工具 `memory_commit` 的 `sentence_text` **从未暴露给模型**，而它是绑定链上的必经环节； 连同 `media_digests` 一起补进 JSON schema 与工具文档。`doc_commit` 加 `media_digests`。`doc_query` 把关联媒体单独一行附在结果末尾（正文按 2000 字截断， 标记通常就在尾部）。 标记由**内核**生成而非插件/模型拼装：要求调用方知道格式，等于让一个拼写错误 静默切断引用绑定，而全链路无人报错。 ## 六、WebUI 上传走真实媒体链路 图片/音频读回字节拼 data URL 注入 `media_blocks`（8MB 上限，超限退回按路径处理）。 此前只注入一句「文件已保存到 <路径>」，指望模型自己调 `files_read`——但那返回 文本，图片字节对模型永远不可见。附件类型识别扩展到 audio 并在缺 Content-Type 时按扩展名兜底（判错不只是卡片样式问题，图片被当普通文件就进不了视觉链路）。 ## 测试 - `internal/sdk/memory_impl_test.go`（12 例，此前该包**没有任何测试文件**） - `internal/agent/core/inputunify_test.go`（统一主干 + 双静态类型 + 三工具媒体） - `third_party/homeagent-sdk/sdk/stress_test.go`（13 例并发压测） 压测抓到两处**真**竞态（不是理论风险）：`PluginSDK` 的 API 字段与 `autoRestart` 无锁，而写方（内核注入 API、插件 `SetAutoRestart`）与读方（插件后台 goroutine 注入、内核 registry 读 `AutoRestart`）天然跨 goroutine。加 `apiMu` 修掉；约定 只在持锁期间取字段值，取完即释放再调用——持锁调用会把 `InjectInputSync` 这类 阻塞到 agent 回复（可达数分钟）的方法与 `SetIOInjector` 串起来，让插件重载卡死。 测试还抓出两个自身缺陷：`bindDocMedia` 把同一份媒体数两次（`AddRef` 幂等所以表 是对的，但日志说「绑定 2 个」而实际 1 条——误导后续排查），以及用单字符实体名 时 `validEntityName` 静默跳过、`Commit` 返回 nil 却什么都没写。 存量插件不需要改一行也不需要重编：新增方法由插件调用、内核实现，不调就不受影响。 17 个 example 插件源码零改动通过类型检查。
76 lines
3.7 KiB
Go
76 lines
3.7 KiB
Go
// Package meta 收集 HomeAgent SDK 的全部元数据。
|
||
// 版本号应与核心 meta.Version 保持一致。
|
||
package meta
|
||
|
||
var (
|
||
// Version 是 HomeAgent SDK 版本号。
|
||
// 通过 `-ldflags="-X gitcode.com/JianFeeeee/homeagent-sdk/meta.Version=vX.Y.Z"` 注入。
|
||
//
|
||
// 版本号语义：**SDK 版本跟随核心的中版本，patch 位恒为 .0**。
|
||
// 整条核心 1.1.x 线（1.1.0、1.1.1、1.1.7…）共用 SDK 1.1.0；
|
||
// 只有核心进入 1.2.0 这种中版本跃迁时 SDK 才升到 1.2.0。
|
||
// 这样插件开发者只需关心「我在为哪个中版本写插件」，
|
||
// 不必跟着核心的每个 bugfix 换 SDK 依赖（见 核心仓 docs/git-branching.md §七）。
|
||
//
|
||
// 1.0.0：插件运行模型从 C ABI 动态库改为子进程 + 共享内存。
|
||
// 公开 SDK 接口零改动，但产物形态变了（plugin.so → plugin.bin）。
|
||
// 1.1.0：多模态贯通插件边界。**全部是新增，无签名变更**：
|
||
// - Triple.SentenceText / Triple.MediaDigests
|
||
// - Doc.MediaDigests / Doc.Attachments、MediaAttachment
|
||
// - TextEvent.Attachments
|
||
// - DocMemoryAPI.InsertWithMedia
|
||
// - IOInjector 的 InjectInputMedia / InjectInputMediaSync /
|
||
// InjectInterruptMedia；PluginSDK 补上缺失的 SetToolBlocks 包装
|
||
// 同版修掉两处并发竞态（sdk/stress_test.go 的 -race 实证，不是理论风险）：
|
||
// PluginSDK 的 API 字段与 autoRestart 标志此前无锁，而写方
|
||
// （内核注入 API、插件 SetAutoRestart）与读方（插件后台 goroutine
|
||
// 注入、内核 registry 读 AutoRestart）天然跨 goroutine。
|
||
// 存量插件不需要改一行也不需要重编：新增方法由**插件调用、内核实现**，
|
||
// 不调就不受影响。想用新字段的插件重编即可。
|
||
//
|
||
// ❗main 分支上此值是**下一个未发布中版本**（1.1.x 线在发布中，所以 main 是 1.2.0）；
|
||
// 已发布的值看对应的 release/vX.Y.x 分支与 tag（如 release/v1.1.x 上是 1.1.0）。
|
||
Version = "1.0.0"
|
||
|
||
// Commit 是构建时的 Git commit hash。
|
||
Commit = "unknown"
|
||
|
||
// BuildTime 是构建时间。
|
||
BuildTime = "unknown"
|
||
|
||
// SDKName 是 SDK 名称。
|
||
SDKName = "HomeAgent SDK"
|
||
|
||
// CoreModule 是核心仓的 Go module path，供 plugindev 生成 go.mod 时使用。
|
||
CoreModule = "gitcode.com/JianFeeeee/HomeAgent"
|
||
|
||
// CoreVersion 是此 SDK 所兼容的最低核心版本。
|
||
//
|
||
// 1.0.0 是硬下限而非建议值：0.9.x 内核只会 dlopen `.so`，
|
||
// 本版工具链产出的 `plugin.bin` 在旧内核上根本不会被识别。
|
||
//
|
||
// ⚠️ 1.1.0 新增的媒体接口需要核心 **1.1.1+**（更早的核心没有
|
||
// doc.insertWithMedia / io.injectMedia* 这些 RPC，调用会返回 unknown method）。
|
||
// 这里仍写 1.0.0，因为它是「SDK 能在其上运行」的下限；
|
||
// 媒体接口是可选能力，不用就不受影响。
|
||
CoreVersion = "1.0.0"
|
||
)
|
||
|
||
// FullVersion 返回完整的版本字符串。
|
||
func FullVersion() string {
|
||
return SDKName + " v" + Version + " (" + Commit + ")"
|
||
}
|
||
|
||
// ---- 协议版本 ----
|
||
//
|
||
// 子进程 RPC 的协议版本是一个独立的小整数，与 SDK/内核语义版本解耦：
|
||
// 语义版本变动频繁（修 bug、加字段），而 wire 协议只在**帧格式或握手语义**
|
||
// 变化时才升。当前值见核心仓 internal/plugin/proc/protocol.go 的 ProtocolVersion。
|
||
//
|
||
// C ABI 时代的 ABIVersion / CABINum / 51 个 Core<Method> 整数 ID 已随
|
||
// Part 6.2 删除 internal/plugin/cabi/ 一并退场：
|
||
// - 整数 method id 平移为 method 名字符串（proc/protocol.go 的 Method* 常量）
|
||
// - 版本协商改为握手帧里的 protocol 字段
|
||
//
|
||
// 保留那些常量只会让人以为它们还在生效。
|