a02d8b00a5
feat(multimodal): 多模态工具移出内核为内置插件 + get_plugin_tools 收编为内核服务
...
## 背景
README 第一原则：「内核职责限定在 LLM 编排、记忆管理与知识检索；
所有 IO 能力由插件实现」，而「文件读取」正在 IO 列表里。
describe_image / ocr_image / transcribe_audio 读本地文件却住在内核进程内
——无沙箱、无能力面、无审计，正是 capability.go 那套权限梯度要防的事。
## 本次改动
### 1. 多模态工具移出内核（internal/plugins/multimodal）
- 新增内置插件，注册 describe_image / transcribe_audio / ocr_image
- 媒体来源支持 path（设备/工具回传，如 screensee 的 file）与 digest（CAS）
- 失败一律以 error 上抛，不渲染成普通文本（延续 screensee 的失败传播纪律）
- ocr_image 的描述明说「不是专用 OCR 引擎」：它只是用视觉模型读字，
真 OCR 在 internal/nlp 的 ONNX 未接入。名字承诺大于实现会让模型误判精度。
内核侧：删除 media.go 整文件（9 函数，全部零引用）、3 个 dispatch case、
3 个工具定义。
**留在内核**：input 通路（用户直传媒体直接拼进本轮 LLM 请求）——
那是「输入即上下文」，不是工具调用。
### 2. get_plugin_tools 收编为内核完整服务
原先它只收 StageHost + IOManager 两处，而三个媒体工具、memory_*、
knowledge_*、spawn_child 等全是内核 buildToolDefs 里直接 append 的
——一条都数不到。agent 能调这些工具，却调 get_plugin_tools 看不见它们。
- 以 buildToolDefs()（发给模型的那份工具表）为单一真相源
- 新增 builtinToolOwner 显式归属表：内置工具恒为 core
- resolveToolPlugin 的下划线前缀猜测限定在「该前缀是已注册插件」时才采纳，
避免 ocr_image→"ocr"、memory_commit→"memory" 这类幽灵归属（7 处调用点依赖它）
## 判据
新增 plugin_tools_service_test.go、multimodal_departed_test.go、
multimodal/plugin_test.go。三个结构判据经变异自证会红：
1. 提示词改回「请使用 describe_image 工具」→ 仍出现该名 ⇒ 红
★ 这条抓到了真问题：eventloop.go 的媒体提示词仍在叫模型调旧工具名，
而媒体 block 其实已内联给模型，且新工具需要 path/digest（用户直传都没有）
⇒ 模型照做必然失败。已修：改为「已随本消息附上，请直接查看」。
2. 内核为多模态加一个 os.ReadFile → 红（比「名字没出现」更强）
3. core 反向 import 插件 → 红（迁移而非删除，且守住分层）
## 验证
- go build ./... / go vet / go test ./internal/... 全绿
- go test -race ./internal/agent/core/ ./internal/plugins/multimodal/ 无数据竞争
- 部署后：39 插件加载、0 panic/fatal、0 非空 error
- 三个工具注册归属为 plugin=multimodal（不是 inferToolPlugin 猜的 describe）
- graph.db integrity ok，blocks 2787 / relations 980 未动
- 快照 /home/newqqagent/memory/pre-multimodal-plugin-20261006-090541/
- 二进制备份 /tmp/homed.bak-mmplugin
一并包含此前已验证未提交的三处静默失效修复：
- MCP MCPCallResult.IsError 丢失（空结果伪装成功）
- DeleteEntity 谎报删除
- screensee 谎报成功 + 截图诊断（尺寸/magic/sha）
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com >
2026-10-06 09:07:18 +08:00
372078a834
fix(mcp+adapter): 流式 tool_calls 解析修复 + MCP transport 超时保护
...
openai adapter transform_stream_chunk:
- OpenAI 流式分片是嵌套格式 function.{name,arguments}，原样透传后
json.Unmarshal 到扁平 ToolCall{name,arguments} 时 name 恒为空，
accumulateStream flushToolCall 因 acc.name=="" 静默丢弃整个工具调用
（流式路径自上线起 tool_calls 全部丢失的根因）
- 现在正确解包 function.name → name，function.arguments → raw_arguments
（保留原始 JSON 字符串分片，由 accumulateStream 按 index 拼接）
- 不按 name 过滤分片：OpenAI 流式续传块 name 为空但携带 arguments 分片
mcp stdio/sse transport:
- stdio Send() 无超时：server 进程卡死时插件加载永久阻塞
- sse http.Client 无超时：远程 server 网络抖动/无响应时永久阻塞，
导致 webui 等后续插件全部无法启动（生产实例偶发启动卡死根因）
- stdio 加 60s 请求超时；sse client 加 30s 整体 + 10s 拨号超时
2026-08-25 18:59:00 +08:00
4337917a79
healthcheck: 存量改进; mcp: sse 改进
2026-08-14 16:15:24 +08:00
de36b571a8
feat(clawhubadapter): rename plugin tools, universal uninstall; feat(mcp): add dynamic server management; feat(prompt): long-task guidance
2026-07-22 17:32:45 +08:00
613d4a62a3
refactor: split agent.go into 12 files + add mcp_restart_server tool
2026-07-22 15:40:27 +08:00
266f5d4eda
fix: merge os.Environ() with custom env in NewStdioTransport
2026-07-21 12:45:26 +08:00
9bee5295b8
feat: output channel redesign - per-channel output gates, LLM chain events, SDKConfig
...
- Output channels generate per-channel tools: output_send__{name} (type=output) + output_send__{name}_help
- content is JSON string transparently passed to plugin handler for routing
- EventAgentLLMChain: full LLM response forwarded after each turn for webui/logs
- sdk.New refactored to SDKConfig struct (no more 13 positional args)
- RegisterOutputChannel adds desc param for JSON format documentation
- channelDevice simplified (no Tools method), desc field added
- Child agent permission updated for output_send__ prefix
- System prompt: output gates, multi-call, long messages split
- WebUI: subscribes to EventAgentLLMChain in SSE, no output channel
- Tests updated for new naming convention
2026-07-16 12:11:16 +08:00
5e80db52f5
feat: restructure plugin system, add Lua plugin support, update docs
2026-07-13 21:48:13 +08:00
b35cf53fb2
feat: 路径配置化 + 裸二进制启动 + pluginmgr 内置插件
...
- types.go: 新增 PluginDirConfig 结构体嵌入 Config
- config/registry.go: 新增7个路径配置项 (core.plugin.dir 等) + ConfigDef 元数据
- cmd/homed/main.go: -data 默认自动检测二进制同级目录，使用 cfg.Plugin.Dir
- internal/plugins/pluginmgr/: 内置插件实现 (4工具 + HTTP API + 包校验)
- all.go: 注册 pluginmgr
- manifest.go: 扩展 PluginManifest 字段
- sdk/settings.go: RegisterDef / Defs 接口
- webui: 设置页自动发现 ConfigDef 元数据
- config/config.go, config/config.yaml: 清理 YAML 死代码
- sdk/plugin.go: IO 通道泛型化支持非文本类型
- waiter: CLI 支持 socket 发现和交互模式
2026-07-04 16:56:32 +08:00
f3098c8340
docs: 项目概览(OVERVIEW.md) + 插件开发指南(PLUGIN_DEV.md) + MCP 适配器插件
...
- OVERVIEW.md: 非技术用户友好的项目介绍和目标
- PLUGIN_DEV.md: 完整插件开发指南（含三种开发方式、API 参考、最佳实践）
- internal/plugins/mcp/: MCP 协议适配器插件（JSON-RPC over stdio/SSE）
- client.go: MCP 客户端（ListTools / CallTool）
- stdio.go: 子进程 stdin/stdout 传输
- sse.go: HTTP POST 传输
- plugin.go: init() 自注册 + Settings 配置读取
- README.md 更新链接
2026-07-03 17:58:20 +08:00
