jianf/HomeAgent
1
0
Fork 0
mirror of https://gitcode.com/JianFeeeee/HomeAgent.git synced 2026-09-21 17:38:10 +00:00
Code Issues Packages Projects Releases Wiki Activity
233 Commits 6 Branches 27 Tags
28a6d3f09c0fd6dd569624dcd1d0a91f1dcf7156
Commit Graph

163 Commits

Author SHA1 Message Date
JianFeeeee
28a6d3f09c feat(agent): token-level streaming in core process loop 
Replace the blocking Chat() call in process() with
chatStreamWithFallback: ChatStream first, accumulate chunks, fall back
to non-stream Chat on connect failure or empty-stream failure.

Why: the non-streaming path blocked for the ENTIRE LLM generation (up
to the 180s HTTP timeout). Reasoning models thinking 60-120s plus AUTO
chain failover regularly exceeded it -> context canceled -> full turn
wasted. With streaming the first chunk arrives in ~1-3s and any
flowing token keeps the connection alive; total generation time is no
longer bounded by an overall timeout.

Compatibility (external behavior unchanged):
  - process() signature/return values unchanged
  - Aggregated events (EventReasoning / EventAgentLLMChain) still fire
    once per turn with full text after stream completion - existing
    plugin subscribers see identical payloads as before
  - New incremental events EventReasoningDelta / EventContentDelta are
    additive; old subscribers ignore unknown event types
  - Tool execution loop, memory pipeline, stage pipeline untouched

Streaming details:
  - Tool call fragments accumulated per OpenAI streaming convention:
    id/name arrive on the first fragment, arguments as raw JSON string
    shards across fragments; merged and parsed once at stream end
  - normalizeStreamToolCalls keeps nameless argument shards (the
    non-stream normalizer drops them); ToolCall gains RawArguments to
    carry shard text
  - Interrupt mid-stream returns partial content instead of discarding
    the whole generation

Verified end-to-end against llmsproxy: plain chat streams correctly;
curl confirms tool-call shard wire format ({" + command" + :"date"}
-> {"command":"date"}); unit tests cover shard merging and
content/reasoning accumulation.
 2026-08-25 09:30:49 +08:00
JianFeeeee
7d6c0bb90b feat(provider): complete ChatStream with llmsproxy-grade streaming 
Rewrite LuaAdaptedProvider.ChatStream to match the maturity of
llmsproxy's streaming implementation:

HTTP layer:
  - Dedicated stream HTTP client with no overall timeout (SSE must not
    be cut by the 180s Chat timeout); only a 30s dial timeout
  - Uses applyAdapterHeaders (supports build_headers dynamic signing
    hook), matching the non-streaming Chat path

Non-200 response handling:
  - New TransformError Lua hook (adapter.transform_error) for per-source
    protocol knowledge in error messages
  - Safe fallback truncation of raw error bodies (prevents HTML dump
    leakage to clients)

SSE parsing enhancements:
  - parseOpenAICompatibleStreamChunkFull: handles token usage in the
    final chunk (prompt_tokens/prompt, total_tokens/total dual keys),
    prompt cache detail fields, and empty-string finish_reason filtering
    (sensenova sends "" on every chunk)
  - Replaced old SSEScanner with bufio.Scanner (larger buffer, fewer
    allocations)

Stream integrity:
  - errorOnlyChunk detection: holds back the first chunk to reject
    degenerate streams (e.g. zen free pool's finish_reason:"network_error"
    with empty content) before any byte reaches the caller
  - [DONE] dedup: adapters that already emit a terminating done chunk
    with the real finish_reason don't get a second reason-less done
  - Clean EOF sends a final Done:true if no done was seen

Struct changes:
  - StreamChunk: added FinishReason and Usage fields for callers
  - LuaAdaptedProvider: added streamClient (lazy) + streamMu

Tested: curl against llmsproxy SSE confirms reasoning_content parsing
is correct (delta.reasoning_content), usage chunk handling works, and
[DONE] termination is properly emitted.
 2026-08-25 08:30:53 +08:00
JianFeeeee
d1e502d367 fix(agent): self-input channel carries target output channel flag 
The selfInputCh previously treated ALL internal messages as memory
consolidation tasks (hardcoded _consolidation_ output channel), which
silently discarded child-agent completion notifications:

  - processConsolidation never appends to conversation context, so the
    parent agent could not see that its child had finished
  - it also discards the LLM response without emitting to any output
    channel, so nothing reached the user
  - net effect: notifications vanished; parent never called child_result

Restore the intended design: each self-input message now carries a
target output channel. Only consolidation tasks (_consolidation_) go
through the no-memory path (no context write, no emit). Child
notifications carry the parent's original output channel and are
processed as normal input: appended to context, LLM sees them and can
call child_result, and the response is emitted back to the user.

Changes:
  - new selfInputMsg{text, channel} type + channelConsolidation const
  - selfInputCh: chan string -> chan selfInputMsg
  - injectSelf (consolidation) keeps _consolidation_; new
    injectSelfChannel for flagged messages
  - handleSelfInput routes on msg.channel instead of hardcoding
  - executeSpawnChild captures a.currentOutputChannel and passes it to
    runChildTask so the notification returns to the originating channel
    (falls back to "cli" when unset or consolidation)
  - executeChildResultTool: remove dead double-lock/re-check block

Verified end-to-end with tmux PTY against llmsproxy:
spawn_child -> child done -> notification processed via normal path
(log shows 'input from system -> response, tools=[child_result]'),
parent agent retrieved the child result successfully.
 2026-08-25 07:52:51 +08:00
dev
22de000f23 fix: bump llm http client timeout 120s→180s for llmsproxy AUTO chain failover 
The local llmsproxy AUTO chain tries 6+ slots across 3 tiers sequentially.
Each failed tier incurs busyWait (2s) + upstream timeout, so a full chain
exhaustion can exceed 120s. The llmsproxy logs showed 143 'context canceled'
errors for the homeagent key — the client gave up before the chain finished.

180s gives the chain enough room to complete before the client timeout fires.
Also remove stale backup files under /usr/local/bin/.
 2026-08-25 00:34:25 +08:00
JianFeeeee
ece06b0375 feat(cli): streaming process output with npm-style spinner 
CLI 对话现在像 npm 安装一样先显示 braille 加载动画，然后逐步吐出
推理内容和工具调用状态，最后输出最终响应。

协议扩展（JSON 行，向后兼容）：
- {"type":"reasoning","content":...}   推理过程帧
- {"type":"tool_call","tool":...,"status":...,"result":...} 工具调用帧
- response / error 仍为终结帧，语义不变

服务端（internal/plugins/cli）：
- handleChat: 通过 SDK 订阅 EventReasoning/EventToolCall（按 channel=="cli"
  过滤），InjectTextSync 阻塞期间实时转发事件到 socket；connWriter 互斥
  保护并发写。纯插件层实现，不触碰内核。
- 不订阅 EventAgentOutput：内核先写 ResponseCh 再 publish 该事件，
  订阅会导致响应重复。

客户端（cmd/waiter）：
- startSpinner: npm 风格 braille 转圈（80ms），幂等 stop()，非 TTY 自动禁用
- SendChatStream: 循环读帧直至终结帧，onEvent 回调渲染过程帧
- printServerOutput: reasoning 灰色 · 前缀；tool_call ✔/✘ 状态行 + 结果预览
- 交互模式发送后自动起 spinner，首帧到达即停；oneshot 同理
- 向后兼容旧服务器（无类型行直接作为最终输出）

端到端验证：本地 homed 测试实例 + llmsproxy，oneshot 与交互模式均正确
渲染 推理→工具调用→最终响应 完整链路。

另外修正 dashboard.html renderReasoningCard 流式态使用 preview 结构
（与 GUI 渲染器一致，配合此前 renderChatStreamChunk 增量更新）。
 2026-08-24 23:34:48 +08:00
JianFeeeee
121a2b9ace fix(webui): 聊天流式增量渲染（移植 GUI renderChatStreamChunk 方案） 
问题：webui 流式推理阶段虽有 90ms 防抖，但每次防抖到期仍是
全量 innerHTML 重建，视觉上「一下渲染一大块」。

修复：移植 GUI 的增量渲染方案——
- rerenderChat() 在流式中（chatLoading && 最后一条未 _final）走
  增量路径：90ms 合并 chunk 后只调 renderChatStreamChunk()
- renderChatStreamChunk 仅更新最后一条消息节点：
  · 正文 >200字符 或 >300ms 才 renderMd（节流 markdown parse）
  · 小增量纯文本 createTextNode 追加，零 parse 开销
  · 思考预览只刷 .reasoning-preview 文本
  · 结构变化时兜底全量 renderChat()
- 工具卡/历史等非流式变化仍走全量路径
 2026-08-24 22:40:48 +08:00
JianFeeeee
8157772132 fix(webui): sendChat 超时后 SSE 兜底渲染（对齐 GUI 模式） 
问题：agent 长任务(159s)超过 15s ack 超时后，旧代码 return 导致
finally 清空 loading 并重置按钮，用户以为失败；SSE 回复虽到但
用户可能已离开/刷新页面。

修复（完全对齐 GUI renderer 的 sendChat 模式）：
- 超时后 r=null 不 return，流程继续
- finally 总是清 loading + 恢复按钮（loading 只是 UI 提示）
- toast 明确提示「请求超时（可能已发送，请稍候勿重复发送）」
- r 有值则直接填充最终回复；r=null 则靠 SSE agent_output 流式渲染
 2026-08-24 22:36:45 +08:00
JianFeeeee
e1a94fc896 fix(webui): 聊天渲染优化 + 触发式 POST 
- 删除死的 tool_result SSE 监听器（后端不发布此事件类型）
- 流式渲染防抖 90ms：SSE 高频 chunk 合并为一次重建，流式期间跳过
  星图/终端/命令历史等无关渲染（renderChat 签名短路 + 防抖双重优化）
- sendChat 改触发式 POST：15s 短超时仅确认受理，超时后不报错，
  回复靠 SSE 流式渲染（对齐 GUI 行为，解决长 LLM 工具链 60s 超时报错）
- sendChat 用户操作走 rerenderChat(true) 全量重渲；SSE 流式走
  rerenderChat() 防抖仅聊天
 2026-08-24 21:53:53 +08:00
JianFeeeee
ce53e8816b chore(webui): 清理前端死代码 
- 删除 8 个未引用 JS 函数: confirmDialog/showToast/timeAgo/statCard/
  systemTheme/getStarmapBg/resetStarmapCamera/toggleStarmapAuto
  （实际使用的是 toast()/内联卡片构建/setTheme）
- 删除星图 hover info 空转块（starmap-info 容器不存在，infoEl 永远 null，
  sm-info-name/type/mentions/links 子元素查询全部无效）
- 删除死 CSS: #starmap-container/#starmap-stats/#starmap-info/
  #starmap-loading/.starmap-toggle（对应 HTML 元素已不存在）
- 删除重复的 #sm-container-chat height:480px（被后续 260px 覆盖）

共 -266 行，JS/CSS 语法验证通过
 2026-08-24 21:01:06 +08:00
JianFeeeee
2ee007edc9 chore: 清理垃圾文件与构建产物 
- 删除 internal/plugins/webui/dashboard2.html（遗留压缩实验代码，含乱码，零引用）
- 删除根目录旧二进制 homed/waiter（build/ 已有最新版）
- 删除 build/ 实验二进制 homed2/3/4/-audio/-img/-lua/-multi/-sched/_v2
- 删除 deploy/build 重复发布包 + dist 打包产物
- 删除 .gopath（旧 SDK v0.7.2 模块缓存，已 replace 到 third_party 本地副本）
 2026-08-24 20:18:59 +08:00
JianFeeeee
ba5785036a feat: 设备鉴权迁移至客户端 + 插件卸载保护 
安全修复（客户端鉴权）：
- remotedevice 服务端移除授权状态存储（authorized map/SetAuthorized/handleDeviceAuth）
- DeviceMeta.Authorized 改为设备 hello 自报，服务端仅透传展示
- device_ctl_* 工具移除服务端授权检查，无条件转发，设备端自行决定是否执行
- 共享设备桥库 Bridge 新增本地 authorized 状态，未授权收到 cmd 直接拒绝
- waiter: --device-authorized / device_authorized 配置控制本地授权
- GUI: 授权存 gui-prefs 本地文件；设备页仅本机可切换开关
- webui /device/auth 旧路径返回 410 Gone
- 根因：agent 可经 config_set 篡改服务端授权配置自行授权设备

插件管理强化：
- 内置插件禁止卸载（IsBuiltinPlugin + 409），外部插件卸载即时生效
- 卸载不存在插件返回 404；移除误导性 reload_required 提示
- webui 插件路由：名称白名单校验防路径穿越、保留字路径保护
 2026-08-24 19:26:11 +08:00
JianFeeeee
5163ce51a7 feat: SSE Last-Event-ID 断线重放 + GUI 表单防刷新 
- webui handler: 新增 sseEventRing 环状缓冲区(200条)，断线重连按 Last-Event-ID 重放遗漏事件
- GUI app.js: doRenderAll 检测连接表单打开时改走 refreshDataOnly，修复 15s 定时器擦掉用户输入的 bug
- 附带 dashboard.html/index.html 前端调整 + handler_sse_test.go 单测
 2026-08-24 16:22:28 +08:00
JianFeeeee
a024dc3f5f feat: 设备桥共享库 + CLI全能力补齐 + GUI omniparse/computeruse 重构 
- 抽取设备桥 WS 协议层为共享库 (internal/devicebridge/client/)
- CLI 补齐 11 项 caps 能力(screensee/screensue/speakeruse/camerasue/...)
- GUI 新增 omniparse 能力(Windows UIA 窗口解析)
- GUI computeruse 改用 koffi 直接调用 user32.dll，不再依赖 PowerShell C# 编译
- GUI computeruse JSON 解析兼容非标准格式 {x:500,y:300}
- 新增 mock-server 用于本地测试设备桥协议
- 新增 GUI DLL 桥接模块 (devicebridge_dll.js)
 2026-08-23 20:17:38 +08:00
JianFeeeee
4dcd3623cb feat: 设备能力矩阵校验 + 设备主动上报事件通道 
回应架构讨论: 外接设备各自声明能力, 且补齐设备→agent 单向推送缺口。

1. 能力矩阵 (registry.go):
   - capabilityTools 映射: caps 声明 → 可用工具
     screen/screensue/screensee, computeruse, clipboard(see/sue),
     camera/camerasue, speaker/speakeruse
   - SupportsTool 校验: screensee/computeruse/clipboard* 执行前检查
     目标设备是否声明对应能力, 未声明直接报错(不再下发到设备端才失败)
   - 兼容规则: 声明 cmd/cmdrun 等历史值 → 全能力;
     未声明任何已知能力 → 全能力(旧设备兼容);
     有已知能力声明则严格匹配

2. 设备主动上报事件 (WS op=event):
   - 设备可推 {op:event, type, detail/payload} 无需回执
   - 插件层 SetEventHandler 回调: 格式化为人类可读文本,
     经 SDK InjectInput 异步注入 agent(source=device/{id}, 回复路由回同通道)
   - 同设备同类型事件 10s 节流防传感器风暴
   - 场景: 摄像头识别未知人员驻留主动告警, agent 收到后自主处置

测试: 能力矩阵8场景 + 摄像头调screensee被拒 + 事件上报回调(含device_id回退)
 2026-08-21 19:58:37 +08:00
JianFeeeee
c0e92cceb1 feat: clipboardsee/clipboardsue 工具 — agent 读写远程设备剪切板 
与 screensue/screensee 同模式配对命名:
- clipboardsee: 读取设备剪切板当前内容(用户最近复制的文字)
- clipboardsue: 写入文字到设备剪切板(用户可直接 Ctrl+V 粘贴)

设计要点:
- 协议: homeagent-clipboardsee / homeagent-clipboardsue <文字>
- clipboardsee 回执 output 字段为剪切板文字, 响应含 content/empty 字段
- clipboardsue 响应含 written 字节数 + preview 截断预览(60 rune)
- 隐私提示写入工具描述: 剪切板可能含密码, 仅在用户明确要求时读取
- 典型组合写入描述: clipboardsue + computeruse keypress ctrl+v 自动粘贴
- 未授权/离线/超时完整错误路径

GUI 配套需求(已发群): executeHomeagentCmd 加 case clipboardsee/clipboardsue,
Electron clipboard.readText()/writeText(text) 一行实现。

测试: 端到端读写+参数校验+未授权拒绝 全通过
 2026-08-21 16:31:23 +08:00
JianFeeeee
cacd9a8572 feat: computeruse 工具 — agent 结构化操控远程鼠标/键盘 
配合 GUI b4e5b39 (homeagent-computeruse 能力):
- 新增 computeruse 工具, LLM 传结构化参数(action/x/y/dy/key/text/button)
- 服务端序列化为 GUI 约定的 JSON 参数格式下发, 避免 LLM 手拼字符串出错
- action 校验: click/doubleclick/rightclick/move 需坐标; scroll 需 dy;
  keypress 需 key; type 需 text; 未知 action 报错
- 典型工作流写入工具描述: screensee 看屏 → computeruse 操作 → screensee 确认
- 未授权/离线完整错误路径; 结果留档 cmdresult

测试: 端到端验证 JSON 参数格式下发+回执+参数校验错误路径
 2026-08-21 12:32:07 +08:00
JianFeeeee
cfe5a1a7f1 feat: screensue 默认 5s 超时，agent 可指定时长或永不超时 
- GUI main.js: screensue 默认 duration 从 0(常驻) 改为 5 秒自动关闭
- 命令带数字 token 指定时长: "screensue 30 内容"=显示30秒
- 命令带 0 表示永不超时: "screensue 0 重要公告"=常驻直到用户手动关闭
- gui-prefs.screensueDuration 用户配置默认值(未配置时 5)，命令参数优先级最高
- 设置页(app.js)新增「默认时长(秒)」输入框(placeholder 提示 0=常驻)
- 回执文案区分 for Ns / persistent until closed
- 服务端 device_ctl_cmdrun 工具描述同步更新(5秒默认/指定秒数/0永不超时)
 2026-08-21 12:10:28 +08:00
JianFeeeee
5b0cd45093 feat: screensee 工具 — agent 查看远程设备屏幕内容 
与 screensue(向用户屏幕显示)配对: screensue 是给用户看, screensee 是 agent 看。

服务端实现:
1. remotedevice 新增 screensee 工具:
   - 下发 homeagent-screensee 命令 → 设备截屏回传 jpeg base64
   - seeHandler 回调(agent 核心注入)用视觉模型自动描述屏幕内容
   - 未授权/离线/超时完整错误路径; 结果留档 cmdresult
2. SDK LLMMessage 扩展多模态 Blocks(text/image_url):
   - llm_impl 转换为 agentAPI.ContentBlock, 视觉模型可看图
3. describeScreen: 默认提示词描述窗口/文字/界面状态;
   provider 参数可指定视觉源(临时切换后恢复)

GUI 端需配套(已发群): onDeviceMsg 加 case "screensee",
desktopCapturer 截屏 → jpeg base64 data URL 回执(同 camerasue 抓拍模式)。

测试: 端到端模拟设备截屏回传+视觉回调验证; 全项目 go test 通过
 2026-08-21 11:31:45 +08:00
JianFeeeee
f2e3215c77 feat: remotedevice 二进制分块协议(录像回传+音频下发) + 工具描述增强 
回应 GUI c29abe9 需服务端配套项([阻塞]两项 + [中]一项):

1. readFrame 支持 0x2 二进制帧(之前遇 0x2 直接断连):
   - 返回 opcode, 二进制帧上限放宽至 8MB
2. handleWS 二进制聚合协议(设备→网关, 录像回传):
   - cmd_data_start 开启按 req_id 聚合 → 0x2 帧追加 → cmd_data_end 聚合完成
   - 结果存 cmdresult(data_base64 字段), device_ctl_cmdresult 可取回
   - 超限防护(声明 total×2 或硬上限 64MB)
3. PushData 下发协议(网关→设备, 音频/TTS):
   - cmd_speech_start → 0x2 分块(8KB) → cmd_speech_end
   - GUI 端已实现接收侧(speakeruse 播放链路打通)
4. device_ctl_cmdrun 工具描述补齐:
   - screensue 带参示例(<内容>/<秒> <内容>)
   - camerasue 录像说明(cmdresult 含 data_base64)
   - speakeruse 文字朗读

测试: 最小 WS 客户端端到端验证二进制分块上传/PushData 下发/离线报错
 2026-08-21 10:53:38 +08:00
JianFeeeee
8d368913a9 feat: webui 消息重放双重防护(client_msg_id 去重 + agent 内容级去重) 
回应群聊 08-19 消息轰炸诊断(GUI SSE 重连导致消息重放):

1. webui 层 client_msg_id 单飞去重(与 GUI c29abe9 配套):
   - /api/v1/chat 解析 client_msg_id, 同 ID 重放等待首次结果直接复用
   - 响应带 deduplicated=true 标记; 无 ID 旧客户端完全兼容
   - FIFO 缓存上限 256 条防泄漏

2. agent 核心层内容级短窗口去重(兜底无 ID 客户端):
   - isDuplicateInput: source+content 为 key, 10s 窗口内重复丢弃
   - 持续轰炸时刷新时间戳保持拦截; 过期项自动清理

测试: webui 去重三场景 + agent 核心去重行为验证, 全项目 go test 通过
 2026-08-21 10:23:38 +08:00
JianFeeeee
768c73889e feat: webui chat 接口支持设备身份(device_id/device_name) 
- handleChat body 增加 device_id/device_name 可选字段
- 来源编码: 带设备时 webui/{device_id}(agent 可见来源), 无设备保持 webui(兼容)
- injectSourceContext: 检测 device_id 时注入「当前输入来自设备[名](id)」上下文
- 验证: 带 device_id=gui-pc-002 消息 agent 正确回答来源客厅电脑; 无 device_id 兼容
 2026-08-18 11:49:57 +08:00
JianFeeeee
707a01a2dd fix: SSE 心跳直接写 w+flush(事件密集/队列满仍保活长连接) 
- 原心跳经 writeCh 发送, 事件密集时队列满被 drop, 远程 nginx 网关长时间无字节导致 504/半开
- 改为主循环直接 Fprintf(w, ": heartbeat\n\n") + Flush, 绕过 writeCh, 保证 15s 恒有心跳
- 对应 pi-desktop: GUI 回复丢失(SSE 3分钟被 ERR_INCOMPLETE_CHUNKED_ENCODING 切断)
 2026-08-18 09:12:52 +08:00
JianFeeeee
653dd34299 feat: 插件工具按需拉取(get_plugin_tools) + 设备命令类型拆分(shell-cmd/homeagent-cmd) 
1. 提示词去污染: buildToolCatalog 从全量工具定义改为按插件分组摘要
   (插件名 + 工具数 + 能力概览), 完整工具定义由新工具 get_plugin_tools(plugin_name)
   动态拉取; 新增 executeGetPluginTools 支持按插件过滤 stageHost/io 工具
2. 设备命令类型: device_ctl_cmdrun 的 command 支持前缀区分
   - shell-cmd <cmd>      -> 设备端执行原生 shell
   - homeagent-<cap>      -> 设备端 HomeAgent 内置能力(如 camerasue/screensue)
   - homeagent-cmd <cap>  -> 同上(兼容写法)
   PushCmd 增加 cmd_type 字段下发给设备端分发
3. 测试: TestExecuteGetPluginTools 验证按插件拉取/全部摘要/未知插件
 2026-08-18 09:07:21 +08:00
JianFeeeee
b2156a0987 fix: webui 设备网关 WS 反代改用 net.Dial 手动升级握手 
- 之前 http.DefaultClient/Transport 不支持 ws:// scheme 与 101 升级, WS 经反代返回 502
- 改为 net.Dial 直连网关 + 手动构造 WS 升级请求(X-API-Key 注入) + http.ReadResponse 读 101
- hijack 后双向字节透传(WS 帧不动), 客户端->上游/上游->客户端
- 实测: 经 webui:8080/api/v1/device/ws 反代, 101 握手成功, 网关 Sec-Websocket-Accept 正确
- 对应 pi-desktop 排查记录: 远程 WS 设备通道现在可经远程 homed 使用
 2026-08-17 18:16:57 +08:00
JianFeeeee
dd60f41aa1 feat: webui 设备网关 WS 反代(hijack 双向透传) + GUI 设备页本机卡片始终显示 
- handleDeviceGatewayProxy: 识别 Upgrade:websocket 请求, 用 http.Transport(保留升级连接)
  + hijack 双向字节透传, 支持远程 homed 的 WS 设备通道(REST 已可用, WS 之前被 DefaultClient 卡死)
- renderDevices: 本机 GUI 设备卡片不再被 conn.type!=='device' 挡住,
  由 gui-prefs 的 deviceBridge 驱动(独立于连接), renderInit 从 device-bridge:get 拉取本机身份
- 对应 pi-desktop 排查记录(WS 反代不可用/本机卡片被挡)修复
 2026-08-17 18:02:16 +08:00
jianf
a9ec8f5b2b Merge branch 'main' of gitcode.com:JianFeeeee/HomeAgent 2026-08-17 09:34:42 +08:00
jianf
ef5f010e87 device gateway: remotedevice 插件(设备接入网关) + GUI/waiter 受控设备桥 + 设备页/授权开关/托盘/退出进托盘 + 白屏修复(惰性Tray) + deviceinfo 工具 2026-08-17 09:34:25 +08:00
JianFeeeee
2338f3f4f3 fix: 插件增量重载 + clawhubadapter ipcGoroutine 优雅退出 
- Registry.Reload 改为增量: 对比插件入口文件(plugin.so/main.lua) SHA256, 仅重载有变更的插件, 未变更保持运行, 消除 plgreload 触发全量 StopAll+Load 导致的重复加载与内置插件状态错乱
- Registry 新增 pluginHashes 记录 + pluginEntryHash 辅助
- clawhubadapter.ipcGoroutine 无退出条件导致重载后旧 goroutine 永久残留(线程累积): 增加 stopCh/stopOnce, Stop() 关闭, ipcGoroutine 用 select 监听退出
- 新增 TestRegistryIncrementalReload 验证无变更跳过/变更重载
 2026-08-17 08:53:39 +08:00
JianFeeeee
e43b7aa216 test: PluginManager 接口含 ReloadOne 的编译期契约验证 2026-08-16 18:52:56 +08:00
JianFeeeee
eb577afed2 fix: healthcheck auto-check 幂等重启(stopCh 可重建, 修复 plgreload 后定时器失效) 2026-08-16 18:27:25 +08:00
JianFeeeee
da327ac3e1 feat: 导出单插件重载到 SDK (CORE_PLUGIN_RELOAD_ONE/48 + LIST/49 + IS_DISABLED/50) 
- PluginManager 接口新增 ReloadOne(name) error
- cabi dispatch: case 48 单插件重载, 49 列已加载, 50 查询禁用
- 外部 SDK 新增 PluginMgrAPI(ReloadOne/ListLoadedPlugins/IsPluginDisabled)  + bridge dispatchPluginMgr 注入
 2026-08-16 18:27:25 +08:00
JianFeeeee
c52331cd5e gui+webui: 聊天界面升级(PiDeck风格思考/工具卡片+滴入动画) & 流式卡顿修复(防抖局部增量渲染) & 主题系统修复(启动恢复色板/弹窗溢出wrap) 2026-08-16 09:57:29 +08:00
JianFeeeee
b4006212e7 feat: Lua 插件 stage 写回支持(与 C ABI v2 对齐) 
makeStageHandler 现在把 ctx 以 Lua table 引用传给 handler,
handler 修改的字段(raw_message/llm_text/final_text/response/tool_calls/
tool_results/user_id/group_id/no_memory)同步写回内核 StageContext。
新增 TestLuaStageWriteback 验证 on_input/post_action 的写回。
 2026-08-15 18:02:50 +08:00
JianFeeeee
1bc2bf5d8d fix: WebUI 配置数字科学计数法 + 增强输出通道引导提示词 
- webui settings PUT: 整数型 float64(如 QQ 号)规范化为 int64 存储,
  避免 fmt.Sprint 以科学计数法(2.198972886e+09)存库导致读取解析失败
- 系统提示词【输出规则】重写: 明确消息不会自动路由,
  区分同步通道(直接返回文本)与异步通道(必须调用 output_send__{通道}),
  引导模型优先回复当前输入通道并带正确 meta(user_id/group_id)
 2026-08-15 17:24:14 +08:00
JianFeeeee
014870a0e0 fix: 兼容旧 ABI 插件 + 移除 plugin.Open 致命 fallback 
- CABINumMin 恢复为 1: 旧工具链编译的插件写入整数 version=1/2,
  与新版内核结构体兼容(仅缺 stage 写回能力), 应允许加载而非拒绝
- tryLoadSO 移除 Go plugin.Open fallback: 本项目插件统一为 c-shared,
  对 c-shared .so 调用 plugin.Open 会 fatal (no plugin module data) 不可恢复,
  直接返回 cabi.Load 错误避免启动崩溃
 2026-08-15 16:31:51 +08:00
JianFeeeee
710b1afdf9 C ABI v2: invoke_stage 写回 + ABI 版本对齐核心版本号 (v0.9.0) 
- C ABI invoke_stage 增加 result 输出参数，外部插件 stage 回调可将修改后的
  StageContext(RawMessage/LLMText/FinalText/Response/ToolResults) 写回内核
- ABI 标识版本改为字符串 semver 与核心 Version 对齐(ABIVersion="0.9.0")，
  C 层协商用派生整数 CABINum=900(major*100+minor)，不再使用独立数字编码
- version_min 保证 v0.8.x(800) 旧插件向后兼容可加载
- 修复工具循环 zen 兼容补位误伤首轮 system 上下文(仅尾部为 assistant/tool 时补位)
- 更新 README 项目状态说明
 2026-08-15 15:38:57 +08:00
JianFeeeee
2e47ceed8b healthcheck: 存量改进; mcp: sse 改进 2026-08-14 16:15:24 +08:00
JianFeeeee
c820280f16 webui: 多色板主题与外观弹层(主题色/背景图/模糊) 2026-08-14 16:15:24 +08:00
JianFeeeee
76d86d4dba fix: webui 聊天面板打开时定位到最新消息（switchTab/渲染签名命中分支/图片加载后均强制滚底） 2026-08-14 12:38:24 +08:00
JianFeeeee
d3bd4c2fe6 fix: output_send 气泡时序(chatFinalIdx 插入)与 channel_output 后流式丢失 2026-08-14 00:58:41 +08:00
JianFeeeee
147d0baaf9 fix: LLM 工具循环 400、中断消息注入、ConPTY 终端支持 
- agent: 工具轮请求尾部补 user 占位(zen 网关强制),tool 消息正确配对
- agent: 工具提醒/中断以 system 角色注入并带 [中断消息] 前缀,不进用户履历;系统提示词说明中断消息格式
- agentcli: 基于 ConPTY 的交互式终端(ptywin fork),terminal_create/read/write/resize/close/watch
- webui: server 输出通道适配器(保留 reasoning_content/disable_thinking)
- GUI: 沉浸式标题栏、icon 圆角重制、mascot 等打磨
 2026-08-14 00:48:40 +08:00
JianFeeeee
816597caac fix: WebUI and handler bug fixes 
Backend:
- handleChat/handleOpenAICompletions: added 60s timeout via context.WithTimeout
- handleAgents POST: added config.Put() to persist agent config
- handleKnowledge GET: fixed error handling (was swallowing Search errors)
- addChatMsg: reduced persistence to latest 50 messages (was 200)
- SSE: added Last-Event-ID parsing for reconnection support

Frontend:
- api(): added HTTP status code checking (throw on non-ok responses)
- setInterval(renderAll, 15000): replaced with smartRefresh() that only refreshes data and redraws active non-form tabs
- Added btn-warning/btn-success CSS classes
- SSE: fixed reconnection防叠加 in onerror handler

Tests: all passing
 2026-08-13 10:18:53 +08:00
root
9d5a914941 Phase 0.1/1/3/6: 核心生产问题修复 
Healthcheck 隔离 (Phase 0.1):
- 新增 internal/sdk/selftest.go: VirtualInstance 完全隔离自检空间
- PluginSDK.Selftest()/SelftestReset() 暴露隔离实例 (含 mutex)
- LLM 自检只读白名单 isSafeReadonlyTool 防写类工具污染生产
- 单测验证: healthcheck 后生产实例内容不变 + 无残留
- 存量清理: 删除 gotest/luatest 残留目录

GraphDB 去重 (Phase 1):
- migrateRelationUnique: 启动自动重建 relations 表加 UNIQUE 约束并去重
- Commit 改为存在性检查, 重复三元组仅刷新 confidence 不重复插入
- 3 个 dedup 单测全绿

配置时长解析 (Phase 3):
- parseDurationExtended 支持 2d/1w/3h 等人类可读单位
- GetDuration 全局生效, 防 2d 静默回退 30m

Agentcli 通知风暴治理 (Phase 6):
- 语义通知: 累积 notify_bytes(2KB) 或间隔 notify_interval(2s) 触发
- 生命周期即时通知: 启动/进程退出/EOF 立即通知
- 可配置 settings, 保留通知机制保证 agent 感知终端存在
- 运维止血: 已杀掉幽灵 PID 3716282 (bash git sparse clone 运行 16h)

Plan.md: 新增设计意图备忘(插件即App/分层记忆), 更新各 Phase 进度
 2026-08-12 13:51:40 +08:00
root
c19fea2584 provider: 音频多模态序列化为 OpenAI「input_audio」格式 
HomeAgent 的 ContentBlock.AudioURL 原本输出 audio_url（非 OpenAI 标准块）；
现通过 MarshalJSON 在 base64 数据时自动转为 OpenAI input_audio
（{data,format}），供支持音频的模型识别。非 base64(url)保留原样透传。
- parseAudioDataURL: data:mime;base64,data → （data,format）
- audioFormatFromMIME: wav/mp3/mp4/ogg/flac
- 新增单测：base64 转 input_audio、url 保留 audio_url

验证: go test ./... 27 包 0 失败；Windows 交叉编译通过；部署后服务健康
 2026-08-10 12:55:43 +08:00
root
27183312ad adapters: 支持多模态（对照 llmsproxy） 
- ollama: content 数组拆分文本/images(base64)，映射到 Ollama messages.images；
  流式透传 reasoning_content 与增量 tool_calls
- anthropic: OpenAI content(字符串/数组) 转 Anthropic blocks(文本 + image{source})
  + thinking/空 arguments tool_use/input_json_delta 流
- openai 透传 adapter 已保留多模态 content 数组（验收确认）
- 新增多模态单测：ollama images / anthropic image.source / openai passthrough

验证: go test ./... 27 包 0 失败；Windows 交叉编译通过；部署后服务健康
 2026-08-10 12:17:15 +08:00
root
f960fde785 agent: 更智能的 LLM provider 调度（byModel 精确路由 + AUTO 优先级链） 
吸收 llmsproxy 的调度思想适配 HomeAgent“一源一模型”结构：
- RoutableProvider{Model,Priority} 次级接口（不破坏既有 Provider 实现）
- ProviderManager.OrderedProviders 改为按 (优先级 desc, 可用, 默认优先) 稳定排序，
  AUTO/空模型走该优先级链
- 新增 ProviderManager.ResolveForModel：精确模型名路由到归属源，找不到回落 AUTO 链
- LuaAdaptedProvider 不再无条件覆写 req.Model；显式模型名原样转发
- LLMSource.Priority + core.llm.sources.<name>.priority 配置项
- process.go: 显式模型走 ResolveForModel，AUTO 走 OrderedProviders
- 新增路由单测（优先级排序 + byModel 解析）

验证: go test ./... 27 包 0 失败；Windows 交叉编译通过；部署后服务健康
 2026-08-10 11:54:45 +08:00
root
f0dacef281 lua: 吸收 llmsproxy 适配器高级特性（worker 池/静态预提取/动态签名钩子） 
- 适配器 worker 池化：单 LState+全局锁（串行瓶颈）→ 每 adapter 一个 gopher-lua
  LState 池，按使用该 adapter 的源并发上限求和配置池大小，并发 transform 互不阻塞
- staticInfo 预提取：name/version/endpoint/headers 加载期编译缓存，Endpoint/Headers
  读缓存不占 worker；加载即预编译首个 worker
- build_headers 动态钩子 + hmac/sha256/base64/tohex 全局：签名型上游（kimicode 等）可接入
- provider applyAdapterHeaders 接入动态头（url/method/body/api_key/timestamp/source 元数据），
  未定义时回落静态 headers，缺省补 Authorization
- LLMSource.MaxConcurrent + core.llm.sources.<name>.max_concurrent，注册时汇总
  VM.ConfigureConcurrency
- 新增 Lua VM 测试（load/transform/build_headers/并发）

验证: go test ./... 27 包 0 失败；Windows 交叉编译通过；部署后 9 adapter 全部预加载
 2026-08-10 11:29:57 +08:00
root
6d64543918 feat: 内置 ai_image 插件接入 llmsproxy 生图端点 
- 新增 internal/plugins/ai_image（开箱即用，纯 Go，无外部依赖）：
  - 注册 ai_image_generate 工具，POST base_url + /images/generations
  - 配置项 base_url(默认 http://127.0.0.1:8081/v1)/api_key(留空回落 core.llm.api_key)/model/size
  - 兼容 OpenAI /v1/images/generations 响应（url 与 b64_json）
- plugins/all.go 注册 ai_image
- 生图上游由 llmsproxy 侧后续配置（HomeAgent 直达其端点）

验证: go build/test 全绿；部署后 ai_image 加载、工具注册、agent 可调用
 2026-08-10 10:35:47 +08:00
root
8dcce5a3a9 webui 删除彻底化：清理残留 config/defs/provider 悬空 
审计发现 webui 多处删除只清一处、留下鬼影：
- RemovePlugin: 仅 DROP config_<name> 与 defs，config 表 plugin.<name>.* 键永不删 →
  补 DELETE config LIKE 'plugin.<name>.%'
- ConfigRegistry.Delete: 删 core.llm.sources.<name>.* 后遗留 ConfigDef、且删 core.llm.*
  不更新 guard 快照（重启/failback 会把已删源复活）→ 同步清 source defs + 写 llm 快照
- llm_impl.ReloadFromConfig: 删除默认源后 core.llm.provider 悬空，SetDefault 指向不存在源
  → 仅当源仍注册时才 SetDefault
- clawhubadapter 测试 mockSettings 补 RemoveCore/RemovePlugin
- mcp 服务器删除仍为进程内需 reload 生效（符合既有 removeServerHandler 语义）

验证: go test ./... 26 包 0 失败；本机部署 sources=3、27 插件加载、对话正常
 2026-08-10 09:51:30 +08:00
root
cd2a27a8cc webui: 修复 '删除源/服务器' 只置 <nil> 不真删的问题 
前端 deleteSource/deleteMCPServer 通过 PUT value:null 删除，但后端 handleSettings
PUT 只 SetCore/SetPlugin（fmt.Sprint(nil) → 字面 '<nil>'），导致 core.llm.sources.<name>.*
等键残留不可达的 <nil> 行，污染 LLM 源与探活。

- SettingsAPI 新增 RemoveCore/RemovePlugin；settingsImpl 接入 ConfigRegistry.Delete
- webui handleSettings PUT：body.Value==null 时改走删除分支（核心表/插件表均适配）
- 现状验证：mocktest.* 残留已从本机 config.db 清除，sources=3，无无效源
 2026-08-10 09:35:29 +08:00