mirror of
https://gitcode.com/JianFeeeee/homeagent-sdk.git
synced 2026-09-20 17:08:01 +00:00
e50bffa34f
两个都由「真调用/真测试」暴露，且都会让线上搜索表现为「后端不可用」。 一、归属：接管不等于拥有（例：E2E 测试把生产后端带走） 旧实现只要探活成功就认领关闭责任 → 同机第二个实例（测试拉起的插件、另一个 daemon） 退出时就 docker compose stop 掉**线上正在用的**后端。实测：跑一次 `go test ./internal/plugins/ -run TestRealPlugin_DeepSearch`，teardown 即关停 127.0.0.1:8888，用户看到的就是「搜索后端起不来」。 修：只有真正执行过 `docker compose up -d` 的实例才算「我们起的」；探到已在运行只接管。 二、条数：SearXNG 不认 count/limit（count/max_results 形同虚设） 实测 ?count=3、?limit=3、不带参数返回**完全相同的 35 条**，所以截断必须在插件里做。 旧实现把 count 当 limit 参数发给 SearXNG 就以为生效了 → 模型每次吞 35~58 条带摘要结果， 还会把「命中 N 条」当成「拿到了 N 条」报给用户（实测发生过）。 修：新增 limitResults（默认取 max_results，上限 20）；输出改成 「命中 N 条，返回前 M 条」；不再发无意义的 limit 参数。 验证：22 项单测全过、-race 干净、vet/gofmt 干净；两条归属测试做过扰动（把旧语义放回 去后必红，并如实打出它执行的 `docker compose stop -t 2`）；内核 E2E 三条通过且 **跑完 healthz 仍 200、容器未重启**；线上 1.1.2 实测 count=3 → 「命中 40 条，返回前 3 条」。 版本 1.1.0 → 1.1.2。
联网检索插件（HomeAgent）
给 agent 补上真正的信息检索能力：检索交给本地 SearXNG（多引擎聚合、结构化 JSON）， 并补上「读完前 K 篇再回答」的深检索。
为什么需要它（背景）
agent 原本只有 browser_* 那套浏览器工具，联网检索实际只有 browser_search 一个入口，而它是
「抓 Bing HTML + 正则解析」：
| 缺陷 | 实测结果 |
|---|---|
标题取的是结果块里第一个 <a> |
拿到的是 Bing 的「来源行」而非标题 → deepin.orghttps://www.deepin.org |
摘要正则 <div class="b_caption">.*?<p> |
对现代 Bing 命中 0/10（摘要已迁到 p.b_lineclamp*）→ 结果完全没有摘要 |
用 www.bing.com |
程序化请求直接 302；cn.bing.com 才返回 10 个结果块 |
| 单引擎、无兜底、无去重、无站点读取 | 模型只能反复换词重搜（日志里 8 秒 6 连击） |
结果就是日志里那句用户反馈：「你的搜索能力好像不太行啊」。
依赖：本地 SearXNG（由本插件托管）
插件会自己管后端：
- 启动时：探
healthz；已在跑就直接接管（不重启），没跑就docker compose up -d并等就绪（上限 6s） - 停止时：跑
docker compose stop -t 2关闭它
配置项 manage_searxng（默认 true）与 searxng_dir（默认 /root/searxng-agent）控制这套行为；
stop_searxng_on_exit（默认 true）设 false 可让后端在插件停止后继续跑（插件重载频繁时建议设 false，
否则每次重载都会把后端重启一遍）。
生命周期契约（依据内核源码，非猜测）
| 环节 | 内核行为 |
|---|---|
| 停止插件 | 发 plugin.stop → 插件先跑 RunStopHandlers（LIFO、幂等） → 再 Stop() → exit(0) |
| 宽限期 | 5 秒；未退出则直接 SIGKILL —— 所以关闭动作限时 4s（searxShutdownBudget） |
| stdin 关闭 | 同样会跑 handlers + Stop() |
| 崩溃/被 kill | 关闭动作不会执行，后端会留在运行态；下次启动探测到就直接接管（更安全的失败方向） |
| 自动重启 | SetAutoRestart(true) 由注入的 runtime 在 plugin.start 后经 lifecycle.autoRestart 显式上报内核 |
SearXNG 侧配置
部署在 .60，127.0.0.1:8888：
/root/searxng-agent/docker-compose.yml # host 网络（要访问宿主 clash）
/root/searxng-agent/settings.yml # json 输出 + limiter 关闭 + 出站走 clash
两个必须知道的坑：
search.formats必须含json，否则/search?format=json返回 403（看起来像网络问题，其实是配置）。- 该镜像默认
GRANIAN_PORT=8080，而 granian 的GRANIAN_*优先级高于 settings.yml： .60 上 8080 被 homeagent 占用 → 不改SEARXNG_PORT就是无休止的Address already in use崩溃循环。
实测可用的引擎（2026-09-12）：duckduckgo、brave、google cse；quark 时好时坏；
baidu/google 经代理出口触发 CAPTCHA，sogou 崩溃，wikidata 报 HTTP error（已关）。
工具
| 工具 | 说明 |
|---|---|
deepsearch_search |
联网检索（首选）：标题 + URL + 摘要 + 发布时间，支持 engines/category/time_range/language，自动按 URL 去重并按分数排序；会回报引擎覆盖度与无响应引擎 |
deepsearch_news |
新闻检索：news 类别 + 默认最近一周；新闻为空时自动回退 general + 时间范围 |
deepsearch_fetch |
抓单个网页并抽正文（去脚本/样式/导航），返回标题 + 纯文本，可设截断长度 |
deepsearch_deep |
深检索：检索 → 并行抓前 K 篇正文 → 一次返回「候选清单 + 证据正文」；单篇失败不影响整体 |
deepsearch_status |
自检：healthz、json 是否可用、延迟、哪些引擎真的在返回结果（检索出问题先跑这个） |
配置项
| 键 | 默认 | 说明 |
|---|---|---|
searxng_url |
http://127.0.0.1:8888 |
本地 SearXNG 地址 |
max_results |
8 |
默认条数（控制上下文体积） |
language |
zh-CN |
检索语言 |
safesearch |
0 |
0 关 / 1 中 / 2 严 |
request_timeout |
20 |
单次请求超时（秒） |
fetch_max_chars |
4000 |
deepsearch_fetch 正文上限 |
proxy |
空 | 仅作用于本插件直连抓取（搜索出网由 SearXNG 侧负责） |
user_agent |
Chrome UA | 抓取用 |
每次调用前重读配置，改完即时生效。
开发与验证
go test -count=1 -race ./... # 11 项测试（httptest 打桩 SearXNG）
# 真实后端联调（默认跳过）：跑的就是当初失败的那条查询
DEEPSEARCH_LIVE_SEARXNG=http://127.0.0.1:8888 go test -run TestLiveSearxng -v ./...
hmapdev build # 产出 dist/deep_search_bundle.hmap
已知边界
- 知乎等站点对直连抓取返回 403（反爬），
deepsearch_deep会如实标注该篇抓取失败并继续； 这类页面请改用浏览器工具（browser_navigate+browser_render）。 - 引擎可用性随出口 IP 与目标站点风控变化；
deepsearch_status与每次结果里的「覆盖度」行就是给这个用的。 - 未做正文去重/相似度合并：同一事件的多篇转载会各占一条（摘要已能区分）。