mirror of
https://gitcode.com/JianFeeeee/HomeAgent.git
synced 2026-09-26 12:23:23 +00:00
让**外部 agent** 也能按分类树用这套知识库。HomeAgent 自己的 agent 仍
直接调内部方法(knowledge_search/create 等),走进程内直调,不经此服务。
一、内核树视图(internal/knowledge/tree.go)
为什么不复用 TreeIndex:那个是**内部导出物**,面向 .index.json 落盘,
每个条目带 top-20 的 TF-IDF 特征向量。直接序列化给外部有三个问题:
体积(200 条时 .index.json 已 246KB 且冗余存了 preview,而正本在
content.md)、泄漏(稀疏特征表 = 分词/IDF 内部表示)、语义错位
(外部要的是"有哪些分类、每类下有什么")。
新增 TreeView/Subtree/Categories/CategoryCounts:不含向量,带条目数
与可读摘要,支持 MaxDepth 懒加载、IncludeItems 只看结构。
节点 Name 是**本级段名**("go")、Path 是完整路径("tech/go")——
最初把全路径写进 Name,前端拼层级会得到 "tech/tech/go",已修。
二、kbtree 插件:独立 HTTP 服务(默认 127.0.0.1:9892)
为何不挂在 WebUI 的 /api/v1/knowledge* 下:
1. 不共享鉴权与端口。WebUI 的 api_key 是给人操作界面用的,把它分发给
外部 agent 等于把管理面凭据扩散出去。本服务用**独立 token** +
独立端口,可单独关闭(token 未配置则启动时随机生成)。
2. 只读。写入要决定分类归属与媒体处理,外部自行拼装容易造出越界/重名
条目 —— 写入留给内核工具。
3. 形状按树组织,而不是平铺搜索接口。
端点:/tree(可指定 category/depth/items)、/categories、/counts、
/search、/ (自述)。全部需 token(X-API-Key / Bearer / ?token=),
非 GET 一律 405。无知识库时 Start 直接失败,不占端口。
鉴权与 Slowloris/超时设置照 remotedevice 范式。
三、agent 技能(assets/skills/knowledge-base/SKILL.md)
指令文档型 skill:教模型"先看树 → 定位分类 → 分类内检索",并列出
易错点(name 已含分类别再拼、只看第一条、404 附现有分类)。
加载与校验由 internal/plugin/skill_bundled_test.go 守住 —— 这条断言
的由来:非白名单的二级标题会被 extractToolDefs 当成工具定义,报错
"invalid tool name",而提示与真正原因(标题层级)毫无关联。
kbtree 的测试还会校验文档提到的端点与代码一致,防漂移。
四、WebUI 树浏览(前端真正用起来,而非留一个没人调的端点)
面板加可折叠的分类树:逐级点选即把搜索范围切到该子树(原先是让人
手打分类名)。当前范围有可见标签与「全库」复位。
315 lines
9.6 KiB
Go
315 lines
9.6 KiB
Go
package webui
|
||
|
||
import (
|
||
"encoding/json"
|
||
"net/http"
|
||
"net/http/httptest"
|
||
"strings"
|
||
"testing"
|
||
"time"
|
||
|
||
"gitcode.com/JianFeeeee/HomeAgent/internal/knowledge"
|
||
"gitcode.com/JianFeeeee/HomeAgent/internal/sdk"
|
||
"gitcode.com/JianFeeeee/HomeAgent/internal/supervisor"
|
||
"gitcode.com/JianFeeeee/HomeAgent/pkg/types"
|
||
)
|
||
|
||
func newTreeHandler(t *testing.T) (*Handler, *knowledge.Store) {
|
||
t.Helper()
|
||
ks := knowledge.NewStore(t.TempDir())
|
||
if err := ks.Start(); err != nil {
|
||
t.Fatal(err)
|
||
}
|
||
t.Cleanup(ks.Stop)
|
||
for _, e := range []struct{ name, body string }{
|
||
{"tech/go/并发", "goroutine 调度 GMP 抢占"},
|
||
{"tech/go/context", "context 取消 超时"},
|
||
{"tech/rust/所有权", "borrow checker move 语义"},
|
||
{"life/sleep", "作息 褪黑素"},
|
||
} {
|
||
if err := ks.Add(e.name, e.body); err != nil {
|
||
t.Fatal(err)
|
||
}
|
||
}
|
||
cfg := &types.Config{Daemon: types.DaemonConfig{
|
||
CheckInterval: time.Minute, HeartbeatInterval: 30 * time.Second,
|
||
}}
|
||
sup := supervisor.New(cfg)
|
||
sup.Start()
|
||
t.Cleanup(sup.Shutdown)
|
||
return NewHandler(testSDK(sdk.SDKConfig{
|
||
Supervisor: supervisor.NewSDKAdapter(sup),
|
||
Knowledge: sdk.NewKnowledge(ks),
|
||
Config: sdk.NewConfig(cfg),
|
||
})), ks
|
||
}
|
||
|
||
// 路由不被 /api/v1/knowledge/ 通配吃掉(Go 1.22+ 最长前缀匹配)。
|
||
func TestKnowledgeTreeRouteNotSwallowed(t *testing.T) {
|
||
h, _ := newTreeHandler(t)
|
||
mux := http.NewServeMux()
|
||
h.RegisterRoutes(mux)
|
||
|
||
rec := httptest.NewRecorder()
|
||
mux.ServeHTTP(rec, httptest.NewRequest(http.MethodGet, "/api/v1/knowledge/tree", nil))
|
||
if rec.Code == http.StatusNotFound && rec.Body.Len() == 0 {
|
||
t.Fatal("路由未命中:/api/v1/knowledge/tree 返回了 mux 的 404")
|
||
}
|
||
// 鉴权未配置时是 503(说明命中了我们的 handler,而不是 mux 404)
|
||
if rec.Code != http.StatusServiceUnavailable {
|
||
t.Errorf("未配 api_key 时应为 503,实为 %d body=%s", rec.Code, rec.Body.String())
|
||
}
|
||
}
|
||
|
||
func treeGet(t *testing.T, h *Handler, path string) *httptest.ResponseRecorder {
|
||
t.Helper()
|
||
rec := httptest.NewRecorder()
|
||
req := httptest.NewRequest(http.MethodGet, path, nil)
|
||
// 绕过鉴权直接打 handler:这里测的是路由与业务,鉴权另有测试覆盖
|
||
h.handleKnowledgeTree(rec, req)
|
||
return rec
|
||
}
|
||
|
||
func TestKnowledgeTreeAPI(t *testing.T) {
|
||
h, _ := newTreeHandler(t)
|
||
|
||
rec := treeGet(t, h, "/api/v1/knowledge/tree")
|
||
if rec.Code != http.StatusOK {
|
||
t.Fatalf("应 200,实为 %d: %s", rec.Code, rec.Body.String())
|
||
}
|
||
var resp struct {
|
||
Tree struct {
|
||
Name string `json:"name"`
|
||
Path string `json:"path"`
|
||
TotalCount int `json:"total_count"`
|
||
Children []struct {
|
||
Name string `json:"name"`
|
||
Path string `json:"path"`
|
||
TotalCount int `json:"total_count"`
|
||
Children []struct {
|
||
ItemCount int `json:"item_count"`
|
||
} `json:"children"`
|
||
} `json:"children"`
|
||
} `json:"tree"`
|
||
}
|
||
if err := json.Unmarshal(rec.Body.Bytes(), &resp); err != nil {
|
||
t.Fatal(err)
|
||
}
|
||
if resp.Tree.Name != "root" || resp.Tree.Path != "" {
|
||
t.Errorf("根应为 root/空,实为 %q/%q", resp.Tree.Name, resp.Tree.Path)
|
||
}
|
||
if resp.Tree.TotalCount != 4 {
|
||
t.Errorf("总条目应为 4,实为 %d", resp.Tree.TotalCount)
|
||
}
|
||
// 子节点 Name 是本级段名、Path 是全路径
|
||
var tech *struct {
|
||
Name string `json:"name"`
|
||
Path string `json:"path"`
|
||
TotalCount int `json:"total_count"`
|
||
Children []struct {
|
||
ItemCount int `json:"item_count"`
|
||
} `json:"children"`
|
||
}
|
||
for i := range resp.Tree.Children {
|
||
if resp.Tree.Children[i].Name == "tech" {
|
||
tech = &resp.Tree.Children[i]
|
||
}
|
||
}
|
||
if tech == nil {
|
||
t.Fatal("缺少 tech 节点")
|
||
}
|
||
if tech.Path != "tech" || tech.TotalCount != 3 {
|
||
t.Errorf("tech 应为 path=tech total=3,实为 %q/%d", tech.Path, tech.TotalCount)
|
||
}
|
||
if len(tech.Children) != 2 {
|
||
t.Errorf("tech 下应有 2 个子分类,实为 %d", len(tech.Children))
|
||
}
|
||
|
||
// 响应里不得出现向量
|
||
if containsStr(rec.Body.String(), `"vector"`) {
|
||
t.Error("树 API 不应返回向量")
|
||
}
|
||
}
|
||
|
||
// 子树路由:/tree/tech/go
|
||
func TestKnowledgeTreeSubtreeAPI(t *testing.T) {
|
||
h, _ := newTreeHandler(t)
|
||
rec := treeGet(t, h, "/api/v1/knowledge/tree/tech/go")
|
||
if rec.Code != http.StatusOK {
|
||
t.Fatalf("应 200,实为 %d: %s", rec.Code, rec.Body.String())
|
||
}
|
||
var resp struct {
|
||
Tree struct {
|
||
Name string `json:"name"`
|
||
Path string `json:"path"`
|
||
ItemCount int `json:"item_count"`
|
||
} `json:"tree"`
|
||
}
|
||
json.Unmarshal(rec.Body.Bytes(), &resp)
|
||
if resp.Tree.Path != "tech/go" || resp.Tree.ItemCount != 2 {
|
||
t.Errorf("tech/go 应有 2 条,实为 %q/%d", resp.Tree.Path, resp.Tree.ItemCount)
|
||
}
|
||
if resp.Tree.Name != "go" {
|
||
t.Errorf("Name 应为本级段名 go,实为 %q", resp.Tree.Name)
|
||
}
|
||
}
|
||
|
||
// 不存在的分类:404 + 附上现有分类便于自查。
|
||
func TestKnowledgeTreeNotFound(t *testing.T) {
|
||
h, _ := newTreeHandler(t)
|
||
rec := treeGet(t, h, "/api/v1/knowledge/tree/nope/here")
|
||
if rec.Code != http.StatusNotFound {
|
||
t.Fatalf("应 404,实为 %d: %s", rec.Code, rec.Body.String())
|
||
}
|
||
var resp struct {
|
||
Error string `json:"error"`
|
||
Categories []string `json:"categories"`
|
||
}
|
||
json.Unmarshal(rec.Body.Bytes(), &resp)
|
||
if len(resp.Categories) == 0 {
|
||
t.Error("404 应附带现有分类列表,便于调用方自查")
|
||
}
|
||
}
|
||
|
||
// 懒加载:depth=1 只给一层但计数准确;items=0 不返回条目。
|
||
func TestKnowledgeTreeLazyLoad(t *testing.T) {
|
||
h, _ := newTreeHandler(t)
|
||
rec := treeGet(t, h, "/api/v1/knowledge/tree?depth=1&items=0")
|
||
if rec.Code != http.StatusOK {
|
||
t.Fatalf("应 200,实为 %d", rec.Code)
|
||
}
|
||
var resp struct {
|
||
Tree struct {
|
||
TotalCount int `json:"total_count"`
|
||
Children []struct {
|
||
Name string `json:"name"`
|
||
TotalCount int `json:"total_count"`
|
||
Children []any `json:"children"`
|
||
} `json:"children"`
|
||
} `json:"tree"`
|
||
}
|
||
json.Unmarshal(rec.Body.Bytes(), &resp)
|
||
if resp.Tree.TotalCount != 4 {
|
||
t.Errorf("剪枝不应改变总数,实为 %d", resp.Tree.TotalCount)
|
||
}
|
||
for _, c := range resp.Tree.Children {
|
||
if len(c.Children) != 0 {
|
||
t.Errorf("depth=1 时 %s 不应展开子节点", c.Name)
|
||
}
|
||
}
|
||
if containsStr(rec.Body.String(), `"preview"`) {
|
||
t.Error("items=0 时不应返回 preview")
|
||
}
|
||
}
|
||
|
||
// 分类内检索:/tree/tech?q=...
|
||
func TestKnowledgeTreeSearchInCategory(t *testing.T) {
|
||
h, _ := newTreeHandler(t)
|
||
rec := treeGet(t, h, "/api/v1/knowledge/tree/tech?q=borrow")
|
||
if rec.Code != http.StatusOK {
|
||
t.Fatalf("应 200,实为 %d: %s", rec.Code, rec.Body.String())
|
||
}
|
||
var resp struct {
|
||
Results []knowledgeView `json:"results"`
|
||
Category string `json:"category"`
|
||
Query string `json:"query"`
|
||
}
|
||
json.Unmarshal(rec.Body.Bytes(), &resp)
|
||
// 首位必须是真正相关的 rust/所有权。
|
||
//
|
||
// 不断言"只命中 1 条":词法路对任何查询都会给全库打个低分(这是它
|
||
// 融合设计的已知性质——靠排序把强命中顶到前面,而不是靠过滤把弱命中
|
||
// 删掉),所以 tech 子树内会有 3 条候选。这是有意行为,不是缺陷。
|
||
if len(resp.Results) == 0 {
|
||
t.Fatal("tech 子树内检索 borrow 应有命中")
|
||
}
|
||
if resp.Results[0].Name != "tech/rust/所有权" {
|
||
t.Errorf("首位应是最相关的 rust/所有权,实为 %q", resp.Results[0].Name)
|
||
}
|
||
// 但范围外的 life/sleep 绝不能出现
|
||
for _, r := range resp.Results {
|
||
if !strings.HasPrefix(r.Name, "tech/") {
|
||
t.Errorf("范围外条目 %q 混入 tech 子树检索结果", r.Name)
|
||
}
|
||
}
|
||
if resp.Category != "tech" {
|
||
t.Errorf("应回显 category=tech,实为 %q", resp.Category)
|
||
}
|
||
}
|
||
|
||
// 平铺分类与计数端点。
|
||
func TestKnowledgeTreeCategoriesAndCounts(t *testing.T) {
|
||
h, _ := newTreeHandler(t)
|
||
|
||
rec := treeGet(t, h, "/api/v1/knowledge/tree/categories")
|
||
if rec.Code != http.StatusOK {
|
||
t.Fatalf("categories 应 200,实为 %d", rec.Code)
|
||
}
|
||
var c1 struct {
|
||
Categories []string `json:"categories"`
|
||
}
|
||
json.Unmarshal(rec.Body.Bytes(), &c1)
|
||
want := map[string]bool{"tech": true, "tech/go": true, "tech/rust": true, "life": true}
|
||
for _, c := range c1.Categories {
|
||
delete(want, c)
|
||
}
|
||
if len(want) != 0 {
|
||
t.Errorf("缺少 %v,实为 %v", want, c1.Categories)
|
||
}
|
||
|
||
rec = treeGet(t, h, "/api/v1/knowledge/tree/counts")
|
||
if rec.Code != http.StatusOK {
|
||
t.Fatalf("counts 应 200,实为 %d", rec.Code)
|
||
}
|
||
var c2 struct {
|
||
Counts []struct {
|
||
Category string `json:"category"`
|
||
Count int `json:"count"`
|
||
} `json:"counts"`
|
||
}
|
||
json.Unmarshal(rec.Body.Bytes(), &c2)
|
||
byName := map[string]int{}
|
||
for _, x := range c2.Counts {
|
||
byName[x.Category] = x.Count
|
||
}
|
||
if byName["tech"] != 3 || byName["life"] != 1 {
|
||
t.Errorf("计数错误: %v", byName)
|
||
}
|
||
}
|
||
|
||
// 只读面:非 GET 一律拒绝(防止有人以为能通过它写入)。
|
||
func TestKnowledgeTreeIsReadOnly(t *testing.T) {
|
||
h, ks := newTreeHandler(t)
|
||
before := len(ks.List())
|
||
for _, m := range []string{http.MethodPost, http.MethodDelete, http.MethodPut, http.MethodPatch} {
|
||
rec := httptest.NewRecorder()
|
||
h.handleKnowledgeTree(rec, httptest.NewRequest(m, "/api/v1/knowledge/tree", nil))
|
||
if rec.Code != http.StatusMethodNotAllowed {
|
||
t.Errorf("%s 应 405,实为 %d", m, rec.Code)
|
||
}
|
||
}
|
||
if len(ks.List()) != before {
|
||
t.Error("只读端点不应改变条目数")
|
||
}
|
||
}
|
||
|
||
// 知识库不可用时给 503 而不是 panic。
|
||
func TestKnowledgeTreeUnavailable(t *testing.T) {
|
||
h, _ := newTestHandler(t)
|
||
rec := treeGet(t, h, "/api/v1/knowledge/tree")
|
||
if rec.Code != http.StatusServiceUnavailable {
|
||
t.Errorf("无知识库应 503,实为 %d", rec.Code)
|
||
}
|
||
}
|
||
|
||
func containsStr(hay, needle string) bool {
|
||
return len(hay) >= len(needle) && (func() bool {
|
||
for i := 0; i+len(needle) <= len(hay); i++ {
|
||
if hay[i:i+len(needle)] == needle {
|
||
return true
|
||
}
|
||
}
|
||
return false
|
||
})()
|
||
}
|