4 Commits

Author	SHA1	Message	Date
JianFeeeee	5fbd6514c2	fix(knowledge): 知识库检索改为「稠密 + 词法」两路融合（真实 KB 自检索 MRR 0.271→0.376） ... 追「实例看起来没更新」时发现知识库检索本身也不可信，先把病因查清再动手： - **两段式召回不是瓶颈**：Store 的结果与全量暴力 cosine 完全一致； - **真因是向量没有区分度**：词向量取平均后各向异性明显，真实 KB（33 条）上自检索 top-1 只有 15%、前两名平均只差 0.013，排序基本是噪声； - 且全为停用词的查询会得到**空向量**（"最近更新"），直接搜不出任何东西。 先在真实数据上把候选方案量了一遍（用自检索 top-1 / MRR）再动手：IDF 维度加权零收益、 去均值反而更差，**都不做**；唯一有收益的是与词法路（TF-IDF）融合。 改动： - `Store` 增设词法路索引，`Search` 融合两路：各自按**查询内最大值**归一化后加权。 权重 0.5 由权重扫描定：1.0（旧行为）MRR 0.271 / 0.8→0.354 / 0.7→0.358 / **0.5→0.376** / 0.3→0.336 / 0.0→0.307；语义查询也从"全是 openharmony 噪声"变成命中正确条目 （「首启人格门禁」→changelog_v1.2.1、「插件怎么开发和部署」→plugin_dev_build）； - `vector.Store` 的候选中选阈值改为**可设**（默认 0.05 保持既有行为）：TF-IDF 余弦量级 只有 0.0~0.2，沿用 0.05 会把词法路有效候选**静默砍掉**——这一条正是 0.376→0.197 的 差距来源，且当时没有任何报错； - Add/Remove/scanAll/ReindexWithVectorizer 同步维护两路；分数相同时按名字定序（结果可重复）。 **顺带修一个真实毛病**：Add/Remove 原先用**无追踪的 goroutine** 写索引（因为 writeIndex→BuildTree 会 RLock，而调用方持写锁，同步调用会死锁）→ 失败只打日志， 且与调用方竞态（测试的临时目录清理就撞上了）。改为持锁就地 flush （buildTreeLocked / writeIndexLocked）。 判据（不依赖人工标注问答对）：新增 `internal/knowledge/rankdiag_test.go`，用**自检索 top-1 / MRR** 量区分度，`KB_DIAG=1` 跑、`KB_DIAG_ASSERT=1` 断言（MRR ≥ 0.34）。 另有不依赖真实数据的单测 6 条（空稠密向量靠词法路救回、稠密并列时词法路定序、 词法路阈值接线、Add/Remove 双路一致、并列时确定性、空库不 panic）。 **反向验证**（证明判据真能发现缺陷）：权重退回 1.0、词法路阈值改回 0.05、 把阈值写死回 0.05 —— 对应测试逐条变红。另：我第一版夹具余弦 0.365/0.273 远高于阈值， 注入缺陷也不报错（等于没验），故加了「夹具前提」断言并改成两层判据 （语义层由 vector 包测试证明、接线层由知识库测试钉住）。 顺带纳入上一轮漏提交的 `TestAddOverwriteReplacesVector`（同名覆盖必须摘掉旧向量， 生产改动当时已提交，测试一直未入库）。	2026-09-12 18:14:22 +08:00
root	a899d777c3	sdk: embed non-toolchain SDK in third_party, add NoMemory/Cleaner support ... - Embed sdk/, example/, meta/, go.mod from homeagent-sdk (no .git) - Core .gitignore excludes SDK toolchain: bin/, tools/, package/ - RegisterInputChannel + ChannelDef(NoMemory, Cleaner) in SDK - IOManager input channel registry with GetInputChannelDef - eventloop: apply channel Cleaner/NoMemory to interrupt text - context engine: channelDefLookup applied in textForVector - document store: ChannelCleaner param for archive functions - All callers/adapters updated with ChannelDef{} default	2026-07-29 14:48:23 +08:00
root	1cb3e87dde	feat: 完整实现 NLP 三元组提取系统 + token budget 上下文分配 ... - 重写 extractor.go: 分句、17条 POS 模板、依存模板 + COO 链、ATT合并 - parser.go: 分句循环 + TransE 向量验证(h+r≈t) - fallback.go: jieba POS 降级解析器 - bridge.go: nlp.Triple ↔ memory.Triple 转换 - pipeline.go: extractKeyTriples 改用 NLP 提取器, 删除5条旧前缀规则 - distill.go: docToTriples 改用 NLP 提取器 - reorgGraph: 语义相似度增强检测, 保持纯 LLM 决断 - Provider 接口加 MaxContextTokens() + 模型窗口映射表 - tokenbudget.go: 中文 token 估算器 + budget 分配(80%利用率) - process.go/buildSystemPrompt: 按 token 预算截断 memory+timeline	2026-07-27 15:26:23 +08:00
root	304c3ae294	refactor: remove IO route mapping, add HTTP API tests, system prompt update	2026-07-02 15:47:16 +08:00