mirror of
https://gitcode.com/JianFeeeee/HomeAgent.git
synced 2026-09-21 09:28:14 +00:00
背景:此前媒体是靠「生成的描述文本」将就进记忆的——写 marker 进正文、 再由正则反解成 media_refs 与图库里的 type=Media 实体。这条链路有三个 致命缺陷:描述由异步模型生成(未生成前媒体等于不存在)、语义检索实质上 只搜描述文字、图库里的「媒体节点」是描述文本的投影而不是媒体本身。 本提交把这条链路整体拆除,媒体改为按自己的原生向量参与记忆: 一、描述链彻底删除(无残留、无兼容分支) - media.Item 去掉 Description/DescribedBy 与对应列; - 删除 Store.Describe / Store.Search / Store.Pending; - 删除 Agent.mediaDescribeLoop / describePendingMedia 与配置项 core.memory.media.describe_on_ingest; - SDK 侧 MediaAttachment 去掉 Description(见 SDK 仓独立提交)。 二、marker 机制删除,媒体归属改为结构化块边 - 删除 mediaMarkerLine/parseMediaMarkers/mediaEntityName/mediaTriplesFromText/ extractMediaDigests/sentenceWithMediaMarkers/docMediaContext; - memory.Triple 新增 MediaDigests 结构化字段;句子文本保持原样, 不再被 marker 污染; - 块以 sentence --contains--> block / document --contains--> block 结构边 挂到承载节点(新增 documents 表与 document 节点种类); - 模型未给原句时用「主谓宾。」拼一句自然语言作落点,不造 marker 文本。 三、旧数据迁移(幂等) - 新增 GraphDB.MigrateLegacyMediaEntities:把 type=Media 的旧实体按短 digest 还原成原生块、挂回原句子、删除旧实体与描述关系;Agent 启动时执行; - CleanupOrphanedSentences 同时看关系引用与块边,避免把只靠块存活的句子 连同块边一起删掉。 四、向量融合:媒体按图本身被召回 - 新增 vector.FuseVectors(逐维求和 + L2 归一化); - Doc.DenseVec = 文本向量 ⊕ 文档块的媒体向量(同 fingerprint 才融合), 新增 Doc.DenseFP,指纹变化触发重算; - ContextEvent.DenseVec 同理融合事件块;事件新增 DenseFP,Prune 只在 同一统一空间内比稠密余弦; - 跨模态视觉路只召回「仍被某层记忆块持有」的媒体,CAS 全库字节不再 直接充当记忆检索结果。 五、同时纳入本分支既有的嵌入基础改造(此前工作区未提交,缺它 HEAD 不可构建) - internal/tfidf 懒回退包、千问三段式多模态 ONNX 空间的 Go 侧 (qwen/embedder.go、image.go、model_input.go)、CLIP 移除、 sdk.NewStore 分词器签名与调用点、embed 侧车 systemd 单元。 验证:go build ./... 、go vet ./...(含 -tags medialive)均通过; 在 HEAD 的独立 worktree 上重放本次暂存集后 go test -short ./internal/... 全部通过(端口冲突类用例在隔离环境中亦通过)。未提交工作区中与本改造 无关的改动(HarmonyOS、waiter、devicebridge、plan.md 等)。
109 lines
3.0 KiB
Go
109 lines
3.0 KiB
Go
package sdk
|
||
|
||
import (
|
||
"fmt"
|
||
"os"
|
||
"path/filepath"
|
||
"sync"
|
||
|
||
"gitcode.com/JianFeeeee/HomeAgent/internal/knowledge"
|
||
"gitcode.com/JianFeeeee/HomeAgent/internal/memory"
|
||
doc "gitcode.com/JianFeeeee/HomeAgent/internal/memory/document"
|
||
"gitcode.com/JianFeeeee/HomeAgent/internal/memory/text"
|
||
)
|
||
|
||
// VirtualInstance 是完全隔离的虚拟存储集合,供内置插件(如 healthcheck)
|
||
// 做不污染生产存储的"写→查→删"往返自检。所有写入发生在独立临时目录,
|
||
// 由 Cleanup 统一销毁。
|
||
type VirtualInstance struct {
|
||
Memory MemoryAPI
|
||
Knowledge KnowledgeAPI
|
||
DocMemory DocMemoryAPI
|
||
TextMemory TextMemoryAPI
|
||
|
||
dir string
|
||
mu sync.Mutex
|
||
created bool
|
||
}
|
||
|
||
// newBaseDir 返回一个隔离的临时根目录(hot 前缀,避免与生产数据混淆)。
|
||
func newBaseDir(scope string) (string, error) {
|
||
return os.MkdirTemp("", "homeagent_selftest_"+scope+"_")
|
||
}
|
||
|
||
// NewVirtualInstance 创建完全隔离的测试实例,使用独立临时目录。
|
||
func NewVirtualInstance(scope string) (*VirtualInstance, error) {
|
||
if scope == "" {
|
||
scope = "hc"
|
||
}
|
||
base, err := newBaseDir(scope)
|
||
if err != nil {
|
||
return nil, err
|
||
}
|
||
|
||
v := &VirtualInstance{dir: base, created: true}
|
||
if err := v.initLocked(); err != nil {
|
||
os.RemoveAll(base)
|
||
return nil, err
|
||
}
|
||
return v, nil
|
||
}
|
||
|
||
// initLocked 初始化各隔离存储。调用方须持 v.mu。
|
||
func (v *VirtualInstance) initLocked() error {
|
||
memDB, err := memory.NewGraphDB(filepath.Join(v.dir, "graph.db"))
|
||
if err != nil {
|
||
return fmt.Errorf("virtual graph db: %w", err)
|
||
}
|
||
v.Memory = NewGraphMemory(memDB)
|
||
|
||
ks := knowledge.NewStore(filepath.Join(v.dir, "knowledge"))
|
||
if err := ks.Start(); err != nil {
|
||
return fmt.Errorf("virtual knowledge store: %w", err)
|
||
}
|
||
v.Knowledge = NewKnowledge(ks)
|
||
|
||
ds := doc.NewStore(filepath.Join(v.dir, "documents"), memory.TokenizeWords)
|
||
if err := ds.Start(); err != nil {
|
||
return fmt.Errorf("virtual doc store: %w", err)
|
||
}
|
||
v.DocMemory = NewDocMemory(ds)
|
||
|
||
tm := text.New(filepath.Join(v.dir, "text"))
|
||
if err := tm.Start(); err != nil {
|
||
return fmt.Errorf("virtual text memory: %w", err)
|
||
}
|
||
v.TextMemory = NewTextMemory(tm)
|
||
return nil
|
||
}
|
||
|
||
// Cleanup 关闭并销毁该虚拟实例的全部临时存储。之后实例不可再用。
|
||
func (v *VirtualInstance) Cleanup() {
|
||
v.mu.Lock()
|
||
defer v.mu.Unlock()
|
||
if !v.created {
|
||
return
|
||
}
|
||
if tm, ok := v.TextMemory.(*textMemoryImpl); ok && tm.tm != nil {
|
||
tm.tm.Stop()
|
||
}
|
||
if ds, ok := v.DocMemory.(*docMemoryImpl); ok && ds.ds != nil {
|
||
ds.ds.Stop()
|
||
}
|
||
if ks, ok := v.Knowledge.(*knowledgeImpl); ok && ks.ks != nil {
|
||
ks.ks.Stop()
|
||
}
|
||
if gm, ok := v.Memory.(*graphMemory); ok && gm.db != nil {
|
||
gm.db.Close()
|
||
}
|
||
os.RemoveAll(v.dir)
|
||
v.created = false
|
||
}
|
||
|
||
// Reset 清理当前实例并重建一个全新的隔离实例,用于每轮自检前重置状态。
|
||
// 返回新实例;失败时旧实例已被清理、返回 err,调用方需重新创建。
|
||
func (v *VirtualInstance) Reset(scope string) (*VirtualInstance, error) {
|
||
v.Cleanup()
|
||
return NewVirtualInstance(scope)
|
||
}
|