mirror of
https://gitcode.com/JianFeeeee/HomeAgent.git
synced 2026-09-21 17:38:10 +00:00
背景:此前媒体是靠「生成的描述文本」将就进记忆的——写 marker 进正文、 再由正则反解成 media_refs 与图库里的 type=Media 实体。这条链路有三个 致命缺陷:描述由异步模型生成(未生成前媒体等于不存在)、语义检索实质上 只搜描述文字、图库里的「媒体节点」是描述文本的投影而不是媒体本身。 本提交把这条链路整体拆除,媒体改为按自己的原生向量参与记忆: 一、描述链彻底删除(无残留、无兼容分支) - media.Item 去掉 Description/DescribedBy 与对应列; - 删除 Store.Describe / Store.Search / Store.Pending; - 删除 Agent.mediaDescribeLoop / describePendingMedia 与配置项 core.memory.media.describe_on_ingest; - SDK 侧 MediaAttachment 去掉 Description(见 SDK 仓独立提交)。 二、marker 机制删除,媒体归属改为结构化块边 - 删除 mediaMarkerLine/parseMediaMarkers/mediaEntityName/mediaTriplesFromText/ extractMediaDigests/sentenceWithMediaMarkers/docMediaContext; - memory.Triple 新增 MediaDigests 结构化字段;句子文本保持原样, 不再被 marker 污染; - 块以 sentence --contains--> block / document --contains--> block 结构边 挂到承载节点(新增 documents 表与 document 节点种类); - 模型未给原句时用「主谓宾。」拼一句自然语言作落点,不造 marker 文本。 三、旧数据迁移(幂等) - 新增 GraphDB.MigrateLegacyMediaEntities:把 type=Media 的旧实体按短 digest 还原成原生块、挂回原句子、删除旧实体与描述关系;Agent 启动时执行; - CleanupOrphanedSentences 同时看关系引用与块边,避免把只靠块存活的句子 连同块边一起删掉。 四、向量融合:媒体按图本身被召回 - 新增 vector.FuseVectors(逐维求和 + L2 归一化); - Doc.DenseVec = 文本向量 ⊕ 文档块的媒体向量(同 fingerprint 才融合), 新增 Doc.DenseFP,指纹变化触发重算; - ContextEvent.DenseVec 同理融合事件块;事件新增 DenseFP,Prune 只在 同一统一空间内比稠密余弦; - 跨模态视觉路只召回「仍被某层记忆块持有」的媒体,CAS 全库字节不再 直接充当记忆检索结果。 五、同时纳入本分支既有的嵌入基础改造(此前工作区未提交,缺它 HEAD 不可构建) - internal/tfidf 懒回退包、千问三段式多模态 ONNX 空间的 Go 侧 (qwen/embedder.go、image.go、model_input.go)、CLIP 移除、 sdk.NewStore 分词器签名与调用点、embed 侧车 systemd 单元。 验证:go build ./... 、go vet ./...(含 -tags medialive)均通过; 在 HEAD 的独立 worktree 上重放本次暂存集后 go test -short ./internal/... 全部通过(端口冲突类用例在隔离环境中亦通过)。未提交工作区中与本改造 无关的改动(HarmonyOS、waiter、devicebridge、plan.md 等)。
167 lines
3.9 KiB
Go
167 lines
3.9 KiB
Go
package media
|
||
|
||
import (
|
||
"bytes"
|
||
"crypto/rand"
|
||
"fmt"
|
||
"sync"
|
||
"sync/atomic"
|
||
"testing"
|
||
"time"
|
||
)
|
||
|
||
// TestSoak_SustainedMixedLoad 长稳测试:持续混合负载下不变量不破。
|
||
// 用 -run TestSoak -timeout 300s 单独跑,默认 short 模式跳过。
|
||
//
|
||
// 媒体没有独立生命周期管理:blob 是记忆块的内容,块被删除时内容随之删除。
|
||
func TestSoak_SustainedMixedLoad(t *testing.T) {
|
||
if testing.Short() {
|
||
t.Skip("long soak test; run with -run TestSoak")
|
||
}
|
||
dur := 60 * time.Second
|
||
s := newTestStore(t)
|
||
|
||
// 常驻受保护区:全程被记忆块持有,模拟 Graph L3 中的块
|
||
const keepN = 20
|
||
keep := make([]string, keepN)
|
||
keepData := make([][]byte, keepN)
|
||
for i := range keep {
|
||
d := make([]byte, 4096)
|
||
rand.Read(d)
|
||
d = append([]byte(fmt.Sprintf("keep-%d-", i)), d...)
|
||
dg, err := s.Put(d, Item{MIME: "image/png"})
|
||
if err != nil {
|
||
t.Fatal(err)
|
||
}
|
||
keep[i] = dg
|
||
keepData[i] = d
|
||
}
|
||
|
||
stop := make(chan struct{})
|
||
var wg sync.WaitGroup
|
||
var puts, gets, deletes, embeds, searches atomic.Int64
|
||
var fatal atomic.Int64
|
||
|
||
worker := func(name string, fn func(iter int) error) {
|
||
wg.Add(1)
|
||
go func() {
|
||
defer wg.Done()
|
||
for i := 0; ; i++ {
|
||
select {
|
||
case <-stop:
|
||
return
|
||
default:
|
||
}
|
||
if err := fn(i); err != nil {
|
||
fatal.Add(1)
|
||
t.Errorf("%s 第 %d 次失败: %v", name, i, err)
|
||
return
|
||
}
|
||
}
|
||
}()
|
||
}
|
||
|
||
// 写入者 ×3:持续写入一次性内容(无人持有)
|
||
for w := 0; w < 3; w++ {
|
||
wid := w
|
||
worker(fmt.Sprintf("put-%d", wid), func(i int) error {
|
||
b := make([]byte, 2048)
|
||
rand.Read(b)
|
||
b = append([]byte(fmt.Sprintf("eph-%d-%d-", wid, i)), b...)
|
||
if _, err := s.Put(b, Item{MIME: "image/png", Tool: "cmd_run"}); err != nil {
|
||
return err
|
||
}
|
||
puts.Add(1)
|
||
return nil
|
||
})
|
||
}
|
||
|
||
// 读取者 ×3:受保护集必须始终完好
|
||
for r := 0; r < 3; r++ {
|
||
worker("get", func(i int) error {
|
||
idx := i % keepN
|
||
got, err := s.Get(keep[idx])
|
||
if err != nil {
|
||
return err
|
||
}
|
||
if !bytes.Equal(got, keepData[idx]) {
|
||
return fmt.Errorf("内容被改 %s", shortDigest(keep[idx]))
|
||
}
|
||
gets.Add(1)
|
||
return nil
|
||
})
|
||
}
|
||
|
||
// 删除者:持续删除一次性内容(模拟块创建后又被遗忘)
|
||
worker("delete", func(i int) error {
|
||
b := make([]byte, 2048)
|
||
rand.Read(b)
|
||
b = append([]byte(fmt.Sprintf("del-%d-", i)), b...)
|
||
d, err := s.Put(b, Item{MIME: "image/png", Tool: "cmd_run"})
|
||
if err != nil {
|
||
return err
|
||
}
|
||
if err := s.Delete(d); err != nil {
|
||
return err
|
||
}
|
||
deletes.Add(1)
|
||
time.Sleep(time.Millisecond)
|
||
return nil
|
||
})
|
||
|
||
// 向量写入者:持续给新内容嵌入并删除(模拟启动迁移/短命媒体)
|
||
worker("embed", func(i int) error {
|
||
b := make([]byte, 1024)
|
||
rand.Read(b)
|
||
b = append([]byte(fmt.Sprintf("emb-%d-", i)), b...)
|
||
d, err := s.Put(b, Item{MIME: "image/png", Tool: "cmd_run"})
|
||
if err != nil {
|
||
return err
|
||
}
|
||
if err := s.SetVec(d, []float64{1, float64(i % 7)}, "soak-space"); err != nil {
|
||
return err
|
||
}
|
||
embeds.Add(1)
|
||
time.Sleep(time.Millisecond)
|
||
return nil
|
||
})
|
||
|
||
// 检索者
|
||
worker("search", func(i int) error {
|
||
if _, err := s.QueryMediaScored([]float64{1, 0}, "soak-space", 20); err != nil {
|
||
return err
|
||
}
|
||
if _, err := s.Stat(keep[i%keepN]); err != nil {
|
||
return err
|
||
}
|
||
searches.Add(1)
|
||
time.Sleep(2 * time.Millisecond)
|
||
return nil
|
||
})
|
||
|
||
time.Sleep(dur)
|
||
close(stop)
|
||
wg.Wait()
|
||
|
||
if n := fatal.Load(); n > 0 {
|
||
t.Fatalf("%d 个 worker 报致命错误", n)
|
||
}
|
||
|
||
t.Logf("%v 内: put=%d get=%d delete=%d embed=%d search=%d",
|
||
dur, puts.Load(), gets.Load(), deletes.Load(), embeds.Load(), searches.Load())
|
||
|
||
// 收尾断言
|
||
for i, d := range keep {
|
||
got, err := s.Get(d)
|
||
if err != nil {
|
||
t.Fatalf("受保护项丢失 %s: %v", shortDigest(d), err)
|
||
}
|
||
if !bytes.Equal(got, keepData[i]) {
|
||
t.Fatalf("受保护项内容变了 %s", shortDigest(d))
|
||
}
|
||
}
|
||
|
||
st := s.Stats()
|
||
t.Logf("收尾: 条目=%v 字节=%v 类型=%v", st["count"], st["total_bytes"], st["by_kind"])
|
||
}
|