mirror of
https://gitcode.com/JianFeeeee/HomeAgent.git
synced 2026-10-15 12:15:16 +00:00
refactor(memory)!: 块 union 化，彻底淘汰 CAS 第一阶段（生产代码）
块自带负载（MemoryBlock.Data），删 PayloadDigest；检索纯向量，媒体随块 同生灭。生产代码全绿；CAS 专属测试将在下一提交随判据重写。 - memory: Data BLOB + migration9；blockColumns 不含 data（召回只比向量）； MediaBlockID 内容派生 ID；BlockByIDPrefix/BlockData 按需加载 - sdk: memory_impl 去 media.Store；MemoryBlockView PayloadDigest→HasData - core: mediaref/graphmedia/crossmodal/medialoop 全部改块语义； captureBlockMedia 直接产块；resolveMediaRefs 按块 ID 解析 - knowledge: 媒体字节随条目目录自带（File+Data），删 mediaGet/mediaPut - webui: graphBlockView/pulse payload_digest→has_data - bootstrap/registry: 去 MediaStore 接线（SetMediaStore 空实现，待⑥删包）
This commit is contained in:
JianFeeeee
@ -1,193 +1,115 @@
|
||||
package core
|
||||
|
||||
import (
|
||||
"errors"
|
||||
"log"
|
||||
"sync"
|
||||
"sync/atomic"
|
||||
|
||||
"github.com/JianFeeeee/HomeAgent/internal/memory"
|
||||
"github.com/JianFeeeee/HomeAgent/internal/memory/vector"
|
||||
)
|
||||
|
||||
// 媒体与记忆块的生命周期辅助。
|
||||
//
|
||||
// 媒体不单独做生命周期管理（没有 GC、没有引用计数）：blob 是记忆块的内容，
|
||||
// 块的创建/迁移/删除由记忆系统本身决定，块被永久删除时内容随之删除。
|
||||
// 图片不靠文本描述索引——它只按自己的统一空间向量被检索。
|
||||
|
||||
// heldMediaDigests 汇总三层记忆当前持有的媒体 digest 集合。
|
||||
// ★ 2026-10-11：块自带负载（media.Store/CAS 已淘汰）。
|
||||
//
|
||||
// CAS 是全库字节存储，它的检索结果不等于「记忆里的媒体」——
|
||||
// 召回前用它把已无处可归的内容过滤掉。
|
||||
func (a *Agent) heldMediaDigests() map[string]bool {
|
||||
held := map[string]bool{}
|
||||
collect := func(blocks []memory.MemoryBlock) {
|
||||
for _, b := range blocks {
|
||||
if b.PayloadDigest != "" {
|
||||
held[b.PayloadDigest] = true
|
||||
}
|
||||
}
|
||||
}
|
||||
if a.context != nil {
|
||||
collect(a.context.Blocks())
|
||||
}
|
||||
if a.docStore != nil {
|
||||
collect(a.docStore.Blocks())
|
||||
}
|
||||
if a.memory != nil {
|
||||
if blocks, err := a.memory.MemoryBlocks(); err == nil {
|
||||
collect(blocks)
|
||||
}
|
||||
}
|
||||
return held
|
||||
}
|
||||
|
||||
// payloadHeld 报告某个 digest 是否仍被三层记忆中的一等块持有。
|
||||
// 这是删除前的一次活查询（不是持久化账本）：同一份字节可能同时被多个块共享。
|
||||
func (a *Agent) payloadHeld(digest string) bool {
|
||||
if digest == "" {
|
||||
return false
|
||||
}
|
||||
if a.context != nil {
|
||||
for _, b := range a.context.Blocks() {
|
||||
if b.PayloadDigest == digest {
|
||||
return true
|
||||
}
|
||||
}
|
||||
}
|
||||
if a.docStore != nil {
|
||||
for _, b := range a.docStore.Blocks() {
|
||||
if b.PayloadDigest == digest {
|
||||
return true
|
||||
}
|
||||
}
|
||||
}
|
||||
if a.memory != nil {
|
||||
if blocks, err := a.memory.MemoryBlocks(); err == nil {
|
||||
for _, b := range blocks {
|
||||
if b.PayloadDigest == digest {
|
||||
return true
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
return false
|
||||
}
|
||||
|
||||
// forgetPayloads 在记忆块被永久删除后删除它们的内容。
|
||||
// 此前这里有 heldMediaDigests / payloadHeld / forgetPayloads 三个函数，
|
||||
// 它们存在的**唯一理由**是补 CAS 的漏：CAS 是全库字节存储，它的检索结果
|
||||
// 不等于「记忆里的媒体」，所以要靠一套 digest 记账把已无处可归的内容滤掉。
|
||||
// 块自带负载后这一整类问题从根上消失——字节就在块里，块没了字节就没了，
|
||||
// 不需要账本、不需要 GC、不需要「删前先问谁还持有」。
|
||||
//
|
||||
// 与文本块一致：删除块即删除内容。只有确认没有任何存活块仍共享该 digest
|
||||
// 时才删字节（同一张图可能被多个块引用）。
|
||||
func (a *Agent) forgetPayloads(digests []string) {
|
||||
if a.mediaStore == nil {
|
||||
return
|
||||
}
|
||||
for _, d := range digests {
|
||||
if d == "" || a.payloadHeld(d) {
|
||||
continue
|
||||
}
|
||||
if err := a.mediaStore.Delete(d); err != nil {
|
||||
log.Printf("[media] 删除内容失败 %s: %v", shortDigest(d), err)
|
||||
}
|
||||
}
|
||||
}
|
||||
// 因此那三个函数被整体删除，只保留向量迁移（它仍需要，因为换模型/换维度
|
||||
// 会让历史块的向量落在另一个空间里）。
|
||||
|
||||
// reembedStaleMedia 在启动时批量迁移历史媒体向量到当前向量空间。
|
||||
// reembedStaleMedia 在启动时批量把历史媒体块的向量迁移到当前向量空间。
|
||||
//
|
||||
// 触发场景（任一变化都会导致旧向量无法参与查询）：
|
||||
// - 切换模型（模型 A→模型 B，fp 变了）
|
||||
// - 切换向量维度（ONNX→HTTP dim 512→1024）
|
||||
// - 首次部署嵌入服务（历史无向量的媒体补算）
|
||||
// - 嵌入服务离线后重新上线（失败条目 vec_model 仍为空）
|
||||
// - 嵌入服务离线后重新上线（失败条目 fingerprint 仍为空）
|
||||
//
|
||||
// 并发策略：启动时用 worker pool 并行迁移，避免上千张图片串行耗时过长。
|
||||
// 并发数在 ONNX 内嵌路径下不超 CPU 核心数（避免 ONNX 并发限流），
|
||||
// 外部 API 路径下不超 8（避免打爆外部服务）。
|
||||
func (a *Agent) reembedStaleMedia() {
|
||||
if a.multimodalSpace == nil || a.mediaStore == nil {
|
||||
if a.multimodalSpace == nil || !a.multimodalSpace.Loaded() || a.memory == nil {
|
||||
return
|
||||
}
|
||||
fp := a.multimodalSpace.Fingerprint()
|
||||
digests, err := a.mediaStore.StaleVecDigestsAll(fp)
|
||||
stale, err := a.memory.StaleBlockVectors(fp)
|
||||
if err != nil {
|
||||
log.Printf("[media] 查询需重算向量的媒体失败: %v", err)
|
||||
log.Printf("[media] 查询需重算向量的块失败: %v", err)
|
||||
return
|
||||
}
|
||||
if len(digests) == 0 {
|
||||
log.Printf("[media] 无需迁移向量（所有媒体已与当前空间对齐 fp=%s）", shortFP(fp))
|
||||
// 只迁图像：多模态空间当前覆盖 text+image，音频/视频不在其内
|
||||
// （不拿别的模态的向量顶替——那是静默错配）。
|
||||
var targets []memory.MemoryBlock
|
||||
for _, b := range stale {
|
||||
if b.Modality == memory.BlockImage && len(b.Data) > 0 {
|
||||
targets = append(targets, b)
|
||||
}
|
||||
}
|
||||
if len(targets) == 0 {
|
||||
log.Printf("[media] 无需迁移向量（所有图像块已与当前空间对齐 fp=%s）", shortFP(fp))
|
||||
return
|
||||
}
|
||||
|
||||
// 并发度：ONNX 内嵌不超过 4，外部 API 不超过 8（由配置或实际环境动态定）
|
||||
workers := 4
|
||||
if fp[:min(4, len(fp))] == "http:" {
|
||||
if len(fp) >= 5 && fp[:5] == "http:" {
|
||||
workers = 8
|
||||
}
|
||||
log.Printf("[media] 启动向量迁移: %d 条 → 新空间 fp=%s dim=%d workers=%d",
|
||||
len(digests), shortFP(fp), a.multimodalSpace.Dim(), workers)
|
||||
log.Printf("[media] 启动向量迁移: %d 个图像块 → fp=%s dim=%d workers=%d",
|
||||
len(targets), shortFP(fp), a.multimodalSpace.Dim(), workers)
|
||||
|
||||
jobs := make(chan string, workers*2)
|
||||
var done, failed, unsupported int64
|
||||
var failedMu sync.Mutex
|
||||
jobs := make(chan memory.MemoryBlock, workers*2)
|
||||
var done, failed int64
|
||||
var wg sync.WaitGroup
|
||||
|
||||
for i := 0; i < workers; i++ {
|
||||
wg.Add(1)
|
||||
go func() {
|
||||
defer wg.Done()
|
||||
for d := range jobs {
|
||||
switch err := a.reembedOne(d, fp); {
|
||||
case err == nil:
|
||||
atomic.AddInt64(&done, 1)
|
||||
case errors.Is(err, vector.ErrModalityUnsupported):
|
||||
// 该模态不在本空间内（如音频）：不重试、不计失败，
|
||||
// 也不拿另一个模型的向量顶替。
|
||||
atomic.AddInt64(&unsupported, 1)
|
||||
default:
|
||||
failedMu.Lock()
|
||||
failed++
|
||||
failedMu.Unlock()
|
||||
for b := range jobs {
|
||||
if err := a.reembedOneBlock(b, fp); err != nil {
|
||||
atomic.AddInt64(&failed, 1)
|
||||
continue
|
||||
}
|
||||
atomic.AddInt64(&done, 1)
|
||||
}
|
||||
}()
|
||||
}
|
||||
|
||||
for i, d := range digests {
|
||||
jobs <- d
|
||||
// 每迁移 20 条输出进度日志，让用户看到迁移在推进
|
||||
for i, b := range targets {
|
||||
jobs <- b
|
||||
if (i+1)%20 == 0 {
|
||||
log.Printf("[media] 向量迁移进度: %d/%d (done=%d failed=%d)", i+1, len(digests), atomic.LoadInt64(&done), failed)
|
||||
log.Printf("[media] 向量迁移进度: %d/%d (done=%d failed=%d)",
|
||||
i+1, len(targets), atomic.LoadInt64(&done), failed)
|
||||
}
|
||||
}
|
||||
close(jobs)
|
||||
wg.Wait()
|
||||
log.Printf("[media] 向量迁移完成: 成功=%d 失败=%d 不在本空间=%d 总计=%d fp=%s",
|
||||
done, failed, unsupported, len(digests), shortFP(fp))
|
||||
log.Printf("[media] 向量迁移完成: 成功=%d 失败=%d 总计=%d fp=%s",
|
||||
done, failed, len(targets), shortFP(fp))
|
||||
}
|
||||
|
||||
// reembedOne 为单条媒体重新计算向量并写入（stat/get 失败时跳过该条目）。
|
||||
// reembedOneBlock 为一个图像块重算向量并写回。负载就在块里，无需外部取字节。
|
||||
//
|
||||
// 模态不在本空间覆盖范围时返回 ErrModalityUnsupported，调用方据此区分
|
||||
// 「永久无向量」与「本次失败重试」。
|
||||
func (a *Agent) reembedOne(digest, fp string) error {
|
||||
it, err := a.mediaStore.Stat(digest)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
data, err := a.mediaStore.Get(digest)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
mime := it.MIME
|
||||
func (a *Agent) reembedOneBlock(b memory.MemoryBlock, fp string) error {
|
||||
mime := b.MIME
|
||||
if mime == "" {
|
||||
mime = "image/png"
|
||||
}
|
||||
vec, err := a.multimodalSpace.EmbedImageDense(data, mime)
|
||||
vec, err := a.multimodalSpace.EmbedImageDense(b.Data, mime)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
return a.mediaStore.SetVec(digest, vec, fp)
|
||||
if err := a.memory.SetBlockVector(b.ID, vec, fp); err != nil {
|
||||
return err
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
// shortFP 截断 fingerprint 为可读日志格式。
|
||||
|
||||
Reference in New Issue
Block a user