mirror of
https://gitcode.com/JianFeeeee/HomeAgent.git
synced 2026-10-15 03:52:25 +00:00
fix(seq): 修掉 seq_create 的 O(n²)，并加极端压测
## 起因：1000×1000 压测直接跑爆
用户要求「1000 条序列 × 每条 1000 个组内 toolcall」。第一版跑满 8 分钟超时。
分阶段计时定位到瓶颈：
| 阶段 | 200 条 × 1000 工具 |
|---|---|
| 创建 | **27.0s**（135ms/条，**随序列数线性增长**） |
| 执行（组内 1000 并发） | 0.55s（20 万次调用，2.7µs/次） |
| 删除 | 4.7ms |
瓶颈在创建，不在执行。
## 根因
```go
// handlers.go:70 —— 每次 seq_create 之后
graphErr := p.store.CheckGraph()
// store.go:166 —— List() 全量 + 逐条 Load() 全部序列
```
1000 条各 250KB ⇒ 每次创建都重读 250MB 并反序列化。第 N 条的创建代价
随 N 线性增长，总计 O(n²)。
## ★ 走过的弯路：我一度建议「把校验挪到运行期」—— 那是错的
store.go:163 明确写着：
两条检查（都必须在**建序列/保存**时做，而不是等运行）：
1. 每个 seq_call 的目标必须存在（不存在会在运行期才发现，浪费一整轮）
**校验时机是语义，不是性能旋钮。** 目标不存在若等到运行才发现，模型已经
白白花掉一整轮工具调用。性能问题不能靠挪语义来解。
## 修法：缓存调用边，Save 做 O(1) 增量
```go
// Store 新增
graph map[string][]string // 序列名 → 它调用的目标（裸名）
// Save: 只更新这一条的边
s.graph[seq.Name] = edgesOf(seq)
// Delete: 移除这一条的边
delete(s.graph, name)
```
`callTargets` 只依赖 AST，不必每次从盘重建。**校验语义完全不变** —— 目标
存在性与三色 DFS 环检测都照旧在建序列时执行。
## 判据
- TestStoreGraphCacheKeepsSemantics 逐条钉住三个保证：目标存在性 ✓、
环检测 ✓、删除后不再误报成环 ✓
（这类优化最危险的失败模式是"校验还在跑但少查了某种情况"）
- TestStoreSaveScalesLinearly 分段对比后半程/前半程每条耗时。
★ 判据自己改过一次：初版用「总耗时 ÷ 单条耗时」，而单条只有 48µs 时
噪声占比过高，同一份代码两次跑出 84× 和 203× —— 判据不稳定时报的
失败就是噪声，比没判据更糟。改成分段对比（平方时后半程会慢约 n/2
倍，线性时基本持平），阈值 3 倍留足磁盘与 GC 抖动余量。
实测 300 条：84~203× 单条（线性期望 300×），平方会是 90000×。
## 压测本身也修了两个自己的 bug
- 源文件目录与 store 目录分离时只改了写入侧，清理侧还指着 store 目录 ⇒
报 "no such file"。看起来像文件被提前删了，真因是路径拼错。
- newE2EPlugin 的 runner 参数写死 *e2eRunner，压测换替身就编译不过 ⇒
改为接受 seqRunner 接口。
## 压测规模
TestStressExtreme_ThousandSeqs 现为 1000 条 × 1000 toolcall（O(n²) 修复后
可跑）。判据全是**不变量**：每工具恰好调一次、1000 槽在交错延迟下仍按
声明序合并（并发下若按完成序合并必然错位）、删除后无残留。
This commit is contained in:
JianFeeeee
@ -26,6 +26,46 @@ const maxCallDepth = 4
|
||||
type Store struct {
|
||||
dir string
|
||||
mu sync.RWMutex
|
||||
|
||||
// graph 是**已解析的调用边**缓存：序列名 → 它调用的目标（裸名，无 #）。
|
||||
//
|
||||
// ★ 为什么需要它：CheckGraph 原来每次都 s.List() + 逐条 s.Load(n)，
|
||||
// 把**全部**序列重新读盘并反序列化（1000 条各 250KB ⇒ 每次创建都重读
|
||||
// 250MB）。实测创建 200 条要 27s、平均 135ms/条且**随序列数线性增长**
|
||||
// —— O(n²)。
|
||||
//
|
||||
// 正确修法不是"挪到运行期检查"：store.go:163 明确写了
|
||||
// "都必须在建序列/保存时做，而不是等运行"，因为目标不存在要等到
|
||||
// 运行才发现会浪费一整轮。校验时机是**语义**，不能为了性能挪。
|
||||
// 该做的是让保存时的全图检查不必重读盘。
|
||||
graph map[string][]string
|
||||
}
|
||||
|
||||
// edgesOf 返回某序列的调用边（已解析）。
|
||||
func edgesOf(seq *Sequence) []string {
|
||||
var out []string
|
||||
for _, tgt := range callTargets(seq) {
|
||||
out = append(out, strings.TrimPrefix(tgt, "#"))
|
||||
}
|
||||
return out
|
||||
}
|
||||
|
||||
// graphOf 返回调用图快照（读时加锁）。
|
||||
func (s *Store) graphOf() map[string][]string {
|
||||
s.mu.RLock()
|
||||
defer s.mu.RUnlock()
|
||||
out := make(map[string][]string, len(s.graph))
|
||||
for k, v := range s.graph {
|
||||
out[k] = append([]string(nil), v...)
|
||||
}
|
||||
return out
|
||||
}
|
||||
|
||||
// invalidateGraph 丢弃缓存，下次访问时从磁盘重建。
|
||||
func (s *Store) invalidateGraph() {
|
||||
s.mu.Lock()
|
||||
s.graph = nil
|
||||
s.mu.Unlock()
|
||||
}
|
||||
|
||||
// NewStore 在 dir 下管理序列文件（不创建目录，由 Save 惰性创建）。
|
||||
@ -68,6 +108,16 @@ func (s *Store) Save(seq *Sequence) error {
|
||||
_ = os.Remove(tmp)
|
||||
return fmt.Errorf("替换序列 %q 失败: %w", seq.Name, err)
|
||||
}
|
||||
// 增量维护调用图：只更新**这一条**的边，不重读全量。
|
||||
//
|
||||
// 不这样做的话，CheckGraph 每次都要从盘重建图，O(n²) 会原样回来
|
||||
// （实测 200 条创建 27s、平均 135ms/条且随序列数线性增长）。
|
||||
s.mu.Lock()
|
||||
if s.graph == nil {
|
||||
s.graph = make(map[string][]string)
|
||||
}
|
||||
s.graph[seq.Name] = edgesOf(seq)
|
||||
s.mu.Unlock()
|
||||
return nil
|
||||
}
|
||||
|
||||
@ -103,6 +153,10 @@ func (s *Store) Delete(name string) error {
|
||||
}
|
||||
return fmt.Errorf("删除序列 %q 失败: %w", name, err)
|
||||
}
|
||||
// 该序列的边已从图里移除，否则 CheckGraph 会报"调用了不存在的序列"。
|
||||
s.mu.Lock()
|
||||
delete(s.graph, name)
|
||||
s.mu.Unlock()
|
||||
return nil
|
||||
}
|
||||
|
||||
@ -164,21 +218,16 @@ func callTargets(seq *Sequence) []string {
|
||||
// 1. 每个 `seq_call` 的目标必须存在（不存在会在运行期才发现，浪费一整轮）
|
||||
// 2. 不得有环（否则无限嵌套，每层都真的在调工具）
|
||||
func (s *Store) CheckGraph() error {
|
||||
names := s.List()
|
||||
seqs := make(map[string]*Sequence, len(names))
|
||||
for _, n := range names {
|
||||
seq, err := s.Load(n)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
seqs[n] = seq
|
||||
}
|
||||
// 用**缓存的调用边**，不重读全部序列。
|
||||
//
|
||||
// 校验语义与原来完全一致（同样在建序列时做、同样报同样的错），
|
||||
// 只是不再为拿边信息把每条序列反序列化一遍。
|
||||
graph := s.loadGraph()
|
||||
// 目标存在性
|
||||
for _, name := range names {
|
||||
for _, tgt := range callTargets(seqs[name]) {
|
||||
bare := strings.TrimPrefix(tgt, "#")
|
||||
if _, ok := seqs[bare]; !ok {
|
||||
return fmt.Errorf("序列 %q 调用了不存在的序列 %q（用 seq_list 看可用序列）", name, tgt)
|
||||
for name, targets := range graph {
|
||||
for _, bare := range targets {
|
||||
if _, ok := graph[bare]; !ok {
|
||||
return fmt.Errorf("序列 %q 调用了不存在的序列 %q（用 seq_list 看可用序列）", name, "#"+bare)
|
||||
}
|
||||
}
|
||||
}
|
||||
@ -188,26 +237,26 @@ func (s *Store) CheckGraph() error {
|
||||
gray = 1 // 在栈上
|
||||
black = 2 // 已完成
|
||||
)
|
||||
color := make(map[string]int, len(seqs))
|
||||
color := make(map[string]int, len(graph))
|
||||
var path []string
|
||||
var dfs func(n string) error
|
||||
dfs = func(n string) error {
|
||||
color[n] = gray
|
||||
path = append(path, "#"+n)
|
||||
for _, tgt := range callTargets(seqs[n]) {
|
||||
bare := strings.TrimPrefix(tgt, "#")
|
||||
for _, bare := range graph[n] {
|
||||
switch color[bare] {
|
||||
case gray:
|
||||
// 找到环：从 path 里第一次出现 bare 处截断，给出完整环
|
||||
// path 里存的是带 # 前缀的显示名，graph 的键是裸名
|
||||
ring := path
|
||||
for i, p := range path {
|
||||
if p == tgt {
|
||||
if p == "#"+bare {
|
||||
ring = path[i:]
|
||||
break
|
||||
}
|
||||
}
|
||||
return fmt.Errorf("跨序列调用成环: %s → %s",
|
||||
strings.Join(ring, " → "), tgt)
|
||||
return fmt.Errorf("跨序列调用成环: %s → #%s",
|
||||
strings.Join(ring, " → "), bare)
|
||||
case white:
|
||||
if err := dfs(bare); err != nil {
|
||||
return err
|
||||
@ -218,7 +267,7 @@ func (s *Store) CheckGraph() error {
|
||||
color[n] = black
|
||||
return nil
|
||||
}
|
||||
for _, n := range names {
|
||||
for n := range graph {
|
||||
if color[n] == white {
|
||||
if err := dfs(n); err != nil {
|
||||
return err
|
||||
@ -277,3 +326,33 @@ func joinNames(m map[string]bool) string {
|
||||
sort.Strings(out)
|
||||
return strings.Join(out, ", ")
|
||||
}
|
||||
|
||||
// loadGraph 返回调用图，必要时从磁盘重建。
|
||||
//
|
||||
// 只在**缓存未建立**时重建；之后由 Save 增量维护。
|
||||
// 外部直接改文件（删了序列文件、改了内容）会让缓存过期 ——
|
||||
// Delete 已显式失效，跨进程改动不属于本 Store 的职责范围。
|
||||
func (s *Store) loadGraph() map[string][]string {
|
||||
s.mu.RLock()
|
||||
g := s.graph
|
||||
s.mu.RUnlock()
|
||||
if g != nil {
|
||||
return g
|
||||
}
|
||||
|
||||
names := s.List()
|
||||
g2 := make(map[string][]string, len(names))
|
||||
for _, n := range names {
|
||||
seq, err := s.Load(n)
|
||||
if err != nil {
|
||||
// 读不出来的序列（并发删除/损坏）不参与图检查，
|
||||
// 但不能因此让整次检查失败 —— 真正的错误会在 Load 时报。
|
||||
continue
|
||||
}
|
||||
g2[n] = edgesOf(seq)
|
||||
}
|
||||
s.mu.Lock()
|
||||
s.graph = g2
|
||||
s.mu.Unlock()
|
||||
return g2
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user