|
|
7934507179
|
fix(quota): 未就绪适配器污染负 memo；被拒凭据被后续 404 掩盖
端到端验证时撞出两个真缺陷，都是单元测试全绿、隔离实例打真上游才暴露。
一、负 memo 语义混用
负 memo 说的是「这台 HOST 没有余额端点」，且无条件在每次探测前生效。
openDesign 缺 control_key 说的是「这台部署还没配」—— 两件事共用一个条目：
1. 未配 control_key → 探测 → 负 memo
2. 操作员写入 key → 探测被退避拦下，adapter 根本没跑
3. 结果：修复看起来无效，源持续沉默（退避窗口可达数小时）
不能靠「skip 就不记 memo」解决：真实 vela 主机上另外三个 adapter 都返回
404（关于主机的持久结论，正是 memo 存在的理由），verdict 一定是普通 skip。
做法是 memo 条目带上「哪些 vendor 因自身未配置而无法判断」：
- 未就绪的 adapter 直接不跑（跑了只能得到 401 或伪造的 skip）
- 条目带 unready 集合；该 vendor 配置好后条目作废重算
- 仍缺配置时条目依然写入（否则无看板的主机回到每次开页 60 秒超时），
但不退避 —— 退避会拒绝那个本来能成功的探测
二、401 被下一个 adapter 的 404 掩盖
adapter 循环不停在 error，而「最后一个胜」不精确：openDesign 走厂商的整份
主机列表，是最可能看到「key rejected」的那个，但它也可能排在最前（memo 记
得它应答过，下次就优先它）—— 于是它的 401 被下一个 adapter 的
404「no dashboard here」分类成「这台主机没有余额端点」。两种情况的修复动作
完全相反，输出却一样。规则改为：被拒凭据优先，且不被覆盖。
判据：12/12 变异全杀。三条曾经存活或误杀，逐条查清：
- rejected-as-skip 存活是因为测试没有复现生产调用顺序（memo 空 → openDesign
排最后 → 旧规则也能过），测试已改为预置 memo 并让另三个 adapter 走同一个
stub（它们读 base 而非 api_base，否则会全部传输失败）
- no-cred-guard 并非存活，只是杀它的不是我以为的那个测试（门禁后面还有
一道检查），预期已改正
- unready-memo-not-dropped 是真等价变异（known=false 与 nil 只差一次廉价
探活），已从清单移除
(cherry picked from commit 83f1ec0807)
|
2026-10-07 17:37:22 +08:00 |
|
|
|
a1fddf72b7
|
fix(quota): 十三个退避中的源被渲染成「有数据」
## 症状
生产 Quota 页面上 17 个源里 13 个显示「有数据」徽标 —— 而它们实际上什么都
没返回，只是刚刚被退避跳过。
## 根因（三层，逐层都静默）
**① 退避记录缺 `skipped` 标记**
`due_sources` 与 `collectSource` 返回退避记录时没有 `skipped = true`，页面的
`filter(r => !r.skipped)` 就把它们当正常记录放进卡片。卡片渲染匹配已知字段，
一条只有 `reason` 的记录什么都匹配不上，于是落到兜底分支。
**② 兜底分支文案是「有数据」**
那是个断言 —— 它在说「探测有应答」。落到这里的记录其实是：一条退避通知、
一种我们不认识的错误形状、或供应商改了响应格式。把「没有证据」说成「有数据」，
十三个死上游就被渲染成健康的了。改成「未探测」。
**③ 退避与「没有余额接口」被混为一谈**
页脚原本统一说「未暴露余额接口」。这是对上游的另一种断言，而且对死上游是错的
—— 它有接口，只是暂时没探到。
## 「只改了一处」这个坑
`render()` 改成按 `backing_off` 标记分组之后，两个调用点都必须传**记录**而不是
名字。我先改了刷新路径就部署，结果是页脚显示「未列出 13 个源：、、、……」——
症状看起来像渲染 bug，实际是两个调用点与同一个函数之间的契约不一致。
快照路径那行 `.map(function(r){ return r.name; })` 是后来才补的。
判据 `TestQuotaRenderCallSitesPassRecordsNotNames` 现在要求两处都在。
## 顺带修掉的两个真 bug
**空 Lua 表在 Go 侧解码成 `{}` 而不是 `[]`**
`plan.backing_off || []` 里 `{}` 是 truthy，空表会原样进入 `out.concat()` 并抛错，
整次刷新报失败。改用 `Array.isArray` —— 它与插件实际返回的类型匹配。
**分组靠文案匹配是个定时炸弹**
原先用 `reason.indexOf("backing off") === 0` 判断退避。理由字符串一旦本地化，
退避就会被并进「未暴露余额接口」。改用显式 `backing_off: true` 标记，
判据里也改成按标记匹配 —— 变异把文案改回英文立刻变红。
## 判据
新增两条：
- `TestQuotaBackoffRecordIsSkippedAndFlagged` —— 退避记录必须带 `skipped` 和
`backing_off` 标记，且必须有 reason（否则卡片是空的）
- `TestQuotaRenderCallSitesPassRecordsNotNames` —— 两个调用点都不得把跳过列表
映射成名字
变异自证四次全部变红：去掉 `skipped`、去掉 `backing_off`、文案改回英文、
快照路径改回 map-to-name。
## 生产实测（浏览器真实点击）
```
第1轮 1694ms: 4 个源 · 0 个读取失败
13 个源正在退避（连续探测失败，等下次重试）：trae、qijiar、toter、…
第2轮 2488ms: 4 个源 · 0 个读取失败
13 个源正在退避（…）：trae、qijiar、toter、…
```
页面现在只列 4 个真有数据的源，13 个退避中的归到页脚并说明原因。
Co-Authored-By: ModelRouter <noreply@modelrouter.dev>
|
2026-10-05 10:27:18 +08:00 |
|
|
|
b9a025efba
|
feat(quota): 判定与记录回到共享 VM，只有网络等待才分片
## 我引入的自相矛盾
分片是为解决这个量出来的：
单源探测（无竞争） 1.4 – 3.3 s
20 源 Promise.all 29 s
20 源串行理论值 ≈ 29 s ← 吻合
根因是 Plugins.Call 持 p.mu 到 Lua 函数返回，**含全部网络等待**；一个 Lua VM
只有一个栈，锁不能去掉。于是每个并发调用用自己的 VM 跑同一份源码（实测 8 分片
2.407s → 0.304s）。
但分片 VM 有自己的 PLUGIN.state —— 而**退避状态就存在 state 里**：
fanout（分片） → memo 0 条 → 退避永不生效，每轮都付满 12s
call（共享 VM） → memo 17 条 → 13.1s → 4.8s
我设计分片时写了「分片不碰 state」这条硬约束（防 billing 的累加在各分片分叉、
saver 写出随机一份），却没意识到探测的退避状态恰好住在那里。约束和功能打架。
## 解法：按职责切开，不搬家
把退避表移到网关（B）能解决，但 quota 的 adapter memo 也在 state 里，而且
「插件自包含」是这个插件机制的前提。搬一半比不搬更糟。
所以判定与记录留在插件里，共享 VM 负责；只有网络等待分片：
due_sources 共享 VM，纯判定，不发请求（微秒级）
fanout 只对 due 里的源分片探测
memo_record 共享 VM，把这轮结果（成功和失败都记）写回
一个分片也不碰 state —— 约束保住了。
## 实测（隔离实例，18 源，与生产同配置）
第1轮 10163 ms 退避跳过 0 分片 18 答了 4
第2轮 1299 ms 退避跳过 14 分片 4 答了 4
第3轮 1288 ms 退避跳过 14 分片 4 答了 4
第4轮 1316 ms 退避跳过 14 分片 4 答了 4
**29s → 1.3s，且 4 个有余额的源每次都探到** —— 不是靠少显示换来的快。
## 几个细节
- due_sources 的 body 里不能出现 collectSource：一旦它自己探测，过滤就没有意义
了（成本在分片之前就付掉了）。有判据守着。
- memo_record 忽略 reason 以 "backing off" 开头的行 —— 那是被跳过的探���，
把它记成失败会让 streak 在一次没发生的探测上增长。
- 成功写成 vendor 字符串，streak 自然重置，不需要显式清零。
## 判据（新增 4 条，共 11 条读实际发布的 quota.lua）
- 两个导出存在且在 exports 里
- due_sources 不调 collectSource
- memo_record 让 streak 从分片失败里累加，成功后重置
- due_sources 把退避中的 host 挡在分片之外，且零网络请求
写判据时踩了一次：两个源用了同一台 httptest server，于是被判为同一个 host，
两个都退避 —— 这是按 host 记忆的**正确**行为，是我的判据写错了。
Co-Authored-By: ModelRouter <noreply@modelrouter.dev>
|
2026-10-05 08:17:57 +08:00 |
|
|
|
7c7cf3e078
|
fix(quota): hostOf 用了 gmatch 而不是 match —— memo 表从未命中过任何东西
## 这是退避失效的真正原因，而且比 TTL 严重
查生产 state 时发现的：19 条 memo，`hostOf(key)` 命中 **0** 条。
hostOf = function(u)
return (string.gmatch(u, "^https?://([^/]+)")()) or u
end
`string.gmatch` 返回**整个匹配**，不是捕获组；而带 `^` 锚定时迭代器不会前进，
所以第一次 `()` 调用返回 **nil**，函数走 `or u` 分支返回完整 URL。
后果是彻底的、而且完全静默：
- 每次查表都是 HOST_MEMO[nil]，每次写入也是 HOST_MEMO[nil]
- memo 表**对任何 host 从未命中过**
- 负 memo、PROBE_MEMO_TTL、以及刚加的指数退避，**全是看起来活着的死代码**
- 生产那 19 条历史 memo（key 是完整 URL，来自 ccquota 时代）从来没有被读过
所以「两个死上游每 30 分钟重付一次探测」的真实原因不是 TTL 到期，
而是压根没命中过 memo。
## 为什么这么久没人发现
失败模式与「memo 里没有可记的东西」完全不可区分：页面照常显示，卡片照常
skipped，没有任何报错。唯一线索是 state 里那 19 条条目 —— 它们看起来像是
在正常工作留下的痕迹。
## 修法
string.match(u, "^https?://([^/]+)")
判据 `TestQuotaMemoKeyIsTheHost` 钉住它：读**实际发布的** quota.lua，检查
用 string.match，并在运行时验四个 URL 的 host 抽取，以及同一 host 的两个不同
路径必须产出同一个 key（这正是按 host 做 memo 的意义）。
变异把 match 改回 gmatch 立刻变红，并打印出实际返回的完整 URL。
|
2026-10-05 08:17:57 +08:00 |
|
|
|
c4b37d4322
|
feat(quota): 探测退避改指数 —— 死上游不再每 30 分钟重付一遍
## 为什么 30 分钟 TTL 治不了死上游
线上有两个 host 已经**不可达十个小时**，而 PROBE_MEMO_TTL 是 1800 秒。
于是每次刷新它们的负 memo 都已经过期，每次都重付三个 adapter 的超时：
每个源 24s（预算修好前）、16s（修好后）。固定 TTL 对「已经死了很久」这个
形状完全无效 —— 它只会一直重复付。
指数退避：连续失败 streak 次，等待 1800 × 2^(streak-1)，封顶 6 小时。
成功会把 memo 覆盖成 vendor 字符串，streak 自然重置。
封顶不是可选项 —— 没有它，下线一周的 host 就不再被探测，页面会**永久**
把它误报成「没有余额接口」。
## 过程中判据抓到的三个真 bug
**① 记录守卫让 streak 永远是 1**
`if rep == nil and not HOST_MEMO[host]` 只在 host **第一次**失败时为真。
之后 memo 已是 table，守卫为假，什么都不写。实测连读四次都是
`{at:... streak:1}` —— 退避退化成固定 30 分钟，正是它要解决的问题。
**② `return 0` 在 Lua 里是真值**
`if streak == nil or streak <= 0 then return 0 end` —— 只有 nil 和 false
是假值。调用点写的是 `if backoffSeconds(...) then 跳过`，于是**所有没有
streak 字段的 memo 会被永久跳过**（而那正是本改动之前写的每一个 memo）。
**③ 上限路径 `return BACKOFF_MAX` 也是真值**
21600 会被判成「仍在等待」，封顶反而变成「永远不重试」—— 恰好是封顶要防的
那个故障。现在所有路径只返回布尔。
三个都是静默的：症状只是页面少了几张卡片，没有任何报错。
## 判据
五条，全部读**实际发布的 quota.lua**（go:embed 那份），不是副本：
- 退避确实被调用（变异把调用点换成 `if false` 时会红）
- 窗口表：每个 streak 的窗口长度、窗口内跳过、窗口过期后重试、
荒谬 streak 也必须重试
- 只返回布尔（六种输入，含无 streak 字段的老 memo）
- 记录守卫会替换 memo 而非合并
- 通过真实插件：首次失败记 streak=1；**跳过不算失败**（否则一个从不被探测的
host 会无限增长 streak，再也不会被重试）
变异自证六次全部变红：`return 0`、上限返回数字、守卫不替换、调用点去掉、
去掉上限、倍数改成 1。头一次跑「守卫不替换」漏放了 —— 因为我把集成判据缩到
只验首次记录，补了一条源码断言才抓住。
## 这个文件的判据绕了远路，如实记下
`HOST_MEMO` 是进程内缓存，只在首次 collect 时从 state 恢复，之后只往回写。
所以从 Go 侧改 state 对插件不可见 —— 我先是不自知地这么试了两轮，把一个
**正确工作的退避**看成坏的。现在窗口策略直接验函数（经 shim 导出插件自己的
backoffSeconds，不是重新实现），集成判据只留真正能从外部观察的两条。
shim 也踩过：直接把 `backoffSeconds` 当 export，而 Go 侧传的是 table，
于是 at=table、streak=nil，每次都走「无 streak」分支返回 false —— 看起来
和「退避永不触发」一模一样。包一层就对了。
|
2026-10-05 08:17:57 +08:00 |
|
