|
|
a873fe4724
|
test(discovery): 真实变异注入 11/11，并给 harness 加三道防线
前几版 harness 先后报过「4 个变异存活」「11 个一个没跑」「9 个存活」，
查清后**全部是判据或变异本身失效，没有一个是代码问题**。这一版把三类
失效都变成显式失败，而不是静默给出错误结论。
**防线一：先证明 filter 选中了东西**
`go test -run <完全不存在>` **不打印** `[no tests to run]`（那句话只在
「包内有其他匹配项但目标没跑」时出现）。我原先据此写的检查方向是反的，
harness 第一步就自我否决。现在改成对比数字：空 filter 必须选中 0 个测试，
真实 filter 必须选中 >= 25 个。本次运行：32 / 0。
**防线二：编译失败 ≠ 变异被杀**
嵌套调用漏 `-tags luajit` ⇒ 纯 Lua 5.1 ⇒ billing.lua 的 goto 编译失败
⇒ 整包 build failed ⇒ **每个变异都「被杀」，给出满分**。这比假绿更隐蔽。
现在 [build failed] 直接 t.Fatalf。
**防线三：变异没改变行为 ≠ 判据漏放**
两次「存活」查清后都是**恒等变换**：
`&& out.BaseURL != ""` — 判据用零值结构体，BaseURL 为空，条件恒假
`&& len(out.BaseURL) >= 0` — len 恒 >= 0，条件恒真
正确写法是把赋值换成 `_ =`：读了变量让编译器满意，行为真的变了。
检测方式：变异后若结果行（剥掉测试名、排序后）与 baseline 完全一致，
报 no-op 而不是记成存活。
no-op 检测本身也修过：原来保留 === RUN 行（含测试名），两次运行测试顺序
不同 ⇒ 每个变异都「看起来变了行为」，检测形同虚设。
11 个变异覆盖：kind 判定、metadata 透传、非目录拒绝、URL 回退、
版本段搬移（chat 与 image 两条）、版本段识别、nil 切片、鉴权分类、
候选去重。
★ 判据的期望值不写死数字：候选去重修好后 len(cands) 从 3 变 2，
连改两次判据都是在追当前列表。改成断言「该覆盖的 URL 都在」。
|
2026-10-06 15:02:42 +08:00 |
|
|
|
c40b5b5981
|
fix(discovery): 错误分类 + 去掉重复请求 URL
演练错误路径时发现两个真问题。
**① 密钥错误被报成 502（上游故障）。** 这是最常见的失败，却和「厂商挂了」
给出完全相同的错误。两者需要的动作正好相反：重新输 key vs 去查厂商状态页。
操作员只能猜。现在 401/403 会得到 401 并在信息里点名 api key；
DNS 不解析、TLS 失败、连接被拒也各自带一句可执行的说明。
**② 错误信息里的 tried 列表有重复。** base "https://h/v1" + path "/models"
和 base "https://h" + path "/v1/models" 请求的是同一个地址，但候选去重只按
(base, path) 对，于是同一条 URL 在错误信息里出现两次——读起来像「试了两个
地方」，其实只试了一个。改成按最终 URL 去重。
去重后候选从 3 个变成 2 个，两个判据的期望值需要跟着改：
TestDiscoveryCandidates_DedupesAndPrefersTyped 和变异测试的
「fallback search」原本断言 >= 3，那是在测量 bug 而不是覆盖度。覆盖没有丢失：
剩下的两条是 https://h/v1/models 和 https://h/models，两个不同地址。
新增判据：
TestDiscoverModels_WrongKeyIsUnauthorizedNotBadGateway
TestDiscoverModels_UnreachableStaysBadGateway（防止过度纠正）
TestDiscoveryCandidates_NoDuplicateRequests
TestDiscoverModels_FailureListsEachURLOnce（对操作员真正读到的文本断言）
|
2026-10-06 15:02:42 +08:00 |
|
|
|
3860c7381f
|
feat(gateway): 源自动探测模型列表
只需填 URL 和 key 即可自动扫描上游模型并配置，不用再手抄模型 id。
端点
POST /api/sources/discover 只探测，不写任何东西
POST /api/sources/discover/apply 探测后落库
核心难点是 URL 形态而不是 /models 调用本身。网关按 base_url + adapter
endpoint 拼路径（openai 提供 "/chat/completions"），而各家厂商对版本段
放在 base 还是 path 上没有共识，也没有哪个响应头能说明。所以探测不信任
调用方给的 URL，而是按偏好顺序试若干候选，返回答的那个，并给出归一化
后的 base_url + endpoint 组合。这正是第一次配 vela 时 /v1/images/
generations 返回 404 的成因：base_url 里已有 /v1，默认图像路径再拼一次。
归一化的不变量是「版本段在 base_url + endpoint 里恰好出现一次」。留在两边
会重复；两边都没有则 chat 请求在要求版本段的厂商上会打错路径。
kind 只信上游自己声明的 modality，绝不从模型名猜。"gpt-image-2" 这类
id 也出现在同时提供对话服务的目录上，猜错会让 AUTO 链选中一个只支持图像
生成的 id，其后每一层都被它拖垮。
不做的事：
- 不逐模型发单 token 探活。34 个模型的目录跑一轮要花钱且耗时数分钟，
/models 是足够便宜的信号；模型是否真能应答留给正常请求路径。
- 不猜能力。「vision」出现在 id 里不等于该模型接受图片。
- 不自动写盘。探测只读，保存仍需操作员按按钮——错误的 base_url 会产出
一个看起来合理却无法使用的源。
已存在的源必须显式 replace_models=true 才会覆盖模型列表：重新探测顺手
抹掉为 AUTO 链手工调过的 priority 是最难排查的一类数据丢失。
测试用真实抓取的 amr-link /models 响应做夹具，它把 modality 嵌在
architecture 下、metadata 下还有 cost/context_limit，34 个模型里混着 5 个
图像生成 id——朴素解析器正好在这三处出错。
变异测试 9/9 全杀（TestRealMutants，baseline 43 个测试）。过程中发现并
修掉四个真缺陷：嵌套 metadata 丢失、null 被当空目录、候选盲目拼接出
/v1/v1、以及 discoveryResult 零值序列化成 null 会让前端渲染出
"undefined"。早先的 shell 版变异脚本因 -run 转义损坏报出 4 个"存活"，
实际是零个测试被执行——判据分不清"通过"和"没跑"就不是判据。
|
2026-10-06 15:02:42 +08:00 |
|
