mirror of
https://gitcode.com/JianFeeeee/ModelRouter.git
synced 2026-11-07 09:47:23 +00:00
用户判据:「priority 直接移除」「即使带 key 也没有 /v1/responses」
「channel 插件的问题还没完全解决」「生图和聊天合并到一个导航项」
## 一、删除 priority(它从未参与跨源调度)
`config.Model.Priority` 号称"高者优先参与 AUTO 选源",**那是错的**:
AUTO 链由 `config.ModelScope.Tier` 驱动(scheduler.Chain),priority 只被
`bestChatModel/bestImageModel` 用于"本源内部该发哪个模型",与跨源调度无关。
把它当调度依据会让人以为拖个数字就能改顺序,改完毫无效果。
- 删 `config.Model.Priority` 字段与 `bestChatModel/bestImageModel` 的优先级比较
- 删 `seedAuto()`:**AUTO 链为空时网关应直接 503**,不能凭空播种用户没配过的档位
- 删 UI `buildLanes` 的 discovery 回退(按源 priority 自动铺开)与 sourceRows
- 清掉 config.yaml 里 140 行 priority
## 二、一通道 = 一个适配器 = 一个源(channels 插件)
旧设计「一账号一源」(`channels-<平台>-<12位hex>`) 有三个结构性后果:
1. 三个账号 ⇒ 三个源、三份同名模型,用户看到三行无法区分的东西
2. 谁先谁后**取决于注册顺序,不是余额**(rankAccounts 只用于展示,从未接进同步路径)
3. 换号要改源名 ⇒ 用户书签里的 `源:模型` 全部失效
新设计:
- 源名只跟通道绑定:`channels-<平台>`,换号 = 同名 add_source 覆盖 api_key
(内核 AddSource 是 UpsertSourceInYAML + 内存替换),对客户端完全透明
- `pickAccountForSource()`:凭据可用 → 余额分档(先快作废后永久)→
跳过已标记失效的号。没有 balance 声明的平台不据此排除(不因"不会查"判死)
- `request_end` 钩子:真实请求失败且是**终态**错误(需充值/封禁/凭据永久失效)
时给当前账号打 termErr,下次选号跳过;成功则清标记。
⚠️ 只认终态 —— 429/超时/抖动都**不**标记(那会把好号一个个废掉)
- `refresh_creds` 每 30 分钟巡检后重新选号(兜底心跳,纯本地判定)
- 迁移:同步时自动清掉旧版按账号拆的源(按已知平台前缀匹配,不用贪婪 match)
- 顺带修:`refresh_creds` 漏认 `refresh_fn` ⇒ codearts 的 DPoP 续期永不触发
## 三、discover 支持用已存凭据(真实缺口)
刷新已有源的模型目录,此前必须让运维**再粘一次明文 key** —— 而库里是
`enc:v1:` 密文,WebUI 也不回显明文。结果就是"想刷新 → 得重新申请 key",
很多人干脆不刷,源的目录越放越旧(实例:某源 3 个生图模型从未登记)。
- `{"name":"oin"}` ⇒ 从已存源取 base_url + 解密凭据 + adapter
- 安全边界:已要求 admin;只能探测**本网关已配置的**源(不能拿任意 URL+key
做探测,那就成了 SSRF/密钥外带);响应不回显 key
## 四、image_models 显式声明(补元数据缺失)
`discoveredModelKind` 只看上游 modality 字段,并刻意**不从模型名推断**
(错误的 kind 会毒死 AUTO 链)。但有些网关的 /v1/models 只返回
`{id,object,created,owned_by}` —— 零 modality,于是生图模型全落成 chat,
生图端点永远 `no image source configured`。
不解这个两难:默认仍完全按元数据(不猜),但允许 `image_models` **显式声明**。
写错的 id 明确报 400,不静默造一个不存在的模型。
## 五、UI:对话与生图合并为一个导航项
两者本是同一件事的两种输入(都选模型、都发请求、都读结果),只是 kind 与端点
不同。合并只发生在**导航层**:模型下拉仍按 kind 分组/禁选(把图片模型选进 chat
会请求到错误端点)。两个面板同时存在于 DOM,切换只改 display —— 来回切不会丢
已输入的文字、对话历史或已生成的图。
## 测试
- `TestUI_ImageModeIsReachableFromChatTab`:改为钉"合并后仍可达"(分段控件、
切换函数、面板容器、端点),并断言**旧 tab 三件套必须消失**(否则 goTab 会找
一个不存在的面板)
- 测试夹具显式建 AUTO 链(内核不再 seedAuto):默认一源一 tier 倒序
(TestChatAUTO 验优先级);TestChatAutoChainTierFailover 自己覆盖成同 tier
(验 tier 内轮转)—— 两者验不同机制,不能共用一个默认
- core 的一批断言从"按账号 id 找源"改为"按平台名找源"
gateway/config/provider 全绿;core 的 channels 用例全绿。
TestRealMutants 需工作树干净后才跑(其自带的变异残留防护)。
BREAKING CHANGE: config.Model.Priority 已删除。旧的 priority 字段会被 YAML
解码静默忽略(内核不校验未知字段),因此既有 config.yaml 仍可加载,但该字段
不再有任何作用 —— 调度顺序请通过 AUTO 链的 tier 表达。
150 lines
6.1 KiB
Go
150 lines
6.1 KiB
Go
package core
|
||
|
||
import (
|
||
"strings"
|
||
"testing"
|
||
)
|
||
|
||
// 渠道端点判据 —— 钉住"base_url 不吞 endpoint 路径"这条铁律。
|
||
//
|
||
// 为什么需要这个测试
|
||
// ------------------
|
||
// 内核的 URL 是 `base_url + endpoint`(provider.go ChatURL)。把路径**同时**
|
||
// 写进 base_url 和 endpoint,拼出来就是重复路径。生产实测两次撞上同一族缺陷:
|
||
//
|
||
// zcode base_url=.../api/v1/zcode-plan/anthropic
|
||
// endpoint=/api/v1/zcode-plan/anthropic/v1/messages
|
||
// ⇒ .../anthropic/api/v1/zcode-plan/anthropic/v1/messages → 404
|
||
//
|
||
// minimax base_url=https://agent.minimax.cn + adapter=openai(默认 endpoint
|
||
// /chat/completions)⇒ 打到 Web 前端首页,404「简单指令,无限可能」
|
||
//
|
||
// 两者报错都是 404,但根因不同(路径重复 / 缺路径段)。单条断言咬不住两种,
|
||
// 所以下面分三条断言。
|
||
|
||
// platformDef 从**真实加载的插件**里读一个平台定义。
|
||
//
|
||
// ★ 必须走真实加载而不是正则解析源码:PLATFORMS 是 Lua 表,源里有注释、
|
||
// 条件拼装、以及文件末尾的绑定循环(refresh_fn / claim_fn / headers_fn 都在
|
||
// 那里挂)。拿正则在源文本上判断"有没有 refresh 段"会被注释里的字样骗 ——
|
||
// 这个坑我上一轮差点踩进去。探针返回的是插件运行时看到的真相。
|
||
func platformDef(t *testing.T, id string) map[string]any {
|
||
t.Helper()
|
||
_, ps := poolCore(t)
|
||
out, err := ps.Call("channels", "__platform_def_probe", map[string]any{"id": id})
|
||
if err != nil {
|
||
t.Fatalf("__platform_def_probe(%s) 失败: %v", id, err)
|
||
}
|
||
// Plugins.Call 返回 {json:{...}, status:...} 包装(历史约定)。
|
||
wrapped, ok := out.(map[string]any)
|
||
if !ok {
|
||
t.Fatalf("探针返回不是表: %T", out)
|
||
}
|
||
if e, ok := wrapped["error"].(string); ok && e != "" {
|
||
t.Fatalf("%s: %s", id, e)
|
||
}
|
||
inner, ok := wrapped["json"].(map[string]any)
|
||
if !ok {
|
||
t.Fatalf("探针返回缺 json 包装: %#v", wrapped)
|
||
}
|
||
return inner
|
||
}
|
||
|
||
// TestChannelBaseURLDoesNotSwallowEndpoint 是最核心的一条:
|
||
// base_url 里**不得**出现 endpoint 也有的路径段。
|
||
//
|
||
// 判别性:zcode 缺陷时 base_url 尾段是 "anthropic",endpoint 里也含
|
||
// "/anthropic/" ⇒ 命中。修好后 base_url 只到 host,永不命中。
|
||
func TestChannelBaseURLDoesNotSwallowEndpoint(t *testing.T) {
|
||
for _, id := range []string{"zcode", "minimax", "codearts", "trae", "lobsterai", "buddy"} {
|
||
t.Run(id, func(t *testing.T) {
|
||
p := platformDef(t, id)
|
||
base, _ := p["base_url"].(string)
|
||
ep, _ := p["endpoint"].(string)
|
||
base = strings.TrimRight(base, "/")
|
||
if base == "" {
|
||
t.Fatalf("%s 没有 base_url", id)
|
||
}
|
||
|
||
// 从 base_url 里取出路径部分(host 之后),逐段看是否也出现在 endpoint 里。
|
||
pathPart := ""
|
||
if i := strings.Index(base, "://"); i >= 0 {
|
||
if j := strings.Index(base[i+3:], "/"); j >= 0 {
|
||
pathPart = base[i+3+j:]
|
||
}
|
||
}
|
||
if pathPart == "" {
|
||
return // 只到 host,天然不会重复
|
||
}
|
||
for _, seg := range strings.Split(strings.Trim(pathPart, "/"), "/") {
|
||
if seg == "" {
|
||
continue
|
||
}
|
||
if strings.Contains(ep, "/"+seg+"/") || strings.HasSuffix(ep, "/"+seg) {
|
||
t.Fatalf("%s: base_url 已含路径段 %q(base_url=%s),"+
|
||
"endpoint 里又出现(endpoint=%s)⇒ 内核拼 base_url+endpoint 时路径重复",
|
||
id, seg, base, ep)
|
||
}
|
||
}
|
||
})
|
||
}
|
||
}
|
||
|
||
// TestMinimaxUsesAnthropicProtocolAndRealInferPath 钉住 minimax 的两层缺陷。
|
||
//
|
||
// 参考 channel-pack/src/minimax-product.ts:
|
||
//
|
||
// MINIMAX_INFER_PATH = '/mavis/api/v1/llm/v1/messages' ← Anthropic Messages
|
||
// apiHost = 'https://agent.minimax.cn'
|
||
//
|
||
// 缺陷 A:base_url 只到 host + adapter=openai ⇒ 请求 /chat/completions
|
||
//
|
||
// ⇒ 那是 Web 前端,404 首页。实测(2026-10-19):
|
||
// /mavis/api/v1/llm/v1/messages → 401 invalid access token(路径对)
|
||
// 裸 /chat/completions → 404 page not found
|
||
// /mavis/api/v1/chat/completions → 404
|
||
//
|
||
// 缺陷 B:即使路径改对,openai 适配器的**请求体形状**也不对
|
||
//
|
||
// (minimax 推理端点是 Anthropic 协议)。
|
||
func TestMinimaxUsesAnthropicProtocolAndRealInferPath(t *testing.T) {
|
||
p := platformDef(t, "minimax")
|
||
ep, _ := p["endpoint"].(string)
|
||
adapter, _ := p["adapter"].(string)
|
||
|
||
if !strings.HasSuffix(ep, "/mavis/api/v1/llm/v1/messages") {
|
||
t.Errorf("minimax endpoint = %q,应为 /mavis/api/v1/llm/v1/messages"+
|
||
"(照参考 MINIMAX_INFER_PATH);否则请求会打到 Web 前端", ep)
|
||
}
|
||
if adapter != "anthropic" {
|
||
t.Errorf("minimax adapter = %q,应为 anthropic —— 推理端点是 Anthropic "+
|
||
"Messages 协议,用 openai 适配器会把请求体拼错", adapter)
|
||
}
|
||
}
|
||
|
||
// TestCodeartsDeclaresRefreshHook 钉住"声明了可续期就必须声明怎么续"。
|
||
//
|
||
// 真实缺陷(2026-10-19 用户报「华为云源用不了」):
|
||
// codearts 的 security_token 只活 1 小时;account_refresh 走 refreshCredential(),
|
||
// 它要求 plat.refresh.url 或 plat.refresh_fn 存在。当时只声明了 refreshable=true
|
||
// (那是 accountView 里硬编码的期望),**没声明怎么续** ⇒ 恒出
|
||
// 「该平台未声明续期方式」,自动续期链空转,日志反复 `模型刷新失败 HTTP 400`。
|
||
//
|
||
// 为什么不能只看 refreshable:那是"这个账号的凭据类型可续",与"平台实现了
|
||
// 续期"是两件事。前者为真而后者缺失,正是这个 bug 的形状。
|
||
func TestCodeartsDeclaresRefreshHook(t *testing.T) {
|
||
p := platformDef(t, "codearts")
|
||
hasHook, _ := p["has_refresh_fn"].(bool)
|
||
hasDecl, _ := p["has_refresh_decl"].(bool)
|
||
if !hasHook && !hasDecl {
|
||
t.Fatal("codearts 既无 refresh_fn 也无 refresh.url —— " +
|
||
"account_refresh 会恒返回「该平台未声明续期方式」," +
|
||
"而 STS token 只有 1 小时寿命,过期后源的每个请求都会 400")
|
||
}
|
||
// 华为云 STS 要 DPoP 头,声明式 style 拿不到私钥 ⇒ 必须是钩子
|
||
if !hasHook {
|
||
t.Error("codearts 只有声明式 refresh.url,但华为云 STS 需要 DPoP 头" +
|
||
"(jwk 在凭据里),声明式 style 发不出来 ⇒ 必须用 refresh_fn")
|
||
}
|
||
}
|