mirror of
https://gitcode.com/JianFeeeee/ModelRouter.git
synced 2026-11-07 09:47:23 +00:00
25970a2135
用户判据：「priority 直接移除」「即使带 key 也没有 /v1/responses」
「channel 插件的问题还没完全解决」「生图和聊天合并到一个导航项」
## 一、删除 priority（它从未参与跨源调度）
`config.Model.Priority` 号称"高者优先参与 AUTO 选源"，**那是错的**：
AUTO 链由 `config.ModelScope.Tier` 驱动（scheduler.Chain），priority 只被
`bestChatModel/bestImageModel` 用于"本源内部该发哪个模型"，与跨源调度无关。
把它当调度依据会让人以为拖个数字就能改顺序，改完毫无效果。
- 删 `config.Model.Priority` 字段与 `bestChatModel/bestImageModel` 的优先级比较
- 删 `seedAuto()`：**AUTO 链为空时网关应直接 503**，不能凭空播种用户没配过的档位
- 删 UI `buildLanes` 的 discovery 回退（按源 priority 自动铺开）与 sourceRows
- 清掉 config.yaml 里 140 行 priority
## 二、一通道 = 一个适配器 = 一个源（channels 插件）
旧设计「一账号一源」(`channels-<平台>-<12位hex>`) 有三个结构性后果：
1. 三个账号 ⇒ 三个源、三份同名模型，用户看到三行无法区分的东西
2. 谁先谁后**取决于注册顺序，不是余额**（rankAccounts 只用于展示，从未接进同步路径）
3. 换号要改源名 ⇒ 用户书签里的 `源:模型` 全部失效
新设计：
- 源名只跟通道绑定：`channels-<平台>`，换号 = 同名 add_source 覆盖 api_key
（内核 AddSource 是 UpsertSourceInYAML + 内存替换），对客户端完全透明
- `pickAccountForSource()`：凭据可用 → 余额分档（先快作废后永久）→
跳过已标记失效的号。没有 balance 声明的平台不据此排除（不因"不会查"判死）
- `request_end` 钩子：真实请求失败且是**终态**错误（需充值/封禁/凭据永久失效）
时给当前账号打 termErr，下次选号跳过；成功则清标记。
⚠️ 只认终态 —— 429/超时/抖动都**不**标记（那会把好号一个个废掉）
- `refresh_creds` 每 30 分钟巡检后重新选号（兜底心跳，纯本地判定）
- 迁移：同步时自动清掉旧版按账号拆的源（按已知平台前缀匹配，不用贪婪 match）
- 顺带修：`refresh_creds` 漏认 `refresh_fn` ⇒ codearts 的 DPoP 续期永不触发
## 三、discover 支持用已存凭据（真实缺口）
刷新已有源的模型目录，此前必须让运维**再粘一次明文 key** —— 而库里是
`enc:v1:` 密文，WebUI 也不回显明文。结果就是"想刷新 → 得重新申请 key"，
很多人干脆不刷，源的目录越放越旧（实例：某源 3 个生图模型从未登记）。
- `{"name":"oin"}` ⇒ 从已存源取 base_url + 解密凭据 + adapter
- 安全边界：已要求 admin；只能探测**本网关已配置的**源（不能拿任意 URL+key
做探测，那就成了 SSRF/密钥外带）；响应不回显 key
## 四、image_models 显式声明（补元数据缺失）
`discoveredModelKind` 只看上游 modality 字段，并刻意**不从模型名推断**
（错误的 kind 会毒死 AUTO 链）。但有些网关的 /v1/models 只返回
`{id,object,created,owned_by}` —— 零 modality，于是生图模型全落成 chat，
生图端点永远 `no image source configured`。
不解这个两难：默认仍完全按元数据（不猜），但允许 `image_models` **显式声明**。
写错的 id 明确报 400，不静默造一个不存在的模型。
## 五、UI：对话与生图合并为一个导航项
两者本是同一件事的两种输入（都选模型、都发请求、都读结果），只是 kind 与端点
不同。合并只发生在**导航层**：模型下拉仍按 kind 分组/禁选（把图片模型选进 chat
会请求到错误端点）。两个面板同时存在于 DOM，切换只改 display —— 来回切不会丢
已输入的文字、对话历史或已生成的图。
## 测试
- `TestUI_ImageModeIsReachableFromChatTab`：改为钉"合并后仍可达"（分段控件、
切换函数、面板容器、端点），并断言**旧 tab 三件套必须消失**（否则 goTab 会找
一个不存在的面板）
- 测试夹具显式建 AUTO 链（内核不再 seedAuto）：默认一源一 tier 倒序
（TestChatAUTO 验优先级）；TestChatAutoChainTierFailover 自己覆盖成同 tier
（验 tier 内轮转）—— 两者验不同机制，不能共用一个默认
- core 的一批断言从"按账号 id 找源"改为"按平台名找源"
gateway/config/provider 全绿；core 的 channels 用例全绿。
TestRealMutants 需工作树干净后才跑（其自带的变异残留防护）。
BREAKING CHANGE: config.Model.Priority 已删除。旧的 priority 字段会被 YAML
解码静默忽略（内核不校验未知字段），因此既有 config.yaml 仍可加载，但该字段
不再有任何作用 —— 调度顺序请通过 AUTO 链的 tier 表达。
66 lines
2.2 KiB
Go
66 lines
2.2 KiB
Go
package core
|
||
|
||
import (
|
||
"testing"
|
||
)
|
||
|
||
// 源注册必须**串行 + 节流**，而不是并发 2、无间隔。
|
||
//
|
||
// 照参考 model-gate.ts 的实测依据：这些平台的**并发配额按模型**分别计量，
|
||
// 与"还剩多少 token"无关（那边实测撞 429 时 token 还剩 299.4 万）。同账号下：
|
||
//
|
||
// GLM-5.3-Flash 605 次 200 0 次限流 ← 从未撞过
|
||
// GLM-5.3 74 次 200 21 次重试 6 次最终 429
|
||
//
|
||
// 两条措施缺一不可：
|
||
//
|
||
// ① **串行**（max_concurrent=1）：同一时刻只允许一个上游请求在飞 ——
|
||
// 并发发起必然浪费一个配额。
|
||
// ② **最小间隔**（rpm）：串行只保证"不重叠"，不保证"有间隔" —— 连续放行的
|
||
// 两次调用可能只隔几十毫秒，仍会撞并发窗口。
|
||
//
|
||
// 此前插件注册源时一律 max_concurrent=2 且**从不设 rpm** ⇒ 既会重叠又无间隔。
|
||
func TestChannelSourcesAreSerialWithThrottle(t *testing.T) {
|
||
c, ps := poolCore(t)
|
||
m, err := ps.Call("channels", "account_add", map[string]interface{}{
|
||
"platform": "buddy", "account_id": "gated",
|
||
"credential": `{"access_token":"TOK"}`,
|
||
})
|
||
if err != nil {
|
||
t.Fatalf("account_add: %v", err)
|
||
}
|
||
j, _ := m.(map[string]interface{})["json"].(map[string]interface{})
|
||
if j == nil || j["error"] != nil {
|
||
t.Fatalf("account_add 失败: %#v", m)
|
||
}
|
||
aid, _ := j["account_id"].(string)
|
||
|
||
srcs := listSourcesViaKernel(t, c)
|
||
// 一个通道 = 一个源：源名不含账号 id，按**本用例实际用的平台**找。
|
||
sm, ok := srcHasAccount(srcs, "buddy")
|
||
if !ok {
|
||
t.Fatalf("账号未出通道源，实际源: %v", srcs)
|
||
}
|
||
_ = aid
|
||
// ① 串行
|
||
if mc, _ := toFloat(sm["max_concurrent"]); mc != 1 {
|
||
t.Errorf("源必须 max_concurrent=1（并发发起必然浪费一个配额），实得 %v", sm["max_concurrent"])
|
||
}
|
||
// ② 节流（rpm>0 才有间隔）
|
||
if rpm, _ := toFloat(sm["rpm"]); rpm <= 0 {
|
||
t.Errorf("源必须设 rpm>0（串行不保证间隔），实得 %v", sm["rpm"])
|
||
}
|
||
}
|
||
|
||
func toFloat(v interface{}) (float64, bool) {
|
||
switch x := v.(type) {
|
||
case float64:
|
||
return x, true
|
||
case int:
|
||
return float64(x), true
|
||
case int64:
|
||
return float64(x), true
|
||
}
|
||
return 0, false
|
||
}
|