jianf/ModelRouter
1
0
Fork 0
mirror of https://gitcode.com/JianFeeeee/ModelRouter.git synced 2026-11-07 09:47:23 +00:00
Code Issues Packages Projects Releases Wiki Activity
406 Commits 10 Branches 90 Tags
411503aea5eb3b78360c1929a45cf97daa2ce833
Commit Graph

7 Commits

Author SHA1 Message Date
JianFeeeee
25970a2135 refactor(scheduler)!: 移除 priority 废弃字段 + 一通道一源 + discover 复用凭据 
用户判据：「priority 直接移除」「即使带 key 也没有 /v1/responses」
「channel 插件的问题还没完全解决」「生图和聊天合并到一个导航项」

## 一、删除 priority（它从未参与跨源调度）

`config.Model.Priority` 号称"高者优先参与 AUTO 选源"，**那是错的**：
AUTO 链由 `config.ModelScope.Tier` 驱动（scheduler.Chain），priority 只被
`bestChatModel/bestImageModel` 用于"本源内部该发哪个模型"，与跨源调度无关。
把它当调度依据会让人以为拖个数字就能改顺序，改完毫无效果。

- 删 `config.Model.Priority` 字段与 `bestChatModel/bestImageModel` 的优先级比较
- 删 `seedAuto()`：**AUTO 链为空时网关应直接 503**，不能凭空播种用户没配过的档位
- 删 UI `buildLanes` 的 discovery 回退（按源 priority 自动铺开）与 sourceRows
- 清掉 config.yaml 里 140 行 priority

## 二、一通道 = 一个适配器 = 一个源（channels 插件）

旧设计「一账号一源」(`channels-<平台>-<12位hex>`) 有三个结构性后果：
1. 三个账号 ⇒ 三个源、三份同名模型，用户看到三行无法区分的东西
2. 谁先谁后**取决于注册顺序，不是余额**（rankAccounts 只用于展示，从未接进同步路径）
3. 换号要改源名 ⇒ 用户书签里的 `源:模型` 全部失效

新设计：
- 源名只跟通道绑定：`channels-<平台>`，换号 = 同名 add_source 覆盖 api_key
  （内核 AddSource 是 UpsertSourceInYAML + 内存替换），对客户端完全透明
- `pickAccountForSource()`：凭据可用 → 余额分档（先快作废后永久）→
  跳过已标记失效的号。没有 balance 声明的平台不据此排除（不因"不会查"判死）
- `request_end` 钩子：真实请求失败且是**终态**错误（需充值/封禁/凭据永久失效）
  时给当前账号打 termErr，下次选号跳过；成功则清标记。
  ⚠️ 只认终态 —— 429/超时/抖动都**不**标记（那会把好号一个个废掉）
- `refresh_creds` 每 30 分钟巡检后重新选号（兜底心跳，纯本地判定）
- 迁移：同步时自动清掉旧版按账号拆的源（按已知平台前缀匹配，不用贪婪 match）
- 顺带修：`refresh_creds` 漏认 `refresh_fn` ⇒ codearts 的 DPoP 续期永不触发

## 三、discover 支持用已存凭据（真实缺口）

刷新已有源的模型目录，此前必须让运维**再粘一次明文 key** —— 而库里是
`enc:v1:` 密文，WebUI 也不回显明文。结果就是"想刷新 → 得重新申请 key"，
很多人干脆不刷，源的目录越放越旧（实例：某源 3 个生图模型从未登记）。

- `{"name":"oin"}` ⇒ 从已存源取 base_url + 解密凭据 + adapter
- 安全边界：已要求 admin；只能探测**本网关已配置的**源（不能拿任意 URL+key
  做探测，那就成了 SSRF/密钥外带）；响应不回显 key

## 四、image_models 显式声明（补元数据缺失）

`discoveredModelKind` 只看上游 modality 字段，并刻意**不从模型名推断**
（错误的 kind 会毒死 AUTO 链）。但有些网关的 /v1/models 只返回
`{id,object,created,owned_by}` —— 零 modality，于是生图模型全落成 chat，
生图端点永远 `no image source configured`。

不解这个两难：默认仍完全按元数据（不猜），但允许 `image_models` **显式声明**。
写错的 id 明确报 400，不静默造一个不存在的模型。

## 五、UI：对话与生图合并为一个导航项

两者本是同一件事的两种输入（都选模型、都发请求、都读结果），只是 kind 与端点
不同。合并只发生在**导航层**：模型下拉仍按 kind 分组/禁选（把图片模型选进 chat
会请求到错误端点）。两个面板同时存在于 DOM，切换只改 display —— 来回切不会丢
已输入的文字、对话历史或已生成的图。

## 测试

- `TestUI_ImageModeIsReachableFromChatTab`：改为钉"合并后仍可达"（分段控件、
  切换函数、面板容器、端点），并断言**旧 tab 三件套必须消失**（否则 goTab 会找
  一个不存在的面板）
- 测试夹具显式建 AUTO 链（内核不再 seedAuto）：默认一源一 tier 倒序
  （TestChatAUTO 验优先级）；TestChatAutoChainTierFailover 自己覆盖成同 tier
  （验 tier 内轮转）—— 两者验不同机制，不能共用一个默认
- core 的一批断言从"按账号 id 找源"改为"按平台名找源"

gateway/config/provider 全绿；core 的 channels 用例全绿。
TestRealMutants 需工作树干净后才跑（其自带的变异残留防护）。

BREAKING CHANGE: config.Model.Priority 已删除。旧的 priority 字段会被 YAML
解码静默忽略（内核不校验未知字段），因此既有 config.yaml 仍可加载，但该字段
不再有任何作用 —— 调度顺序请通过 AUTO 链的 tier 表达。
 2026-10-19 16:26:59 +08:00
JianFeeeee
583976f7da feat(channels): 补两个参考明确"不能省"的基础设施（已失效模型 + 目录闸门） 
穷尽对照 143 个参考模块后，挑出两个**有实测理由**的补上。

## ① 已失效模型记录（照参考 dead-model-store.ts，708 行）

修的是真实报障：用户选中某平台的兜底模型，每轮 404 —— 该模型**已被上游下架**，
但列表里仍显示、还标着「免费」。根因：兜底表是**编译期快照**，上游下架不会
自己变。

★ 关键纪律（参考文件头有实测教训）：**不能用「远端目录里没有 ⇒ 已下架」反推**。
那个判据只在远端目录完整权威的平台上成立；buddy 那类平台的远端目录**已知残缺**
（CLI token 只拿得到 13 个内部别名、IDE 有 20 个），按目录比对会把「你有权用、
只是 token 看不到」的模型删掉；qoder 更是没有可比对的目录。
⇒ 唯一跨平台安全的判据是**阳性证据**：真的 404 过才记。

判据逐条对齐参考（17 个用例，全是它踩过的误判）：
- `model_not_found` 只在**独占一句话成分**时算（后面只允许结束/句末标点/收尾
  括号引号，**不含逗号**）—— 它在遥测里常作字段名出现：
  `error_class=model_not_found, retry allowed` 曾被误判下架
- rate limit / quota / insufficient / unauthor / forbidden / invalid key 一律**不是**
- `expired` 必须带主语（token/session/key/…），否则会误杀真实下架文案
- 只认 found/exist，**不认** available/supported（那是"换套餐就能恢复"）
- 判定顺序：NOT_GONE 先于 GONE（与参考 `isModelGoneError` 逐行一致）

TTL 30 天（过期自动复活，照参考 DSH_DEAD_MODEL_TTL_DAYS 语义）。
`model_clear_dead` 语义**修正**：原实现清的是"被禁用且不在目录里"（判据用错了、
拿目录反推），现改为清**失效记录**。

## ② 远端目录加载闸门（照参考 remote-catalog-gate.ts）

参考点名「**不能省**」：宿主对每个 provider 拉目录、再对每个模型解析一次，
于是「目录没拿到」被放大成**一次请求 × 每个模型**，而超时是 30–60s 量级 ——
未登录/离线时表现就是「首屏巨长」。三道语义：命中缓存 / 并发去重 / 失败冷却。

Lua 无协程做不了「共享同一个 Promise」，用**时间戳闸门**等价实现
（in_flight_at 防同轮重复 + retry_at 失败冷却）。
含参考的**墙钟回拨防护**：`retry_at - now > cooldown` 一律按已到期处理 ——
否则系统时间回拨一天会把冷却变成事实上的永久卡死。

## ③ 顺手修：状态落盘不建目录

`persistState` 直接 `io.open(path..".tmp")`，目录不存在就失败。而失败只打
stderr 一行「状态落盘失败」—— 表现是「状态永不落盘、重启即丢」，很容易被忽略。
现先 `mkdir -p`。这是实测发现的（authorize 测试的临时目录尚未创建时报的）。

## 判据

`channels_dead_model_test.go`：判据 17 例（含 6 个"看着像但不是下架"的反例）、
记录-剔除-恢复闭环、闸门冷却。
`channels_pool_test.go`：`model_clear_dead` 断言按新语义改写，并加"清失效记录
**不得**动 disabled 黑名单"的隔离断言。

回归：9 个包全绿。
 2026-10-14 15:11:05 +08:00
JianFeeeee
a7a0c6adee refactor(lua): 11 个适配器改用共享前导 —— 删掉约 20KB 逐字重复 
按前导抽出三块共通实现（都是实测逐字节相同的）：

| 钩子 | 原本重复 | 各 2.2KB |
|---|---|---|
| transform_stream_chunk | github/groq/kimicode/mistral | 2210B × 4 |
| transform_response     | openai/groq/kimicode/mistral/github | 2206B × 5 |
| transform_error        | deepseek/github/groq/kimicode/openai/sensenova | 292B × 6 |

适配器总行数 2409（收工前 groq 单文件 146 行 → 46 行）。

★ 两个必须记下的教训（都在本提交里踩到并修好）：

1. **抽公共代码要抽最全的实现，不是最小的**。我先抽了 transform_error 的
   最小版（只认 {error:{message}}），打挂了 TestOpenAITransformErrorEnvelopes
   的 6 个子用例 —— 最小版丢掉了 HTML 错误页、裸文本、扁平 {code,message}、
   FastAPI {detail} 等形状。openai.lua 原有的 1580B 版本才是该进前导的那份。
   抽最小实现是**静默降级**：不报错，只是少认几种错误体。

2. **抽出共性时不能丢掉"非共性但重要"的细节**。openai_response 我漏了两处：
   reasoning_content 透传、以及 tool_calls 的 id 规整（safe_tool_id）。
   后者尤其危险 —— 本网关是扇出路由器，一个非法 id（"bash:0"）会被回放到
   每个 Claude 上游导致整条 AUTO 链失败；且**流式与非流式必须同规则**，
   否则同一请求两条路径产出不同 id（实测报错：
   流式 "bash_0_40248ca0" vs 非流式 "bash:0"）。现两条路径都走
   __prelude.tool_id。

判据：TestPreludeRefactorIsByteIdentical —— 固定输入下逐字节比对
（含"arguments 必须解码成表""usage-only chunk 必须是 done:false"
"arguments 不得留原样 JSON 字符串"等反向断言），并覆盖错误体 6 种形状
与"非 OpenAI 形状必须返回 ok=false"。

另修 channels_pool_test：断言改为**关系**（关一个模型源里少一个）而非写死
数量 —— 兜底目录会随对齐进度变化（minimax 3→4），写死数量会把正常的目录
扩充变成测试失败。

回归：internal/{lua,provider,core,gateway} 全绿。
 2026-10-13 22:51:50 +08:00
JianFeeeee
6bec260513 fix(deploy): 内置插件的修复无法下发 + buddy 余额解析口径 
## deploy.sh：内置插件修复本该覆盖
sync_plugins 原为「只补缺，已存在一律不动」。看着安全，实际造成功能性缺口：
**内置插件自身的修复永远下发不了**。v2.0.3/v2.0.4/v2.0.5 三个渠道修复就这样
全部卡在仓库里 —— 二进制换了、/etc/llmsproxy/plugins/channels.lua 还是旧版
（实测 sha256 不同、headers_fn 计数 0），生产行为毫无变化。我自己的验证还被
这个"静默不生效"骗过一轮：测试全绿、部署成功，线上仍是旧逻辑。

修法：与 sync_adapters 同纪律 —— **内置同名文件覆盖（带备份）**，
运行时新增/运维自加的非内置名字一律不动。内置源码是发行物的一部分，
部署必须与二进制内容对齐；"只补缺"想保护的是非内置文件，两者不是一回事。

判据：部署日志出现 `~ 更新内置插件: channels.lua`；部署后生产文件 sha256
与仓库一致。

## buddy 余额：双层嵌套 + 只累加有效包
余额端点响应是 **data.Response.Data.Accounts[]**（与签到端点的单层 data
不同），原实现按顶层找 totalCredit → 永远解析不出、回落 0 或报错。
且刻意**不用**服务端的 TotalDosage：那是终身口径且取整（参考实测同一响应
TotalDosage=655 而 IDE 显示 155.67）。正确算法是遍历 Accounts 现算：
只累加有效包的 CycleCapacityRemain（失效包服务端仍返回，并入会虚高），
按两位小数规整；双层缺失时如实报错，不把「查不到」当「余额为 0」。

判据 TestBuddyBalanceParseDoubleNested：100.5+55.17=155.67（失效的 500
不计入）+ 单层 data 判为失败。变异：改用 TotalDosage → 立即 FAIL（已实测）。

go test ./internal/core/ 与 ./internal/lua/ 全绿。
 2026-10-13 08:05:39 +08:00
JianFeeeee
ed954b77bd fix(channels): buddy 计费请求缺身份头 → 上游 401（逐行移植参考 checkinHeaders） 
修好凭据读取后，余额端点仍报 HTTP 401。逐行核对参考 checkinHeaders
(credits.ts) 后发现我们只发了 Authorization，而 buddy 要求身份标识头齐全：

  X-Domain: copilot.tencent.com   （以产品配置为准，不用凭据里的 domain 快照）
  X-Product: SaaS                 （部署类型）
  X-Product-Code: codebuddy       （产品码）
  User-Agent: CodeBuddyIDE/1.106.1
  X-User-Id / X-Enterprise-Id / X-Tenant-Id（凭据携带时）

参考的注释特别警告 X-Domain 的方向：凭据里的 domain 是「登录时那个域名」的
快照，跨产品迁移后会指错区域，所以必须以产品端点为准。

## 实现
- 平台级声明 headers_fn(accessToken, cred) → 返回请求头表；buddy 据此逐行移植。
- fetchAccountJSON 增加头钩子位：spec 自己的 headers_fn 优先，否则回退平台级。
  未声明的平台仍走通用默认头（Bearer + JSON），不改变既有行为。
- set_endpoints 补齐 checkin_status / balance 端点覆盖（此前只覆盖旧的
  plat.checkin，buddy 这类平台无从改指，自动化测试也指不到假上游）。
  端点覆盖是参考明确的产品配置能力，也是测试缝。

## 判据
TestBuddyBillingHeadersMatchReference：把 buddy 余额端点指到本地假上游，
断言四个必备身份头逐字段正确。变异：改名 headers_fn → 立即 FAIL（已实测）。

go test ./internal/core/ 与 ./internal/lua/ 全绿。
 2026-10-13 07:57:46 +08:00
JianFeeeee
6b6f9526ff feat(channels): 对外功能面全量对齐参考 channel-pack RPC + 逐平台余额/签到状态端点 
此前只实现了参考 RPC 面的一部分（账号池/模型开关/供应商/备份）。本次按
用户要求把对外呈现的功能补齐到与参考 channel-pack-rpc.ts 一致，并逐平台
移植真实余额/签到状态端点（不再'选一部分'）。

## 新增 RPC（对齐 channel-pack-rpc.ts 的 case 清单）

credits.status   逐账号签到状态（平台声明 checkin_status 时查，status_fn 解析；
                 无端点平台如实 null，与参考对 CodeArts/LobsterAI 处理一致）
credits.balances 逐账号余额（平台声明 balance 时查，total_fn 解析；无端点/无凭据
                 返回 {balance=null,error=...} 不编造数字 —— 对齐参考'不伪装余额'）
credits.permanentLock  永久积分锁定读写（buddy/loomy 等）
account.reset/retest   清限流标记 / 重测（支持 __all__ 批量）
model.setDisabledMany  批量模型开关
model.clearDead        清黑名单里已下线的死模型（只清不在 models 表的 id）
provider.getOrder/setOrder  供应商显示顺序（bogus id 过滤）
gateway.getEnabled/setEnabled  网关整体开关（复用 provider_set_enabled 语义）
backup.status          备份健康度（账号数/无过期时间账号数）
usage.tokenLedger      本网关 token 用量快照（数据源 /api/stats，与 usage 插件同思路）
usage.badge            渠道徽标（credits.balances 汇总）
usage.badgePreference  徽标偏好读写（非法值拒绝不回落，对齐参考注释）
onboarding.status/claim 新人任务（raccoon 桌面登录奖励 3000 分实测端点）

## 逐平台真实余额/签到端点（照各 *-credits.ts 逐字移植）

minimax  signin/status 预检 + credit/details 余额（total=Σ remaining_amount，
         避开参考踩过的 total_count 误读坑）
trae     checkin_credits/status + ide_user_ent_usage（remain=Σ(limit-amount)）
buddy    checkin-activity-status（不是 checkin-status 占位坑）+ get-user-resource
cline    usage-limits（dollars，取剩余百分比最小的限额）
lobsterai profile-summary；qoder me/usage(userQuota+addOnQuota)；raccoon points/v1/balance
每平台 CHANNEL_CREDITS 能力表声明 unit/claim（对齐参考同名表）。

## WebUI 补齐

账号行展示逐账号余额（credits.balances）；详情动作区加「重置限流」「清死模型」；
顶栏加「Token 用量」弹窗（usage.tokenLedger）。node --check 过。

## 测试

TestChannelsExtendedRPCBehavior 10 子项全过：balances 无凭据报错不编造、status
无端点 null、reset、setDisabledMany、clearDead 只清死模型、provider order 过滤、
backup.status、badgePreference 非法拒绝、onboarding supported=false、permanentLock 读写。
全量 8 包回归通过。

已知未移植（如实说明，均需本机无法提供的运行时）：captcha.*（zcode 验证码载体，
需浏览器端求解器）、login.sendSms/submitSms（loomy 短信，备用路径）、
cline.requestLog/usage.tokenLedgerHistory（历史聚合，内核未落盘日维度表）。
 2026-10-12 08:45:49 +08:00
JianFeeeee
4d0efab86b feat(channels): 渠道控制台对齐参考 ChannelCard —— 账号池/模型开关/供应商治理/备份 + 全量 UI 
用户要求与示例插件 dsh-our-free-model 的 WebUI 全面对齐。参考前端的
核心是 ChannelCard（client.js 3627 行起）：一个渠道可挂**多账号池**，
账号可逐个启用/停用/测试/删除/排序，模型可逐个开关，供应商整体开关，
账号备份导出/导入，自动签到开关。此前是单凭据 + 平表登录，差距大。

## 后端（channels.lua 新增 19 个 RPC，对齐参考 channel-pack 契约）

账号池（对齐参考 account.*）：
  account_add/list/update/delete/test/refresh/reorder —— 一平台多账号，
  每账号一条上游源 channels-<plat>-<aid>，凭据走保险库（0600 加密落盘）。
  complete_login 带 account_id 时走池路径回填凭据。
模型开关（对齐 model.*）：
  model_list/set_disabled/set_all_disabled —— 黑名单存 state，开关即重同步
  该平台所有账号源（关掉模型=该账号源里去掉该模型）。
供应商治理（对齐 provider.*）：
  provider_status（账号数/模型数/closed 态）+ provider_set_enabled
  （关闭=全关模型+停用全部账号；打开=清黑名单+启用全部账号）。
一键领取（对齐 credits.claimAll）：
  credits_claim_all —— 逐账号 claim_daily 收集结果，返回 {claimed, results}。
备份（对齐 backup.*）：
  backup_export/import —— 账号池+凭据+模型黑名单+自动签到开关打包，导入
  恢复凭据（走保险库）+重建全部账号源。
自动签到开关（对齐 usage.autoCheckin）：
  auto_checkin —— 读写 state.settings.auto_checkin，关闭时 auto_claim 跳过。
auto_claim 升级为账号池驱动（逐账号 claim + 尊重 CHANNEL_CREDITS 能力表）。

**修一个真 bug**：__llmsproxy_secrets.set 返回 (true, nil) 成功 / (nil, err) 失败，
我多值赋给单变量拿到第一个返回值，误判为失败 → 改为 local _, serr = set(...)。

## WebUI（整个重写，对齐 ChannelCard 交互）

渠道网格（搜索/筛选全部·已接入·待接入/汇总条已接入N·账号总数）
→ 渠道详情（账号池列表：昵称/启用态/上次领取摘要 + 测试/刷新/停用/优先/删除；
模型折叠：逐个开关 + 全部启用/关闭 + 计数；添加账号=登录（占位账号先入池，
login 完成回填凭据，两步式对齐参考 account.create）；一键领取额度（结果
摘要展示成功数+失败原因）；供应商整体开关；自动签到开关；导出/导入备份）。
登录区仍覆盖 device-poll/callback/paste/manual/vnc 全部流程。
node --check 过内联 JS；凭据只经 complete_login 落保险库，不回显。

## 行为测试（channels_pool_test.go）

TestChannelsAccountPoolBehavior 5 个子测试全过：
  账号增删改（含返回 account_id、改名、删空）
  模型开关同步上游源（3模型→关1→2→全关→closed=true→全开恢复）
  enabled开关同步上游源（停用删源、启用重建源）
  供应商整体开关（关→无源+closed；开→源重建）
  备份导出含凭据明文

## 已知边界（如实说明，未假装对齐）

- 余额逐账号展示：参考有 credits.balances（真实查上游余额），本环境各平台余额
  端点形状差异大且多数需真实凭据，未编造假余额；账号行只显示上次领取摘要。
- usage.tokenLedger / cline.requestLog（用量账本/请求日志页）：参考有，本插件
  内核侧已有 usage 记录但未暴露给插件，暂缺这两页（其余控制台能力已对齐）。

回归：全量 8 包（core/lua/gateway/config/types/scheduler/provider/e2e）通过。
 2026-10-12 08:18:33 +08:00