mirror of
https://gitcode.com/JianFeeeee/ModelRouter.git
synced 2026-10-03 23:54:06 +00:00
feat(plugin): 启用/禁用 + 磁盘列表 + 峰谷定价 + 随核心发布
## 插件管理后端
- PUT /api/plugins/{name} {"enabled":bool} 启用/禁用
- GET /api/plugins/{name} 读源码（编辑器用，与 /state 区分）
- GET /api/plugins 的 on_disk 字段 列出目录里所有 .lua 及其加载态
- validPluginName 提取为共享函数，install/remove/read 三处共用，防止检查漂移
禁用是**运行态开关，不删文件**：插件把线上网关搞坏了、但离修好只差一行时，
运维需要把它移出请求路径而不丢失它（同 systemd mask 而非 remove 的道理）。
它**不跨重启保留**——一个悄悄比操作者意图活得更久的"禁用"本身就是个意外。
Builtin 的判定是「加载的源码与内嵌版本逐字节相同」，而不是「名字匹配」：
被改过的 billing.lua 不能被标成 builtin，否则 UI 会提供覆盖用户改动的操作。
on_disk 列表包含**加载失败**的插件。否则一个语法错误的插件在 UI 上直接消失，
运维看到的现象是"插件不见了"而不是"插件报错了"。
## 峰谷 / 时段定价
commandcode 的 DeepSeek V4 系列就是高峰 01-04 & 06-10 UTC 工作日 2 倍价
（非高峰 17h/天）。静态价目表达不了，而算错方向是**静默**的。
价目条目可带 peak = {multiplier, windows=[{days, hours}]}。命中任一窗口即乘。
★ 用 `os.date("!%H")` 取 **UTC** 小时：provider 费率表按 UTC 标注，而网关跑在
本地时区（本机 Asia/Hong_Kong）。混用本地小时会让峰谷整体偏移 8 小时，
白天算成夜间——比不做峰谷还糟。
## ★ 实现与注释不一致，被判据抓住
applyPeak 最初直接 `price.prompt = price.prompt * m`，注释写「缓存读不翻倍」。
但 costFor 里**缓存读价是从 price.prompt 派生的**，所以原地翻倍会把缓存读
也翻倍——两个折扣被叠在一起，而 provider 从没打算叠。
改成 applyPeak 只**记录**乘数，由 costFor 分段应用：fresh prompt 与 completion
翻倍，cache read 那一项不动。
只靠注释说明意图是不够的：TestBillingPeakDoesNotDoubleCacheRead 立刻红了
（0.006 vs 期望 0.003）。变异回原实现仍是红的。
## 判据（21 个计费测试全绿，新增 5 个峰谷）
窗口恒命中 ×2 / 窗口永不命中保持静态价 / 星期不匹配不命中
（这条正是防"用本地时区整体偏移 8 小时"）/ 无 peak 规则向后兼容
/ 缓存读不随峰谷翻倍
后端部分：构建/vet/gofmt 干净，8 个包全绿。
This commit is contained in:
JianFeeeee
@ -525,3 +525,154 @@ func TestBillingAnyDimensionCountsAsPriced(t *testing.T) {
|
||||
}
|
||||
approx(t, "flat fee", st["total"].(map[string]interface{})["cost"].(float64), 0.02)
|
||||
}
|
||||
|
||||
// ---- 峰谷 / 时段定价 ---------------------------------------------------
|
||||
//
|
||||
// commandcode 的 DeepSeek V4 系列就是这么定价的：非高峰 17h/天，高峰 01-04 &
|
||||
// 06-10 UTC 工作日，价格恰好 2 倍。这类规则用静态价目无法表达，而算错方向是
|
||||
// 静默的——不会报错，只会一直算错。
|
||||
//
|
||||
// 时间判据的可测性：os.date("!%H") 取 UTC 小时。测试通过选择"确定落在窗口内"
|
||||
// 与"确定落在窗口外"的时段来判定，不去伪造时钟（Lua 侧没有可注入的时钟，
|
||||
// 伪造反而会让测试与真实行为脱节）。
|
||||
|
||||
func TestBillingPeakWindowDoublesOutsidePeak(t *testing.T) {
|
||||
ps, _ := billingVM(t)
|
||||
_ = ps.SetState("billing", map[string]interface{}{
|
||||
"prices": map[string]interface{}{
|
||||
"models": map[string]interface{}{
|
||||
"dsv41": map[string]interface{}{
|
||||
"prompt": 1.5e-7, "completion": 6e-7,
|
||||
"peak": map[string]interface{}{
|
||||
"multiplier": 2,
|
||||
// 全部 7 天全部 24 小时 ⇒ 永远命中
|
||||
"windows": []interface{}{
|
||||
map[string]interface{}{
|
||||
"days": []interface{}{0, 1, 2, 3, 4, 5, 6},
|
||||
"hours": []interface{}{[]interface{}{0, 23}},
|
||||
},
|
||||
},
|
||||
},
|
||||
},
|
||||
},
|
||||
},
|
||||
})
|
||||
// 1000 prompt + 1000 completion，非高峰 0.00075 → 命中峰谷 ×2 = 0.0015
|
||||
ps.Fire(StageRequestEnd, map[string]interface{}{
|
||||
"model": "dsv41", "source": "commandcode", "key": "***pk", "ok": true,
|
||||
"prompt_tokens": 1000, "completion_tokens": 1000, "time": 1750000000000,
|
||||
})
|
||||
got := stateOf(t, ps)["total"].(map[string]interface{})["cost"].(float64)
|
||||
want := (1000*1.5e-7 + 1000*6e-7) * 2
|
||||
approx(t, "always-peak cost", got, want)
|
||||
}
|
||||
|
||||
// 一个不存在的窗口（UTC 25 点不存在）⇒ 永不命中 ⇒ 静态价。
|
||||
func TestBillingPeakWindowNotHit(t *testing.T) {
|
||||
ps, _ := billingVM(t)
|
||||
_ = ps.SetState("billing", map[string]interface{}{
|
||||
"prices": map[string]interface{}{
|
||||
"models": map[string]interface{}{
|
||||
"dsv41": map[string]interface{}{
|
||||
"prompt": 1.5e-7, "completion": 6e-7,
|
||||
"peak": map[string]interface{}{
|
||||
"multiplier": 2,
|
||||
// 星期 = {0..6} 但小时窗写成 [99,100]：永远不可能命中
|
||||
"windows": []interface{}{
|
||||
map[string]interface{}{
|
||||
"days": []interface{}{0, 1, 2, 3, 4, 5, 6},
|
||||
"hours": []interface{}{[]interface{}{99, 100}},
|
||||
},
|
||||
},
|
||||
},
|
||||
},
|
||||
},
|
||||
},
|
||||
})
|
||||
ps.Fire(StageRequestEnd, map[string]interface{}{
|
||||
"model": "dsv41", "source": "commandcode", "key": "***pk", "ok": true,
|
||||
"prompt_tokens": 1000, "completion_tokens": 1000, "time": 1750000000000,
|
||||
})
|
||||
got := stateOf(t, ps)["total"].(map[string]interface{})["cost"].(float64)
|
||||
approx(t, "never-peak cost", got, 1000*1.5e-7+1000*6e-7)
|
||||
}
|
||||
|
||||
// 星期不匹配 ⇒ 不命中。这一条正是"用本地时区算会整体偏移"要防的东西：
|
||||
// 周日按 UTC 算，用本地时区可能算成周六而错误地命中工作日窗口。
|
||||
func TestBillingPeakWindowDayMismatch(t *testing.T) {
|
||||
ps, _ := billingVM(t)
|
||||
_ = ps.SetState("billing", map[string]interface{}{
|
||||
"prices": map[string]interface{}{
|
||||
"models": map[string]interface{}{
|
||||
"dsv41": map[string]interface{}{
|
||||
"prompt": 1.5e-7, "completion": 6e-7,
|
||||
"peak": map[string]interface{}{
|
||||
"multiplier": 2,
|
||||
// 只在"不存在的星期 7"上开窗（os.date %w 只到 0..6）
|
||||
"windows": []interface{}{
|
||||
map[string]interface{}{
|
||||
"days": []interface{}{7},
|
||||
"hours": []interface{}{[]interface{}{0, 23}},
|
||||
},
|
||||
},
|
||||
},
|
||||
},
|
||||
},
|
||||
},
|
||||
})
|
||||
ps.Fire(StageRequestEnd, map[string]interface{}{
|
||||
"model": "dsv41", "source": "commandcode", "key": "***pk", "ok": true,
|
||||
"prompt_tokens": 1000, "completion_tokens": 1000, "time": 1750000000000,
|
||||
})
|
||||
got := stateOf(t, ps)["total"].(map[string]interface{})["cost"].(float64)
|
||||
if got > (1000*1.5e-7+1000*6e-7)*1.5 {
|
||||
t.Errorf("cost = %v: a non-matching weekday must not trigger the peak multiplier", got)
|
||||
}
|
||||
}
|
||||
|
||||
// 没有 peak 规则的条目完全不受影响（向后兼容）。
|
||||
func TestBillingNoPeakRuleIsUnaffected(t *testing.T) {
|
||||
ps, _ := billingVM(t)
|
||||
_ = ps.SetState("billing", map[string]interface{}{
|
||||
"prices": map[string]interface{}{
|
||||
"models": map[string]interface{}{
|
||||
"plain": map[string]interface{}{"prompt": 1e-6, "completion": 2e-6},
|
||||
},
|
||||
},
|
||||
})
|
||||
ps.Fire(StageRequestEnd, map[string]interface{}{
|
||||
"model": "plain", "source": "s", "key": "***n", "ok": true,
|
||||
"prompt_tokens": 1000, "completion_tokens": 1000, "time": 1750000000000,
|
||||
})
|
||||
approx(t, "no-peak cost", stateOf(t, ps)["total"].(map[string]interface{})["cost"].(float64), 1000*1e-6+1000*2e-6)
|
||||
}
|
||||
|
||||
// 缓存读价【不】跟着峰谷翻倍：它是另一条上游费率，观测到的非峰谷价里已经含了
|
||||
// 自己的折扣，跟着翻倍会把两个折扣叠在一起。
|
||||
func TestBillingPeakDoesNotDoubleCacheRead(t *testing.T) {
|
||||
ps, _ := billingVM(t)
|
||||
_ = ps.SetState("billing", map[string]interface{}{
|
||||
"prices": map[string]interface{}{
|
||||
"models": map[string]interface{}{
|
||||
"dsv41": map[string]interface{}{
|
||||
"prompt": 1.5e-7, "completion": 6e-7, "cache_discount": 0.02,
|
||||
"peak": map[string]interface{}{
|
||||
"multiplier": 2,
|
||||
"windows": []interface{}{map[string]interface{}{
|
||||
"days": []interface{}{0, 1, 2, 3, 4, 5, 6},
|
||||
"hours": []interface{}{[]interface{}{0, 23}},
|
||||
}},
|
||||
},
|
||||
},
|
||||
},
|
||||
},
|
||||
})
|
||||
ps.Fire(StageRequestEnd, map[string]interface{}{
|
||||
"model": "dsv41", "source": "commandcode", "key": "***c", "ok": true,
|
||||
"prompt_tokens": 1000000, "completion_tokens": 0,
|
||||
"cache_hit_tokens": 1000000, "time": 1750000000000,
|
||||
})
|
||||
// 全部缓存命中 ⇒ 只按 cache 价 = prompt * 0.02，且不翻倍
|
||||
got := stateOf(t, ps)["total"].(map[string]interface{})["cost"].(float64)
|
||||
approx(t, "cache-only cost (not doubled)", got, 1e6*1.5e-7*0.02)
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user