fix: tool call anchor & wire format, streaming chunk passthrough, WebUI narrow-screen, docs bilingual

This commit is contained in:
root
2026-08-08 11:26:58 +08:00
parent 8e9de95274
commit 5d50b69153
18 changed files with 1119 additions and 42 deletions

View File

@ -1,10 +1,13 @@
# ModelRouter
> **English**: [README_EN.md](./README_EN.md)
面向多 llms 订阅者,部署在内网,实现一次配置多个服务共同使用的效果。支持指定模型或 auto 模式,按照配置的优先级选择可用模型提供服务。
> **轻量且增源无需重编译**:网关本体是单 Go 二进制(约 10MB零运行时依赖。新增/切换上游
> 只需在 `config.yaml`(或 WebUI加一个 `sources` 条目或挂一个 `.lua` 适配器——**不改 Go、
> 不重编译、不重启**。适配器 Lua 脚本热加载,协议差异全部隔离在 Lua 层Go 只负责调度与透传。
> 不重编译**。源与适配器的改动经 WebUI 提交时即时生效(热更新);直接编辑
> `config.yaml` 或 `adapter_dir` 下的 `.lua` 文件则需要重启进程生效。
## 实现
@ -106,6 +109,31 @@ sources:
任何 OpenAI 客户端,只要 `model` 设为某个源的 `name/任意名`,即可锁定走该源;
设为 `AUTO`(或网关配了 `default_model: AUTO`)即自动按优先级选源。
### 源Source与适配器Adapter的关系
- **源** 是到某个上游的连接描述:`name``base_url``api_key`、模型列表与优先级。
- **适配器** 是协议转换逻辑Lua 脚本):把统一 OpenAI 格式请求转成上游原生格式,
再把上游响应/流式分块转回统一格式。
- 一个适配器可被多个源复用(如 `openai.lua` 同时服务多个 OpenAI 兼容站点);
同一个源也可以切换不同适配器(改 `adapter` 字段即可)。
- 源决定“连谁、暴露哪些模型”,适配器决定“怎么对话”——二者在 `sources[]` 条目中
通过 `adapter` 字段关联。
加载流程(`internal/core``Core` 负责装配):
1. 启动时 `lua.NewVM(adapter_dir)` 加载全部适配器:内置适配器(编译期 embed+
`adapter_dir` 下的同名覆盖文件;内置文件写在代码内,覆盖文件要求更高优先级。
2. `config.Load` 读取 `config.yaml``config.NewStore(runtime_file)` 读 WebUI 改动的
运行时源,二者按名称合并成完整源列表。
3. `rebuildRegistry` 为每个源创建 `provider.Provider`(持有目标适配器),并按源的
并发上限配置适配器 worker 池大小。
4. 请求进来时 `Registry``model` 路由到 ProviderProvider 调适配器
`transform_request` → HTTP 发送 → `transform_response` / `transform_stream_chunk`
WebUI 上的"新增/编辑源"与"上传 Lua 适配器"都即时生效(写入运行时文件或
`adapter_dir` 后重新装配,无需重启);直接编辑 `config.yaml` / `adapter_dir`
下的文件则需要重启进程才会重新加载。
### disable_thinking
请求体带 `"disable_thinking": true`网关透传给各适配器DeepSeek 适配器将其
@ -118,9 +146,11 @@ sources:
## Lua 适配器协议
完整 API 见 **[Lua 适配器 API 文档](docs/lua-adapters.md)**[English](docs/lua-adapters-en.md))。
每个适配器是一个返回 table 的 Lua 脚本(`internal/lua/adapters/<name>.lua`
加载时可被 `adapter_dir` 下的同名脚本覆盖——**改 Lua 脚本同样无需重编译**
重启即生效(甚至可通过 WebUI 在线编辑源配置
加载时可被 `adapter_dir` 下的同名脚本覆盖——**改 Lua 脚本无需重编译**
重启即生效通过 WebUI 上传的适配器与在线编辑源配置则即时生效
```lua
return {