fix(ui): clipboard fallback for non-secure contexts; touch-friendly delete button on key scope blocks; append named model after AUTO when adding (+ docs sync: encrypted storage, AUTO chain, live probing, image endpoint)

This commit is contained in:
root
2026-08-10 11:10:59 +08:00
parent 62c8a07b88
commit e2dd4d9727
4 changed files with 163 additions and 35 deletions

View File

@ -22,8 +22,9 @@ Groq、Mistral、Ollama、KimiCode…通过 **Lua 适配器** 做协议转换
## 特性
- **多源**:一个进程内配置任意多个上游源,按请求的 `model` 自动路由。
- **AUTO 模式**`default_model: AUTO` 时按各源模型的 `priority` 自动选最高可用源
- **AUTO 模式**`default_model: AUTO` 时按优先级页保存的 AUTO 链档位逐档调度并发请求
- **统一输出**:所有源对外都是 OpenAI 格式(含 `reasoning_content``tool_calls``usage`)。
- **生图**`POST /v1/images/generations``kind: image` 的模型独立路由。
- **多模态**`content` 数组(`image_url`在多源间无损透传Anthropic/Gemini/Ollama 自动转换。
- **LuaJIT VM**:基于 golua 绑定的 LuaJIT每个适配器独立 VM + worker 池,安全并发。
- **disable_thinking**:请求 `disable_thinking:true`(或上游对应字段)动态开关推理。
@ -32,7 +33,12 @@ Groq、Mistral、Ollama、KimiCode…通过 **Lua 适配器** 做协议转换
- **签名 / 请求头钩子**:适配器可定义 `build_headers(meta)`,在 Go 发 HTTP 前
动态注入/签名请求头——用于云端 API 校验调用方 app如 KimiCode 只放行特定
agent。提供 `hmac_sha256_hex` / `sha256_hex` / `base64_encode` 等签名辅助。
- **WebUI**:内置管理界面,可在线查看/新增/编辑上游源与模型,写入运行时文件持久化。
- **WebUI**:内置管理界面,可在线查看/新增/编辑上游源与模型、配置 AUTO 优先级链、
管理密钥模型范围,写入运行时文件持久化。
- **密钥加密存储**:运行时文件中的上游 `api_key`、自定义请求头值、网关 key 均以
AES-256-GCM 加密落盘(`master.key` 独立 0600`LLMS_PROXY_MASTER_KEY`)。
- **实时源探测**:状态页探测各源可达性(`GET {base}/models`,失败回退最小请求),
不污染正常调度的退避状态,错误信息在 UI 可悬停查看。
- **鉴权**:网关自身用 `gateway_keys` 校验客户端 Bearer key与上游各自的 key 相互独立。
- **流式**SSE `chat.completion.chunk`,含角色首包与 `[DONE]` 收尾。
@ -78,12 +84,12 @@ runtime_file: runtime.json # WebUI 编辑的源持久化到此文件
sources:
- name: deepseek
base_url: https://api.deepseek.com
api_key: sk-...
api_key: sk-... # 也可用 api_key_env: SOME_ENV 引用环境变量(不落盘明文)
adapter: deepseek
max_concurrent: 8
models:
- id: deepseek-v4-flash
priority: 100 # 越大越优先被 AUTO 选中
priority: 100 # YAML 源首次启动会 seed 进 AUTO 链的初值
kind: chat
- id: deepseek-v4-pro
priority: 60
@ -97,17 +103,38 @@ sources:
timeout: 120s # 请求超时,默认 120s
```
运行时文件(`runtime_file`)中的敏感字段自动加密:
- 加密算法 AES-256-GCM格式 `enc:v1:<base64>`
- 主密钥来源:环境变量 `LLMS_PROXY_MASTER_KEY`64 位 hex否则读取
`runtime_file` 同目录的 `master.key`;都不存在时首次启动自动生成 `master.key`0600
- 升级时旧明文文件自动兼容:首次运行正常读取,任何 UI 保存操作触发全文件加密迁移。
- 注意:**master.key 丢失后密文无法解密**,请随配置一起备份;切勿提交到版本库。
### 模型路由
`/v1/chat/completions``model` 解析顺序:
1. `source/model``source:model` 前缀 → 指定源;
2. 精确匹配某个源的 `model`
3. 配置 `default_model: AUTO` 时 → 按各源模型的 `priority`(数字大优先)选最高可用源
4. 否则回落`default_source`
3. 配置 `default_model: AUTO` 时 → 走优先级页保存的 AUTO 链(见下)
4. 否则回落(返回错误)
任何 OpenAI 客户端,只要 `model` 设为某个源的 `name/任意名`,即可锁定走该源;
设为 `AUTO`(或网关配了 `default_model: AUTO`)即自动按优先级选源。
设为 `AUTO`(或网关配了 `default_model: AUTO`)即自动按优先级选源。
### AUTO 链(优先级页)
AUTO 调度**只**由优先级页保存的规则(持久化到 `runtime_file``auto` 字段)决定,
源配置里的 `models[].priority` 数字不再参与调度、也不再显示。
- 每条规则 = 一个「槽位」:`{ model, source, tier, token_quota, period, hours }`
- `tier` 表示优先级档位:同一档的模型并排、共享该优先级;档位从上到下递减。
- 同一模型可配置多个槽位(如 A 源低配 → B 源低配 → A 源高配 → B 源高配),按档位顺延。
- `token_quota` > 0 时该槽位在重置周期内用满即顺延到下一槽位;`period` 支持
`hour` / `week` / `month` / `nhour`(配合 `hours`),空 = 不限。
- 生图模型(`kind: image`)不参与 AUTO 链;生图走 `POST /v1/images/generations`
的独立路径。
### 源Source与适配器Adapter的关系
@ -130,9 +157,13 @@ sources:
4. 请求进来时 `Registry``model` 路由到 ProviderProvider 调适配器
`transform_request` → HTTP 发送 → `transform_response` / `transform_stream_chunk`
WebUI 上的"新增/编辑源""上传 Lua 适配器"都即时生效(写入运行时文件或
`adapter_dir` 后重新装配,无需重启);直接编辑 `config.yaml` / `adapter_dir`
下的文件则需要重启进程才会重新加载。
WebUI 上的"新增/编辑源""上传 Lua 适配器"、"改 AUTO 优先级链"与"密钥模型范围"
都即时生效(写入运行时文件或 `adapter_dir` 后重新装配,无需重启);直接编辑
`config.yaml` / `adapter_dir` 下的文件则需要重启进程才会重新加载。
在 WebUI 删除源/适配器时运行时WebUI 创建)的源与 `.lua` 文件会真正移除;
`config.yaml` 中定义的基源无法改写配置文件,采用删除标记隐藏(重启后仍隐藏),
在 UI 里重新添加同名源即可恢复。
### disable_thinking
@ -141,7 +172,17 @@ WebUI 上的"新增/编辑源"与"上传 Lua 适配器"都即时生效(写入
### WebUI
内置管理界面(`GET /`),登录后可在浏览器查看/新增/编辑上游源与模型,
内置管理界面(`GET /`),登录后可在浏览器完成:
- **状态页**:源在线状态(实时探测 + 悬停看错误)、模型/源/key 用量统计、请求记录,
支持按时间范围导出 CSV点击模型可生成 pin 到该模型的连接配置。
- **对话页**:流式/非流式调试。
- **密钥页**:创建/编辑网关 key为每个 key 配模型范围(模型 + 源 + token 配额 + 周期),
管理员管理全部 key用户只看到自己的 key。
- **优先级页**:拖拽积木配置 AUTO 链档位。
- **源页**在线增删改上游源API key 等敏感字段加密落盘)。
- **适配器页**:上传 / 删除 Lua 适配器脚本。
改动写入 `runtime_file`(重启仍生效)。
## Lua 适配器协议