mirror of
https://gitcode.com/JianFeeeee/ModelRouter.git
synced 2026-09-20 00:48:00 +00:00
c9c09b2ba2
两处都源于同一次排查：pi 到底有没有带会话标识、超窗为什么触发不了压缩。 ## 1) 客户端会话 id：pi 一直在发，只是被配置关掉了 之前结论是「通用客户端不发会话 id」——只对了一半。pi 有会话 id，且能发： pi-ai 的 createClient 在 compat.sendSessionAffinityHeaders 为真时，会把 平台会话 id（uuidv7，整个会话恒定）放到 x-session-affinity / x-client-request-id / session_id 上。该开关默认 false，而 llmsproxy 的 provider 配置里没开，所以此前一直收不到。 现在网关按优先级采纳：x-session-affinity → x-session-id → session_id → body 的 prompt_cache_key，并把值经 types.ChatRequest.ClientSession 传到 适配器 meta.client_session。适配器的会号种子优先级变为： 客户端会话 id > 首条 user 消息指纹 > 按源固定。 刻意不采纳 x-client-request-id：名字含 request，部分客户端每请求都换， 拿它当会话会让上游前缀缓存永不命中（pi 总会同时发 x-session-affinity，够用）。 实测：抓 127.0.0.1:8081 的真实 pi 请求，配置打开后收到 x-session-affinity = session_id = x-client-request-id = <子会话 uuid>。 上游缓存确为会话级隔离（同前缀、不同会号：A 冷→命中，B 首次仍为 0）， 两个不同 header 值互不命中，反证网关确实采纳了客户端会话 id。 ## 2) 超窗消息必须「干净」，否则被同链的限流措辞反向封杀 pi 的 isContextOverflow 先查 NON_OVERFLOW_PATTERNS（/rate limit/、 /too many requests/、Bedrock 前缀），命中就直接判为「非超窗」——**即使 消息里已经有 context_length_exceeded**，pi 也不会压缩重试。 而 AUTO 链的失败消息天生是多 tier 原因的拼接，超窗 tier（gozen 400 maximum context length）常与配额/限流 tier（429 token plan exhausted、 cooling、no free slot）同时出现。此前把 tier 明细原样拼在归一化标记后面， 等于让一条限流 tier 的措辞反过来封杀超窗识别。 现在超窗走独立的干净消息： context_length_exceeded: context window is full; reduce the length of the messages (gozen/deepseek-v4.1-flash) 只留超窗措辞 + 超窗源名，不带任何其它 tier 的文本。 测试：TestOverflowMessageSurvivesRateLimitedSiblingTier 用 pi 的完整判定 顺序（先 NON_OVERFLOW 后 OVERFLOW）断言同链限流 tier 不再封杀超窗识别； TestClientSessionFromRequestHeaders / TestClientRequestIDIsNotUsedAsSession / TestOpenCodePrefersClientSessionID 覆盖会话采纳与优先级。
48 lines
1.8 KiB
Go
48 lines
1.8 KiB
Go
package gateway
|
||
|
||
import (
|
||
"net/http"
|
||
"testing"
|
||
)
|
||
|
||
// 客户端自带的会话标识必须被采纳：它比「首条 user 消息指纹」更准
|
||
// （历史压缩后指纹会漂移），也是唯一能天然按会话隔离的来源。
|
||
func TestClientSessionFromRequestHeaders(t *testing.T) {
|
||
cases := []struct {
|
||
name string
|
||
headers map[string]string
|
||
bodyKey string
|
||
want string
|
||
}{
|
||
{"pi 默认格式 x-session-affinity", map[string]string{"X-Session-Affinity": "ses-1"}, "", "ses-1"},
|
||
{"openrouter 格式 x-session-id", map[string]string{"X-Session-Id": "ses-2"}, "", "ses-2"},
|
||
{"openai 格式 session_id", map[string]string{"Session-Id": "ses-3"}, "", "ses-3"},
|
||
{"body prompt_cache_key 兜底", nil, "cache-4", "cache-4"},
|
||
{"头优先于 body", map[string]string{"X-Session-Affinity": "ses-5"}, "cache-x", "ses-5"},
|
||
{"空白不算", map[string]string{"X-Session-Affinity": " "}, "", ""},
|
||
{"都没有则为空（适配器自行推导）", nil, "", ""},
|
||
}
|
||
|
||
for _, tc := range cases {
|
||
t.Run(tc.name, func(t *testing.T) {
|
||
r, _ := http.NewRequest(http.MethodPost, "/v1/chat/completions", nil)
|
||
for k, v := range tc.headers {
|
||
r.Header.Set(k, v)
|
||
}
|
||
if got := clientSessionFromRequest(r, tc.bodyKey); got != tc.want {
|
||
t.Errorf("clientSessionFromRequest = %q, want %q", got, tc.want)
|
||
}
|
||
})
|
||
}
|
||
}
|
||
|
||
// 刻意不采纳 x-client-request-id：名字含 request，部分客户端每请求都换，
|
||
// 拿它当会话会让上游前缀缓存永不命中。
|
||
func TestClientRequestIDIsNotUsedAsSession(t *testing.T) {
|
||
r, _ := http.NewRequest(http.MethodPost, "/v1/chat/completions", nil)
|
||
r.Header.Set("X-Client-Request-Id", "per-request-uuid")
|
||
if got := clientSessionFromRequest(r, ""); got != "" {
|
||
t.Errorf("x-client-request-id 不应被当作会话（否则缓存永不命中），got %q", got)
|
||
}
|
||
}
|