Skip to content

fix(adapter): skip accounts whose context window cannot fit the request - #25

Merged
Mag1cFall merged 2 commits into
Mag1cFall:mainfrom
solei1996:fix/narrow-context-exclusion
Nov 21, 2026
Merged

Mag1cFall merged 2 commits into
Mag1cFall:mainfrom
solei1996:fix/narrow-context-exclusion

Conversation

@solei1996

Copy link
Copy Markdown
Contributor

问题

账号因上下文窗口不足(413)被拒绝后,换号逻辑只把该账号加入排除集,下一个候选可能是窗口同样装不下的免费账号,或者 guest(固定 32768)。于是同一条请求会:

  1. 重新执行 prepare(把附件重新上传到上游);
  2. 再次因窗口不足失败;
  3. 直到遍历完这些账号才结束。

实测(v0.2.0)日志里出现 8 次 账号上下文窗口为 32768 tokens,其中 2 次 guest 甚至是第一顺位(之后 8ms 同一账号就成功了)。

改动

  • accountContextError 记录本次请求需要的输入 token 数;
  • 账号池新增 AccountPool.ExcludeNarrowContext(excluded, tokens),把 ContextWindow() > 0 && < tokens 的账号与访客会话一次性加入排除集(窗口未知=0 的不排除,避免误伤);
  • 新增日志 排除上下文窗口装不下请求的账号。

边界说明

这是缓解而非根治。根治需要在选号前算出 token 下界并传给 AcquireForModel,让 nextFrom 直接过滤——那是跨 adapter/balancer/hedge 的签名改造(约 100+ 行、7 个 handler 调用点),本 PR 不含,避免引入无法充分验证的大改。

测试

新增 internal/balancer/context_window_test.go:

  • TestContextTooNarrow:窗口比较表驱动(含相等仍可装下、窗口未知不判窄);
  • TestExcludeNarrowContextKeepsUnknownWindow:token 数非正不改动、窗口未知不排除、已排除不重复;
  • TestExcludeNarrowContextReportsAddedAccounts:返回值与实际排除集一致。

go build ./...、go vet ./...、go test ./... 全绿。

@Mag1cFall
Mag1cFall merged commit 4b251f7 into Mag1cFall:main Nov 21, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants