路由与排错
路由与重试
一个模型有多条上游线路时如何选择,以及 ModelTown 为什么默认不自动重试、不自动降级。
线路
同一个模型可能由多条上游线路提供,例如 deepseek-v4.1-flash 同时有火山方舟和阿里云百炼两条线路。线路信息在模型详情页的“线路”表中可以看到。
首版的规则是:
- 固定线路:每个模型使用平台指定的默认线路,同一模型不会在请求之间随机切换。
- 不跨型号替换:你请求哪个模型就调用哪个模型,平台不会因为某个模型繁忙就换成别的型号。
- 不自动重试:上游返回错误时直接把错误返回给你,平台不会替你重发。
为什么不自动重试
自动重发看起来更“稳”,但有两个代价:
- 上游可能已经处理了第一次请求并产生费用,重发会让你付两次钱。
- 流式请求已经输出了部分内容后再换线路重发,会得到两段拼不上的回答。
所以首版把重试的决定交给你:对 429 按 Retry-After 等待,对 5xx 做指数退避,并设置最大次数。见 错误码与限流。
后续计划
规划中
以下能力尚未上线,上线前会在 更新日志 公告。
- 同模型切换线路:只在请求还没有任何输出时,切换到同一模型的另一条线路。
- 指定备选模型:由你在请求里显式列出可接受的备选模型,按实际调用的模型计费;流式已经开始输出后不再切换。
- 偏好设置:按价格或延迟优先选择线路。