LLM路由层实践反思：为何我们最终选择回归简单架构

1. 为什么我们决定停用自研的 LLM 路由层最近在 LLM 应用开发圈里一个挺有意思的现象是大家都在忙着构建自己的“LLM 路由”LLM Router。简单来说这玩意儿就像一个智能调度中心你有一个用户请求比如“帮我写段代码”或者“分析这份财报”路由层负责判断该把这个请求发给哪个大模型比如 GPT-4、Claude 3、本地部署的 Llama 等以期达到成本、速度或效果的最优解。听起来很美好对吧我们团队也曾经投入精力构建了一个但最终我们决定将其弃用deprecated。这篇文章不是要教你如何搭建一个 LLM Router而是想分享我们踩过坑之后的真实思考在什么情况下自研路由层是必要的又在什么情况下它反而成了过度设计和维护的负担如果你正在纠结是否要引入或自建这样一个组件或者感觉现有的路由逻辑越来越难以维护那么这篇来自一线的经验复盘可能值得你花时间看看。我们当初构建路由器的核心目标很明确降低成本并提升响应质量。想法是让简单的、对推理能力要求不高的查询走便宜或快速的模型比如 GPT-3.5-Turbo而将复杂的、需要深度思考的任务路由给能力更强但更贵的模型比如 GPT-4。此外我们还考虑了故障转移和负载均衡。然而在实际运行和维护了几个月后我们发现了一系列比预想中更棘手的问题。2. 自研 LLM 路由层面临的核心挑战理想很丰满但现实往往会在细节上给你“惊喜”。下面是我们遇到的主要挑战这些挑战最终促使我们重新评估路由层的价值。2.1 路由决策的复杂性远超预期最初我们认为路由规则可以很简单比如基于 Token 数量短问题走小模型长问题走大模型。基于关键词包含“代码”、“算法”等词的路由给代码能力强的模型。基于历史会话如果上一个回答模型处理得不好本次切换模型。但很快我们就发现这些规则非常脆弱。短问题不一定简单用户问“量子纠缠的原理是什么”这句话很短但需要非常深入的物理知识小模型可能根本答不好。关键词匹配容易误判“帮我写个会议纪要”和“帮我写个科幻小说会议纪要的桥段”都包含“写”和“会议”但前者是文书工作后者是创意写作对模型能力的需求完全不同。质量评估滞后且主观什么叫“上一个回答不好”是用户给了差评还是系统检测到回答不完整实时获取并量化这个反馈本身就很难而且具有滞后性。等你知道上一个回答不好时当前请求可能已经又发给了错误的模型。为了应对这些路由逻辑开始膨胀加入了意图识别Intent Classification、语义相似度匹配等更复杂的模型或规则这直接让路由层本身变成了一个需要大量标注数据和持续调优的“小AI系统”维护成本急剧上升。2.2 成本与延迟的权衡变得模糊我们构建路由器的初衷是省钱。但这里有一个隐藏成本路由决策本身也是有成本的。计算成本如果你用另一个轻量级LLM比如小型的开源模型来做意图判断和路由那么你需要为这个“裁判”模型支付推理成本无论是云费用还是本地算力。延迟成本路由判断需要时间。先经过路由层分析再转发给目标模型这个链条增加了整体的响应延迟。对于追求即时交互的应用来说增加的几百毫秒可能是不可接受的。复杂度成本更复杂的路由逻辑意味着更复杂的代码、更多的配置项和更难的调试。当线上出现一个回答质量问题时你需要排查是路由错了还是目标模型本身没发挥好还是两者之间的参数传递有问题故障排查链路变长了。很多时候我们发现经过一番复杂的路由计算后“节省”下来的API调用费用可能还抵不上我们开发、维护这个路由系统所投入的工程师工时以及它带来的额外延迟对用户体验的损害。2.3 模型能力的快速迭代让规则频繁失效LLM 领域的发展日新月异。今天你认为某个任务必须由 GPT-4 处理明天可能新发布的 Claude 3.5 Sonnet 在更低成本下就能做得一样好甚至更好。又或者本地部署的 Llama 3 70B 版本在特定任务上追平了闭源模型。 这意味着你精心设计的路由规则和模型能力映射表可能每几个月就需要大幅更新一次。路由层成了一个需要持续追赶模型进步速度的“移动靶”而不是一个一劳永逸的稳定基础设施。2.4 增加了系统的脆弱性引入路由层就是引入了一个新的单点故障SPOF和复杂性来源。故障点增加路由服务本身可能宕机、网络可能波动、依赖的意图识别模型可能异常。配置复杂性你需要管理不同模型的 API Key、Endpoint、速率限制、超时设置等。路由层需要知晓所有这些信息任何一项配置错误都可能导致路由失败。版本管理困难当后端某个模型 API 升级比如从v1/chat/completions升级到v2你需要同步更新路由层中的调用逻辑否则会导致一片请求失败。3. 我们最终的解决方案回归简单与明确在经历了上述痛苦之后我们并没有倒退到只用一个模型。相反我们采取了一种更简单、更可控的策略。3.1 策略一客户端或业务层直接选择我们将模型选择的责任上移交给了更了解具体业务场景的客户端或业务逻辑层。前端/客户端路由在应用界面让用户自己选择“快速模式”用小模型或“深度模式”用大模型。把选择权交给用户反而提升了用户体验的确定性和可控性。基于业务类型的路由在后台根据任务类型直接硬编码或配置化路由。例如所有“翻译”任务固定走模型 A因为它在翻译上性价比最高。所有“代码生成”任务固定走模型 B因为它在代码上表现最稳定。所有“创意写作”任务固定走模型 C。 这种方式规则极其简单、透明且易于调试。虽然不够“智能”但极其稳定。3.2 策略二使用成熟的外部网关或代理服务我们意识到像负载均衡、故障转移、监控、限流这些基础设施功能不应该由我们的业务代码来实现。于是我们转向了成熟的 API 网关或专门的 LLM 代理服务。API 网关对于流量分发、鉴权、限流、日志等使用成熟的 API 网关如 Kong, Tyk, Envoy。它们专精于此比我们自研的轮子稳定得多。专用 LLM 代理市场已经出现了一些优秀的开源或商业 LLM 代理/网关例如OpenAI的官方库就提供了简单的重试和回退机制。这些工具通常已经内置了自动重试和回退当首选模型失败或超时时自动按配置顺序尝试下一个模型。负载均衡在多个同类型模型端点间分配请求。监控和计量清晰地展示每个模型的调用量、成本、延迟和错误率。 我们的做法是将智能路由降级为“故障转移和负载均衡”而把复杂的“基于内容的质量路由”逻辑剥离出去。3.3 策略三定期评估与人工切换我们建立了一个简单的评估流程定期基准测试每季度或每半年用一批标准测试用例涵盖我们业务的主要场景跑一遍所有候选模型。生成评估报告报告包含成本、速度、质量人工或自动化评分的对比。人工决策与切换根据报告技术团队和产品团队一起决定在未来一个周期内将哪类任务切换到哪个模型。然后通过更新配置如环境变量、配置中心来完成切换。 这种方式虽然不那么“自动化”但它强迫我们定期审视模型能力与业务需求的匹配度决策过程清晰且系统架构保持简单。4. 给正在考虑 LLM 路由的开发者的建议基于我们的经验我建议你在动手之前先问自己以下几个问题4.1 先明确你到底要解决什么问题把你的需求写下来越具体越好是为了省钱吗你现在的模型成本有多高是否有数据证明大部分请求可以由更便宜的模型处理得很好预期的成本节约能覆盖开发路由的投入吗是为了提高可用性吗是担心单一模型服务商宕机还是担心其速率限制简单的故障转移Failover网关是否能满足需求是为了提升质量吗你如何定义“质量”是否有客观、可自动化的指标如代码通过率、摘要关键信息保留率还是依赖主观评价注意如果你的目标是“提升质量”那么路由层本身的质量判断模块就会成为瓶颈和新的维护负担。4.2 从最简单的方案开始切勿过度设计遵循“如无必要勿增实体”的原则。先用好一个模型深度优化你对主力模型的调用提示词工程、参数调优、缓存策略挖掘其最大潜力。很多时候问题不在于模型不够多而在于我们没有用好手头这个。尝试配置化静态路由如果确实需要多个模型先从最简单的“if-else”或“配置表”开始。例如在代码里写死if task_type ‘translation’: model ‘gpt-3.5-turbo’。先跑起来看效果。引入网关处理基础设施问题将重试、回退、限流、监控这些非业务逻辑交给专业工具如OpenAI库的自动回退、或LangChain/LlamaIndex中的简单路由抽象。不要自己从零造轮子。4.3 设计可观测性与回滚机制如果你决定还是要构建一个路由层那么必须从一开始就做好这两点全面的日志记录记录每一个请求的原始输入、路由决策包括决策依据和置信度、最终调用的模型、返回结果、耗时和成本。这些日志是后续分析优化和排查问题的唯一依据。快速回滚能力必须设计一键切换回“直接调用单一模型”的降级方案。当你的路由逻辑出现严重 Bug 导致线上事故时能立刻绕过路由层恢复基本服务。4.4 持续评估 ROI投资回报率定期比如每月审视你的路由层成本真的降了吗对比路由上线前后的总体模型调用费用。质量真的升了吗通过用户反馈、人工抽检或自动化测试来评估。维护负担有多重花了多少工程师时间来修改路由规则、处理相关故障 如果发现 ROI 为负或者维护成本过高就要果断考虑简化或废弃它。5. 总结在复杂性与实用性之间寻找平衡构建一个智能的 LLM 路由层是一个迷人的技术挑战它触及了负载均衡、决策系统、成本优化等多个领域。然而在工程实践中我们往往需要对抗“为智能而智能”的冲动。我们的经验表明在大多数应用场景下一个“不那么智能”但极其稳定、透明的策略其长期价值远高于一个复杂、脆弱且需要持续喂养数据的“智能路由系统”。将模型选择逻辑简化、上移或外包给更专业的工具可以让团队更专注于核心业务逻辑和提示词优化而不是陷在路由规则的泥潭里。最终我们停用自研路由层不是因为它技术上不可行而是因为它在性价比和工程效率上不再成立。对于新的 LLM 应用项目我的建议是除非你有非常强烈且可量化的证据表明必须需要动态内容路由否则请从最简单的方案起步。让系统先跑起来让问题暴露出来然后再针对性地解决这通常比一开始就构建一个庞大复杂的系统要高效和稳健得多。