Shopee LLM Gateway设计实现：架构解析与最佳实践指南

LLM Gateway 是大模型调用架构中的核心API网关层，所有对模型的请求都通过它进行统一管控与调度。其架构设计通常划分为三个清晰层级：接入层、决策层和出口层。接入层处理协议适配、鉴权与限流，将多样化的外部请求格式标准化；决策层作为智能中枢，负责路由、降级与负载均衡的决策；出口层则执行具体的模型调用、响应转换与返回。

1. 整体架构

当业务仅依赖单一模型时，直接调用看似简单。然而，随着业务复杂度提升，你往往需要同时调度GPT-4o进行复杂推理、调用Claude处理长文档、使用开源模型执行低延迟任务，甚至在多个云服务商部署推理实例。如果这些调用逻辑与API密钥硬编码在各个微服务中，一旦某个服务商出现限流或故障，整个系统的稳定性和可维护性将面临巨大挑战。

LLM Gateway正是为解决此类问题而生。它作为大模型调用场景的专用中间件，对所有请求进行集中管控，核心职责是决策请求的路由目标、失败应对策略以及流量分发逻辑。

理解LLM Gateway，需要超越“路由、降级、负载均衡”等术语的简单罗列，而是深入其完整的请求处理链路：请求如何被接收与标准化？路由决策依赖哪些多维因素？降级策略如何构建多层容错体系？LLM场景下的负载均衡与传统方案有何本质区别？

一个成熟的生产级LLM Gateway，其三层架构分工明确：

接入层作为流量入口，承担协议适配与请求规范化的职责。它需要兼容OpenAI、Anthropic等不同格式的SDK请求，将其转换为内部统一格式。同时，基础的网关功能如身份验证、速率限制和配额管理也在此层完成。

决策层是网关的智能核心。基于标准化后的请求，它需要实时做出关键判断：根据路由规则将请求导向最优模型；当首选模型不可用时，触发预设的降级链路；依据各实例的实时负载状态，进行高效的流量分配。这些决策依赖于动态的路由规则引擎与实时的健康状态数据。

出口层是决策的执行者。它负责向目标模型服务商发起实际的API调用，处理流式响应，并将不同服务商的响应格式反向转换为内部标准格式。此外，调用链路的全量日志与性能指标也在此层记录，为可观测性提供数据基础。

2. 路由策略

路由是LLM Gateway技术复杂度的集中体现。传统API网关通常基于URL或请求头进行简单路由，而LLM路由则需要综合权衡多个动态维度。

基于能力的路由是基础策略。不同模型能力各有侧重：GPT-4o擅长复杂逻辑与代码生成，Claude在长上下文指令遵循上表现优异，GPT-4o-mini等轻量模型则适合高性价比的简单任务。网关可根据请求中明确的任务标签，或通过分析输入Token长度（例如超过10万Token的请求自动路由至长上下文模型）来做出决策。

基于成本的路由是生产环境的核心考量。不同模型的调用成本差异巨大。一种高效的实践是“级联路由”：优先使用低成本小模型处理请求，若其输出置信度或质量检查未达标，则自动升级调用更强大的模型。这种策略通常能显著降低超过50%的调用成本。

基于延迟的路由对实时交互场景至关重要。网关可维护各服务商实时延迟的滑动窗口统计（如P95延迟），将对响应时间敏感的请求动态路由至当前最快的节点。

此外，语义路由正成为一种趋势。它利用轻量级Embedding模型将请求内容向量化，通过与预定义任务类别的向量进行相似度匹配，自动判定请求类型并选择合适模型。这种方式对上游调用方透明，无需显式指定任务标签。

3. Fallback 机制

生产级系统的降级机制远非简单重试，而是一套精心设计的多层次容错体系。

第一层：同模型重试。针对瞬时失败进行有限次重试（通常2-3次），并采用指数退避策略避免加重服务压力。关键在于区分错误类型：对于超时、限流（429）等可恢复错误进行重试；对于参数错误（400）等客户端问题，重试则无效。

第二层：跨服务商降级。当同模型重试失败后，切换至备用服务商。挑战在于不同服务商的API格式与能力存在差异。网关需维护预定义的降级链（如“GPT-4o → Claude Sonnet → 自研Llama”），并在切换时自动完成请求格式的适配转换，对调用方无感。

第三层：跨模型等级降级。当高端模型全部不可用或队列过长时，可降级至性能稍逊但可用的模型（如GPT-4o降级至GPT-4o-mini）。这需要在业务层面预先定义允许降级的场景及其可接受的质量损失范围。

第四层：兜底策略。作为最终保障，可返回历史缓存结果、预设默认应答或友好的服务繁忙提示。

一个完整的降级链路遵循上述层次：同模型重试（带退避）→ 跨服务商切换 → 降级至轻量模型 → 触发兜底策略。每层之间需设置合理的超时控制，以平衡用户体验与系统资源。

另一个关键组件是熔断器。当某服务商在短时间内失败率达到阈值，熔断器会快速断开，后续请求直接走降级链路，避免持续尝试已故障的服务。经过一段冷却时间后，熔断器进入半开状态，试探性放行少量请求以探测服务是否恢复。在LLM场景下，熔断策略需根据模型调用延迟较高的特点（通常数秒至数十秒）调整超时阈值，避免误判。

4. LLM 场景下的负载均衡

传统的轮询或最少连接数策略在LLM场景下可能失效，核心原因在于LLM请求的处理时间差异极大。一个生成50个Token的请求可能在1秒内完成，而生成4000个Token的请求可能需要30秒。简单轮询可能导致长请求堆积在少数实例上，造成负载不均。

因此，LLM Gateway需要更精细的负载均衡策略。加权负载均衡是一种有效方法，权重可综合考量实例的当前并发数、请求队列深度以及基于输入Token数预估的处理时长。更进一步的策略是基于Token吞吐量进行均衡，目标是让每个实例处理的总Token数保持平衡，而非简单的请求数均分。

对于自部署的模型（如使用vLLM部署），网关甚至可以接入推理引擎的内部状态指标，如KV Cache占用率、批处理大小等，利用这些底层数据进行更精准的负载决策。

在跨区域部署场景中，还需考虑就近路由与负载的平衡：优先选择物理距离近的实例以降低网络延迟，但当最近实例负载过高时，则需将请求分发至更远但空闲的实例，以确保整体性能。

5. 统一接口与协议适配

优秀的LLM Gateway应对上游暴露统一的API，屏蔽后端服务商之间的协议差异。实践中，通常以OpenAI API格式作为事实标准进行对外暴露。调用方只需将请求发送至网关的兼容端点（如/v1/chat/completions），无需感知后端具体模型。

然而，协议适配的挑战远不止字段映射。不同服务商在流式传输（SSE事件格式）、函数调用结构、Token计算方式、错误码体系等方面均存在差异。一些高级特性（如Anthropic的提示词缓存、OpenAI的结构化输出）也可能是厂商独有的。网关需要在适配层妥善处理这些差异，将其统一为一致的行为，或通过扩展字段让调用方有选择地使用特定能力。

6. 缓存与可观测性

生产级LLM Gateway必须具备缓存与可观测性两大核心能力。

语义缓存能大幅降低重复调用成本并提升响应速度。与传统缓存不同，它通过Embedding将请求向量化，并在向量数据库中检索语义相似的历史请求。若相似度超过阈值，则直接返回缓存结果。开源方案如GPTCache已在此方向做了成熟探索。需注意语义缓存的适用场景：对时效性敏感（如天气查询）或需要创造性输出的请求不宜缓存。

可观测性是运维与优化的基石。作为所有调用的中心节点，网关天然是采集监控数据的黄金位置。关键指标包括：各服务商调用成功率、延迟分位数（P50/P95/P99）、Token消耗与成本、各路由策略命中率、降级触发频率与原因分布。这些数据不仅用于故障告警，更能反向驱动路由策略的动态优化——例如，当检测到某服务商延迟持续攀升时，自动降低其路由权重。

7. 开源方案

主流开源LLM Gateway方案各有侧重，可根据团队需求选型。LiteLLM是目前最流行的选择，采用Python实现，支持超百种模型服务商，其核心价值在于提供统一的OpenAI兼容接口，并内置了降级、负载均衡与成本追踪功能。RouteLLM由LMSys团队开源，专注于智能路由优化，通过训练轻量级路由模型来判断请求应使用强模型还是弱模型，在保证质量的前提下实现成本节约。Portkey的AI Gateway则更偏向企业级需求，提供了完善的可观测性、缓存、请求重试等治理能力。选型关键点在于：若需快速统一多服务商接口，LiteLLM能快速上手；若追求智能成本优化，可评估RouteLLM的路由模型方案；若需要生产级管控与观测能力，Portkey更为合适。

参考回答

LLM Gateway是大模型调用架构中的专用API网关，对所有请求进行统一管控。其核心架构分为接入层、决策层和出口层。接入层处理协议适配与鉴权；决策层负责智能路由、降级编排与负载分配；出口层执行实际调用与响应转换。

实际项目的路由策略多为多维组合：基于能力的路由确保任务匹配最佳模型；基于成本的级联路由优先使用小模型，失败后再升级，可节省超50%费用；在延迟敏感场景则结合实时延迟数据进行动态选择。更先进的语义路由通过Embedding自动识别意图，对上游透明。

降级机制设计为四层瀑布式容错：带指数退避的同模型重试、无缝切换的跨服务商降级、保证可用性的模型等级降级、以及最终的兜底策略。配合熔断器机制，在服务商连续失败时快速跳过，并需精细区分错误类型（如429限流可重试，400错误则不应重试）。

LLM负载均衡需应对请求处理时间的巨大差异。简单的轮询策略会导致负载不均，应采用基于并发数、队列深度或Token吞吐量的加权均衡策略。工程实践中，常以LiteLLM为基础快速搭建多服务商支持，并集成语义缓存以降低重复调用成本，同时构建完整的可观测性指标体系，持续驱动路由与负载策略的优化。

来源：互联网