LLM网关选型:算清托管与自建的成本临界点

当企业从LLM实验阶段转向生产部署,网关选型成为不可回避的基础设施决策。OpenRouter近期发布了一份与LiteLLM的官方对比,以难得的坦诚,为开发者呈现了托管与服务自建之间的完整成本模型。这份对比文件的价值,在于它用数字说话,清晰划定了两种模式的适用边界。

OpenRouter的本质是运行在Cloudflare边缘的LLM代理服务,开发者无需维护任何基础设施。除了前100万次请求免费,其后收取5.5%的平台费用,支持超过70家模型提供商,并内置自动故障转移能力。它拿到的合规资质——SOC 2、GDPR认证和零数据保留选项——让对数据安全敏感的企业有了托管选项。

LiteLLM则代表另一条路径:自部署。基于Docker容器化部署,依赖PostgreSQL和Redis进行状态管理,数据完全留存在内网。作为开源项目,软件本身免费,但生产级部署需要承担基础设施支出——每月约数百美元。决策天平的关键砝码在于模型调用量:当月度模型支出超过约3,600美元(对应基础设施成本200美元)或9,100美元(基础设施500美元)时,自建模式开始显示成本优势。

数字之外,两种模式在架构理念上的分野更为本质。 LiteLLM提供了六种路由策略,并支持用户用Python自定义路由逻辑,在灵活性和控制权上达到极致。与之对应的代价是运维重担:数据库维护、高可用配置、故障排查等。OpenRouter则将这些抽象为平台能力,开发者只需聚焦业务逻辑,类似从管理服务器转向使用云函数。

值得注意的是,两者并非互斥。一种实用的架构设计是把OpenRouter作为前端网关,接入LiteLLM自建的后端,形成「托管+自建」的混合模式:利用OpenRouter处理边缘分流和外部提供商路由,内部敏感模型则走LiteLLM的内网通道。这种组合在某些场景下能达到成本与安全的最佳平衡。

选择建议可以概括为: 当模型费用处在探索阶段、月支出低于3000美元时,OpenRouter的零基础设施优势和即插即用特性是理性选择。当调用量稳定增长,且团队具备运维能力时,LiteLLM的成本优势与自主权更具吸引力。对于合规要求严苛的企业,LiteLLM的内网数据流动设计是硬性要求,投入基础设施成本是必然选项。

这份对比文件的意义超越了单一产品选型。它揭示了AI工程化过程中的一个规律:当技术栈从实验走向生产,基础设施决策会从「能用就行」转向「成本与控制的精细平衡」。LLM网关之争,本质上是对「在价值链的哪个环节保持控制力」的回答。