当多数AI应用团队仍在激烈讨论“该用GPT-4还是Claude-3”时，顶级VC和科技公司已将焦点转向一个更底层、更高效的维度：路由（Router）架构。Tomer Tunguz在最新博客中指出，路由不仅是请求分发器，更是成本控制的枢纽——正确设计可使70-80%的流量运行在免费本地模型或异步推理上，将AI开销降低90%以上。这一观点并非空谈：Coinbase CEO Brian Armstrong透露，该公司通过在Coinbase系统中引入更好的默认设置、路由策略和缓存机制，在token使用量增长的同时将AI支出削减了一半。

路由的核心逻辑在于“分层分流”。Tunguz将其分解为三层：技能分类器（Skill Classifier）首先判断任务所属领域，路由器（Router）根据任务复杂度与延迟容忍度分配处理层级，模型选择器（Model Selector）最终选取具体模型。这一结构之所以能实现极致的成本压缩，根本原因在于推理成本的非线性分布：本地模型推理成本趋近于零，异步批量推理比实时推理便宜两个数量级，而绝大多数AI Agent工作并不需要秒级响应——例如邮件摘要、数据清洗、报告生成等后台任务完全可延迟处理。因此，一个设计良好的路由器能够将高成本的高端模型（如GPT-4）仅保留给真正需要多步推理或复杂工具调用的任务，其余流量则下沉至本地模型或批量推理。

值得注意的是，路由不仅仅是一次性配置。Tunguz提出了一种持续优化机制：同步预测器（Synchronous Predictor）负责标记那些被误判为简单实则复杂的任务，而夜间批量评估器（Nightly Batch Evaluator）则根据这些标记结果更新路由权重。这类似于推荐系统中的在线学习，使得路由能力随着流量增长而自适应进化。此外，技能蒸馏（Skill Distillation）技术将大模型的知识压缩至小模型，在非编码类任务中，70-80%的Agent流量已可由本地模型处理——这为家庭服务器或移动端部署打开了可能。

对于正在构建AI应用的团队，这一发现具有可直接落地的指导意义：优先设计路由系统，而非盲目追求最强模型。建议从三个维度入手：一是建立默认回复层，将通用性、低风险请求自动路由至本地模型；二是引入缓存层，对重复性查询（如“公司政策是什么”）直接返回缓存结果，成本为零；三是设置延迟等级，将耗时的批量分析任务调度至夜间低价时段。在模型选择上，保留一个“高端模型小集群”作为最终兜底，其余流量逐步收敛至低成本路线。未来，随着本地模型能力进一步提升，以及路由算法的成熟，AI Agent的边际成本将无限趋近于基础设施费用——这或许才是规模化落地的真正拐点。