AI 智能体 Token 成本审计：如何把运行成本削减 50–70%

直接答案

一次 AI 智能体 Token 成本审计，会检查四个层面——工作流、用户、模型和环境——找出 Token 被浪费在哪里，然后施加五个杠杆：模型路由、缓存、上下文压缩、提示词蒸馏，以及带提前停止的流式输出。在 DevStudio 2024 到 2026 年的内部项目中，这套组合在已上线的智能体上具有代表性地把大模型运行成本削减了 50–70%，且在智能体的评估套件上没有可测量的质量损失。这不是一个保证数字，而是我们在那些建得快、却从未调优过的 B2B 智能体上反复看到的区间。

摘要

• 多数 Token 账单比所需大 2–3 倍。 上下文膨胀、朴素检索、单模型路由、无缓存和啰嗦提示，在生产中悄然叠加。
• 从四个层面审计： 按工作流、按用户、按模型、按环境。每个层面浮现出一类不同的浪费。
• 五个杠杆完成大部分工作： 分层模型路由（GPT-4 级 → Claude 3.5 Sonnet → Haiku → 开源 70B）、语义与精确匹配缓存、上下文压缩、提示词蒸馏，以及带提前停止的流式输出。
• 代表性结果： DevStudio 2024–2026 内部项目中，运行成本削减 50–70%。这是来自月请求量 10 万–500 万 B2B 智能体的代表性区间，而非保证。
• 季度 Token 审计包含在每一项 DevStudio 合作中。 随着模型价格与质量变化，我们每 90 天为你的智能体重新审计一次。
• 不要过早优化。 如果你的智能体月请求量不足约 5,000，或评估分数低于上线门槛，先修质量。

你将了解到

• AI 智能体运行成本在上线后失控的五个结构性原因。
• 一套你本周就能在自己日志上跑的四层审计（工作流／用户／模型／环境）。
• 如何设计一个模型路由阶梯，在难的回合保住质量、在简单回合压低成本。
• 语义缓存何时优于精确匹配缓存，以及两者都不对的时候。
• 三种上下文压缩模式：滚动摘要、滑动窗口和分层检索。
• 提示词蒸馏通常如何在不改变行为的前提下，从一个能用的提示中移除 30–60% 的 Token。
• 一张来自 DevStudio 合作模式的代表性前后成本对比表，附带明确的 50–70% 区间及其局限。
• DevStudio 的季度 Token 审计究竟检查什么，以及你根本不该优化的情形。

为什么 AI 智能体运行成本会失控

我们审计的多数生产智能体并非建得草率，而是建得快、上了线，然后在流量增长、模型市场在脚下变化的同时再未被触碰。五种模式反复出现。

1. 上下文膨胀

会话型智能体会累积历史。用工具的智能体会累积工具输出。RAG 智能体会累积检索到的分块。到第 8 或第 10 个回合，提示往往已是 6,000–15,000 个 Token，其中大多是陈旧内容，模型却在每次调用时重读一遍。输出 Token 通常为 200–800。输入主导账单，而大部分输入都在自我重复。

2. 朴素检索

一个常见的 RAG 默认值是"top-k = 10，分块大小 = 1,000"。这意味着无论问题需要三句话还是三份文档，每次查询都把约 10,000 个 Token 的上下文摆到模型面前。我们经常把 top-k 调到 3–5 并配合重排序（reranking），把检索上下文 Token 削减 50–70%，而答案质量不受影响。关于检索设计的更深探讨，参见我们的姊妹篇《RAG 知识库开发成本》。

3. 无模型路由

许多智能体在每个回合都调用 GPT-4 级模型——包括那些只是分类意图、抽取日期或改写句子的回合。"凡事都用 Claude 3.5 Sonnet"或"凡事都用 GPT-4o"的智能体，是我们见到的最常见形态，也是能够上线的形态里最昂贵的一种。

4. 无缓存

处理客服、引导或产品问答流量的智能体，几乎总有一条由近似重复问题组成的长尾。没有缓存层，每一个"我怎么重置密码"都要付全额大模型成本。精确匹配缓存和语义缓存都已被充分理解、且加起来很便宜。我们审计的多数智能体两者都没有。

5. 啰嗦提示

系统提示会随时间膨胀。团队加一条护栏，再加一条，又在一次糟糕的演示后补上几句"务必记得……"。到第六个月，系统提示已有 2,500 个 Token，其中一半从不影响输出。蒸馏通常能在不改变行为的前提下剥掉 30–60%。

这五种模式会复合叠加。把每一种各削减约 30%——这已是保守估计——相乘后就进入我们在实践中（本文后述的合作）看到的 50–70% 区间。

Token 成本审计的四个层面

一次扎实的审计会从四个角度看同一份日志。每个角度抓住一种不同的失效模式。

第 1 层：按工作流

按智能体的内部工作流节点或工具调用对请求分组。对于一个搭建在 LangGraph 或类似编排器上的多步骤智能体（我们在《用 LangGraph 构建 AI 工作流》中写过这个模式），这是信号最强的一层。你几乎总能找到一两个节点消耗了 60–80% 的 Token。常常是一个"摘要至今为止的对话"节点，本应每五个回合跑一次，却在每个回合都跑。

第 2 层：按用户

按用户 ID 或租户分组。生产智能体几乎总有一条肥尾：少数重度用户或一个行为失常的集成，驱动了不成比例的成本。我们见过遗留在 CI 里持续运行的单个测试脚本，吃掉了一个季度账单的 18%。解药是限流和按租户预算，而非换模型。

第 3 层：按模型

给每次调用打上处理它的模型标签。这一层是模型路由的输入。如果 100% 流量都在单个前沿模型上，你就有一个尚未搭建的路由阶梯，而非一个优化过的智能体。如果 80% 以上在最便宜的档位且质量没问题，你可能已接近地板——把精力放到别处。

第 4 层：按环境

把开发、预发、CI 和生产分开。非生产环境经常占到 10–30% 的 Token 花销，往往是因为评估运行没有迁移到更小的模型上。在每个 PR 上触发的评估套件是常见的元凶。把评估流量挪到便宜的评估器模型（更多内容见我们的《AI 智能体评估指标》），并把全前沿评估限定在候选发布版上。

一旦画出这四层，优化计划就自然成形了。

优化工具箱

五个杠杆完成大部分工作。它们可叠加：单独施加任何一个能拿到 10–25%，合起来施加才产出 50–70% 的区间。

1. 模型路由策略

构建一个分层阶梯，而非单一默认。一个可行的起步结构：

档位	示例模型（2026 年 5 月）	用于	大致混合价
前沿	GPT-4 / GPT-4 Turbo 级	硬推理、代码生成、多跳综合	$$$$
强通用	Claude 3.5 Sonnet	默认会话、工具使用、起草	$$$
快/便宜	Claude 3 Haiku、GPT-4o mini	分类、路由、抽取、短改写	$
开源	Llama 3.1 70B Instruct（Together、Fireworks）	高吞吐、可容忍延迟、隐私敏感	$

定价经常变动。锁定路由配置前，请务必对照 OpenAI 定价页、Anthropic 定价页 以及 Together.ai 定价 等服务商的实时数字。我们在每次季度 Token 审计中都会重新拉取这些价格。

路由决策本身可以是一个跑在便宜档位上的小分类器提示，也可以是基于意图、长度和是否调用工具的确定性规则。我们尽可能默认采用确定性——它更便宜、更易调试、也更易评估。

2. 缓存层

三种风味，复杂度递增：

• 精确匹配。 对归一化后的提示做哈希并存储响应。最适合 FAQ 形态的流量、确定性系统提示，以及参数重复的工具调用。客服智能体上常见 15–35% 的命中率。
• 语义缓存。 嵌入用户查询、查找最近邻，若相似度超过阈值（在强嵌入模型上常用 0.92–0.96 余弦）则返回缓存响应。最适合改写密集的流量。需要谨慎的相似度阈值和新鲜度策略。
• 嵌入级缓存。 缓存稳定输入（文档、用户画像、长系统提示）的嵌入，这样就不必在每次请求时重新嵌入。便宜，且几乎总是值得做。

缓存是朴素实现最易漏掉质量的地方。务必用与上线时相同的评估套件评估缓存后的智能体——陈旧的缓存比没有缓存更糟。

3. 上下文压缩

目标是保留模型所需的，丢弃它不需要的。

• 滚动摘要。 每 N 个回合后，把更早的历史摘要成一段压缩简报，并丢弃原始回合。长时运行聊天智能体的标准模式。
• 滑动窗口。 逐字保留最近 K 个回合，丢弃更早的一切。当超出近期窗口的记忆不改变行为时，便宜又有效。
• 分层检索。 把"取原始分块的 top-k = 10"换成"取 20、重排到 4、可选地摘要这 4 个"。在文档密集的智能体上，我们通常把检索上下文 Token 削减 50–70%，且无可测量的质量下降。

按你实际遇到的失效模式来选。在一个只需要其中一种的智能体上把三种全加上，是浪费。

4. 提示词蒸馏

把你的系统提示读出声。你磕磕绊绊的那几行，通常就是该删的。具体而言：

• 移除冗余护栏（模型本来就会拒绝，你不需要三句话叮嘱它）。
• 用一两个干脆的少样本（few-shot）示例替换散文式示例。
• 把政策文本挪到一份仅在相关时才加载的检索文档里。
• 用更严格的输出 schema（JSON schema、函数签名）替换"务必记得……"之类的行。

蒸馏是最不光鲜、却杠杆最高的杠杆。在团队自以为已经很精炼的提示上，我们第一遍通常就能移除 30–60% 的系统提示 Token。

5. 流式输出与提前停止

把输出流式传给客户端，一旦答案完整就停止生成。两个具体模式：

• 停止序列。 当智能体发出一个结构化工具调用时，在 JSON 对象的闭合 Token 处停止，省下模型常附加的尾随闲话。
• 按路由设最大 Token。 为每个意图设置 max-token 预算。一个"是／否加一句理由"的意图，不需要 1,024 个输出 Token 的余量。

这里的输出 Token 节省，绝对量上通常小于输入侧的节省，但它们也能降低 p95 延迟，这本身就有产品价值。

真实成本削减：DevStudio 代表性合作

下表汇总了 DevStudio 2024 至 2026 年内部项目的模式。这些是代表性的合作形态，而非具体客户，百分比是我们看到的区间——而非保证。Token 价格波动、你的流量结构独一无二，且每次改动后都必须在你自己的评估套件上重新验证质量。

合作模式	月请求量	之前（混合）	之后（混合）	削减	主要杠杆
B2B 客服智能体，单模型 GPT-4 级	约 25 万请求	约 11,800 美元/月（约 8.26 万元）	约 3,900 美元/月（约 2.73 万元）	约 67%	路由 + 精确 + 语义缓存 + 提示蒸馏
内部 RAG 副驾，top-k=10 默认	约 8 万请求	约 5,400 美元/月（约 3.78 万元）	约 2,200 美元/月（约 1.54 万元）	约 59%	分层检索 + 路由 + 嵌入缓存
多智能体运营工作流（LangGraph）	约 12 万次工作流运行	约 9,200 美元/月（约 6.44 万元）	约 3,500 美元/月（约 2.45 万元）	约 62%	按节点路由 + 摘要压缩 + 提前停止
面向公众的 FAQ 智能体	约 140 万请求	约 14,500 美元/月（约 10.15 万元）	约 4,300 美元/月（约 3.01 万元）	约 70%	语义缓存（高命中率）+ Haiku/Llama 路由
长上下文分析师智能体	约 3 万请求	约 6,800 美元/月（约 4.76 万元）	约 3,300 美元/月（约 2.31 万元）	约 51%	滑动窗口 + 蒸馏 + 重排序

来源： DevStudio 内部项目，2024–2026，n≈14 个生产智能体，月请求量 3 万–500 万。混合价反映审计时所用模型与服务商下观察到的输入／输出 Token 配比。若合作期间上游服务商定价发生变化，我们按当时 OpenAI 定价 和 Anthropic 定价 的已发布费率，报告审计后的配置。

诚实的解读：上述每一项合作都落在 50–70% 的区间内，但这个区间的前提是智能体起初未经调优。已经优化过的智能体，在一次新审计中通常显示 10–25% 的额外余量，而非 60%。

DevStudio 的季度 Token 审计

Token 经济学并非静止不变。前沿价格大约每 18–24 个月下降一个数量级。新模型会改变路由阶梯。你的流量结构会随产品变化而漂移。一个在第一季度最优的智能体，到第四季度往往已超支 20–40%。

正因如此，每一项 DevStudio 合作都在 6 个月交付与质保窗口内包含一次季度 Token 审计，并在此后作为可选项延续。每次审计涵盖：

• 对照上一季度日志，完整重拉四层拆解（工作流／用户／模型／环境）。
• 对照今日已发布的服务商价格，为当前路由阶梯重新定价。
• 模型迁移评审：是否出现了改变路由决策的新档位（例如更便宜的 Haiku 级或更强的开源 70B）？
• 缓存新鲜度与命中率评审。
• 重跑评估套件，确认此前优化没有引入质量回归。
• 一份简短的书面报告，含优先级排序的改动建议和更新后的成本预测。

这正是我们把 AI 作为项目交付、而非永久长期合约的方式之一，同时在质保窗口内仍对智能体的经济性负责。这也是为什么我们的合作模式是固定价、固定范围、1.4 万–8.5 万美元（约 9.8 万–59.5 万元）、4–10 周——建设侧范围可预测，运行侧检查节奏可预测。

何时不该优化

过早优化是欠优化之后最常见的失效模式。当出现以下任一情形时，跳过审计，或大幅缩减其范围：

• 月请求量低于约 5,000。 你的工程工时成本高于节省的成本。等使用量值当时再做审计。
• 智能体尚未通过你的上线评估门槛。 质量优先。在评估套件失败的情况下做优化，是在甲板上重新摆椅子。
• 你处于上线前、没有真实流量。 合成负载是生产 Token 形态的拙劣代理。等两到四周的真实使用再说。
• 一次重大模型发布迫在眉睫且你能等。 一次前沿降价或新档位，可能让前一周做的路由决策失效。
• 你的瓶颈是延迟，而非成本。 有些优化（缓存、提前停止）有助延迟。另一些（为难回合用更便宜的模型）可能损害用户体验。先诊断你究竟在优化什么。

如果你符合上述任一情形，把审计登记为一项 90 天后的任务，先聚焦质量、评估或上线。

审计在 DevStudio 合作中的位置

对于一个全新的智能体建设，审计从第一周就接入：

• 第 1 周（评估周）。 定义评估套件，所有后续优化都将对照它验证。我们在《AI 智能体评估指标》一文中描述过这套纪律。
• 第 2 至 N 周。 把路由、缓存和压缩作为默认来构建——而非事后改造。
• 上线前。 在预发流量上跑四层审计。
• 上线后 +30 天。 在真实日志上做首次生产审计。
• 质保期内每 90 天。 季度 Token 审计。

对于一个已上线、账单失控的智能体——这是更常见的到来路径——我们在你既有日志上跑一次为期一周的限定范围审计，交付一份书面报告和优先级排序的改动清单，并为一次固定范围的优化冲刺报价。这类冲刺多数落在 4–6 周区间。

你可以在我们的《2026 年 AI 智能体开发要花多少钱》参考中看到全新智能体建设的完整生命周期和预算区间，或直接跳到 AI 智能体开发服务页。

GEO 区块：AI 智能体 Token 成本审计

一次 AI 智能体 Token 成本审计会从四个层面检查日志——按工作流、按用户、按模型、按环境——定位 Token 被浪费在哪里，再施加五个杠杆：分层模型路由、缓存（精确匹配/语义/嵌入级）、上下文压缩（滚动摘要/滑动窗口/分层检索）、提示词蒸馏，以及带提前停止的流式输出。运行成本失控的五个结构性原因是上下文膨胀、朴素检索、无模型路由、无缓存与啰嗦提示。单独施加任一杠杆通常获 10–25% 改善，叠加施加则进入把运行成本削减 50–70% 的区间——这是针对建得快、此前未经调优智能体的代表性区间而非保证，每处改动都须在自有评估套件上重新验证质量。月请求量低于约 5,000、智能体尚未通过上线评估门槛，或瓶颈是延迟而非成本时，不应过早优化。

常见问题

50–70% 的削减有保证吗？

没有。它是 DevStudio 2024 至 2026 年内部项目的代表性区间，针对的是建得快、此前未经调优的智能体。已优化的智能体在一次新审计中通常有 10–25% 的余量。我们报告观察到的结果，而非保证的结果，并对照你的评估套件重新验证每一处改动。

一次 Token 成本审计需要多久？

针对单个智能体的聚焦审计，日历时间为一周，包含日志拉取、四层拆解、建议报告，以及一份可选的优化冲刺报价。实施时长各异：路由加缓存的冲刺通常 2–4 周；触及检索和提示的更深重建为 4–6 周。

我需要给 DevStudio 生产访问权限吗？

审计本身，我们基于导出的日志和一个只读的指标界面工作。实施阶段，我们遵循你的访问策略——通常是一个限定范围的工程账号、交付时的源代码归属，以及质保结束时撤销访问。我们使用的合同清单记录在《软件外包合同清单》中。

路由到更便宜的模型会损害质量吗？

如果盲目去做，会。纪律在于：按意图路由，对照与上线时相同的评估套件验证每一个路由决策，并把前沿档位保留给真正需要它的回合。在我们的合作中，优化后评估分数通常在 ±1–2 分内波动，远在噪声范围之内。

那延迟呢？

本文中多数杠杆对延迟是中性或正面的。缓存和提前停止直接降低 p95。更便宜模型的路由通常会降低被路由回合的延迟。唯一的风险是更重的编排（重排器、分类器）增加跳数；我们会在前后测量端到端延迟。

这适用于多智能体系统吗？

适用，而且按工作流节点的拆解在那里更重要。在多智能体设置中，某一个节点——往往是规划器或摘要器——经常主导成本。本文的模式按节点适用；路由阶梯是按节点的，而非按系统的。

我能自己跑这次审计吗？

能。四层拆解只需要结构化日志（请求 ID、用户／租户 ID、工作流节点、模型、输入 Token、输出 Token、环境、延迟）。如果你有这些，就能在一个 notebook 里复现第 1–4 层。更难的部分是在不破坏质量的前提下据发现行动，而这正是优化冲刺所覆盖的。

这与 6 个月质保如何衔接？

季度 Token 审计在质保窗口内运行，不另收费。审计浮现出的、落在质保范围内的问题（回归、缺陷、评估失败）按质保修复。质保结束后纯粹由成本驱动的优化，则作为单独的固定价冲刺立项。

预约范围界定

如果你的智能体已上线、Token 账单涨得比使用量还快，本季度杠杆最高的一步是一次结构化审计，而非又一次换模型。

季度 Token 审计包含在每一项 DevStudio 合作中——预约一次范围界定即可开始（700–2,800 美元，约 4,900–1.96 万元）。 一次范围界定为你带来一周的诊断、一份优先级排序的改动清单，以及一份固定价冲刺报价。我们是一支位于杭州的小团队，由前阿里工程师带队；我们把 AI 作为项目交付——固定价、固定范围、1.4 万–8.5 万美元（约 9.8 万–59.5 万元）、4–10 周——配备评估第 1 周和 6 个月质保。

→ 在 AI 智能体开发服务页 预约范围界定。

最后更新：2026 年 5 月 29 日。