本地 vs 云端 AI Agent：token 消耗与隐私成本权衡

合规与效果之间的张力，成为新挑战。

最近，一篇arXiv论文把Agentic Coding的真实成本问题推到台前：AI代理在编码任务中的token消耗，竟然是普通代码聊天或单轮推理任务的约1000倍，主要由输入token驱动。这不是简单夸大，而是基于SWE-bench Verified基准对八款前沿模型轨迹的系统分析。输入token主导了整体开销，输出生成反而退居次席，这让许多开发者在实际落地时面临隐形账单膨胀的风险。

论文数据显示，Agentic coding任务的token消耗比普通代码聊天或单步推理高出1000倍以上，其中输入token而非输出占据了成本大头。即使启用token caching，上下文膨胀依然让输入像滚雪球一样增长。OpenHands这类框架在默认模式下会把历史工具输出、代码库片段和失败尝试反复塞回提示，导致每轮调用都变得昂贵。这个模式解释了为什么账单常常超出预期。

大多数开发者以为更先进的AI Coding Agent会自然降低单位成本，但现实往往相反。聪明模型在agentic流程中倾向于生成更多探索性迭代和上下文冗余，反而推高输入token总量。论文中的数据支持这一判断：高消耗轨迹并不总是对应更高成功率，中间成本区间反而展现出更好的性价比。方向是对的，但执行中需要更精细的控制框架。

这远超初始设计（2.4%）和编码（8.6%）等前期阶段，输入token整体占比达53.9%，远高于输出token。表面上AI Agent能自主完成SWE-bench任务显得高效，但实际成本结构比想象中复杂得多。

论文核心数据显示，同一任务不同运行的token消耗可相差高达30倍，输入token而非输出token才是主导成本的因素。准确率通常在中等成本区间达到峰值，继续增加消耗反而出现饱和。这说明AI Agent的“努力”更多体现在反复吞吐上下文、调用工具和试错循环上，而不是像人类那样通过深化“脑力”攻克逻辑深度。

大多数媒体和开发者目前把目光聚焦在AI代理带来的效率跃升上。在SWE-bench这类真实软件工程基准中，顶级代理系统已经展现出不俗的表现，许多人因此乐观认为，只要引入Agentic Coding，就能让AI像资深工程师一样自主完成复杂任务，从而显著减少人力投入。这一点确实有其道理——代理通过工具调用和多轮迭代，能处理真实项目中的迭代调试，而非简单的一次性问答。

从实际部署看，这种波动让企业预算预测变得困难。开发团队修复同一个issue，第一次运行可能顺利通过测试，token在合理范围；第二次却走弯路，上下文膨胀导致成本直线上升，准确率却未必提升，甚至因超时失败。短期内，开发者需加强单次运行监控，考虑早停机制；长期而言，推动模型提升token预测能力（当前相关性最高仅0.39且系统性低估）将成为关键，否则高波动或成Agent规模化落地的隐形瓶颈。

此外，前沿模型预测自身token消耗的能力相当有限。论文发现，模型预测与实际消耗的相关性最高仅0.39，且存在系统性低估。这直接导致开发者在启动任务前难以准确预判开销，预算控制变得充满不确定性。短期来看，这会让不少中小团队在实际落地Agentic Coding时面临预算不可控的风险；长期而言，它或许会倒逼行业加速向token-efficient的代理架构演进，比如更优的上下文缓存或专用成本预测工具。

人类专家评定的任务难度与代理实际token成本仅呈现弱相关，这暴露了人机认知上的深层脱节。看似棘手的复杂问题，有时代理能以较少资源解决；而一些简单场景却可能让代理陷入冗长循环，快速累积开销。计算努力与感知复杂度之间的剪刀差，构成了AI代理经济学的核心张力，值得持续跟踪，现在下结论为时尚早。

不同模型在相同代理任务上的效率差异也极为显著。以 Kimi-K2 和 Claude-Sonnet-4.5 为例，它们在部分轨迹中比 GPT-5 多消耗超过 150 万 token。这种差距源于模型对上下文管理、工具调用和循环决策的处理方式不同。企业在选择代理部署方案时，模型层面的 token 效率已成为比基准分数更现实的成本变量。

但放大到全行业层面，配套机制的完善速度仍是主要制约因素。