VentureBeat旗下研究机构VentureBeat Intelligence汇总的2026年第三季度连续调研显示,企业GPU算力闲置已成为持续现象:79%的受访者表示其GPU算力至少有一半时间处于完全闲置状态,这一比例在7月、8月、9月三轮调查中稳定维持在77%至81%的高位。三轮VB Pulse调查共覆盖385名符合条件的受访者,来自员工人数不少于100人的机构,其中也包括代表主要客户作答的咨询顾问。
更值得玩味的是,在这批GPU平均利用率不超过50%的企业中,仍有70%计划在未来12个月内引入、扩充或更换新的AI计算平台。硬件在机房吃灰,AI预算却继续扩张,这种反差构成了当前企业AI投入的一幅矛盾图景。
调研进一步揭示了资金流向的结构性割裂:在计划采购新计算平台且GPU闲置的企业中,90%将目光投向公有云与模型API服务商,仅有8%考虑扩建本地私有集群。与此同时,在计划引入新平台的企业中,91%拿不出经过财务部门审核的实际投资回报率(ROI)数据——9月调查中,64名计划采用新AI平台的受访者里有58人属于这种情况。没有经过审核的ROI并不等于项目没有收益,但它至少说明,企业AI投资的财务评估尚未跟上基础设施投入的速度。
这种错配的根源在于企业同时为两类截然不同的AI支出买单。一方面,前两年全球算力短缺的焦虑促使大量企业出于防踏空心理提前锁定并采购GPU集群,但硬件到位后缺乏成熟的内部场景与工程能力将其跑满;另一方面,业务团队与工程师更倾向直接调用OpenAI、Anthropic和Google旗下最顶尖的闭源前沿模型,通过API按Token付费或订阅方式获取能力,这些模型无法直接部署到企业自有的本地或托管GPU上。结果是自建算力沦为沉没资产,而调用闭源API的成本却以惊人速度吞噬预算。
这种张力已有现实案例。《财富》杂志今年8月报道,Uber首席技术官透露,公司鼓励员工尽可能多地使用AI工具,甚至设立排行榜按软件工程师的使用情况排名,结果几个月内便耗尽了2026全年的AI预算,企业不得不宣告Token狂欢时代的终结。一些技术负责人也向VentureBeat表示,在今年秋季的预算季,他们正承受削减AI账单的巨大压力。
如果说GPU闲置暴露的是基础设施利用效率问题,那么AI Agent的普及可能让成本挑战更加复杂。VentureBeat预计,企业AI支出中用于模型调用的比例将越来越高。Gartner预测,到2028年,单个Agent工作流的推理成本将上升5倍以上。这并不意味着Token单价会越来越贵——随着推理基础设施和模型效率优化,单位Token价格可能继续下降,真正的问题在于Agent完成任务时消耗的Token数量可能增长得更快。
一个容易被忽视的成本来源是上下文。以AI编程为例,模型不仅需要理解当前问题,还需不断读取项目代码、系统指令和历史执行记录,这些上下文可能在多次请求中重复出现。NVIDIA工程师在一份技术指南中提到,在其研究的Claude Code会话场景中,首次调用之后,后续请求约85%至97%的上下文可通过缓存复用,而Anthropic的缓存读取价格根据模型和定价条件,可低至普通输入Token价格的四十分之一至十分之一。对于需要持续执行任务的Agent,这种优化可能带来可观节省。另一个变量是Agent数量:行业评测机构Vals AI的一项编程任务测试发现,采用主Agent调度多个子Agent的方案,成本达到单Agent的1.8至5.1倍,但在四种测试配置中只有一种取得统计显著的性能提升。
面对高闲置率与失控的模型调用账单,业内普遍认为企业应在签署下一份算力合同前,优先从既有资产中挤出效率。具体路径包括:衡量每项已完成任务的成本,同时计入GPU算力与API调用支出;测试不同模型和推理强度以确定默认配置,评价标准应是每项任务成本而非单个Token价格;只向Agent提供实际需要的上下文并缓存重复内容;仅当任务可拆分为并行部分时才增加第二个Agent;将分类、信息抽取、文本摘要等常规高频任务从前沿模型API迁移到运行在闲置算力上的开放模型;利用GPU剩余闲置时间处理批量推理、模型评测和微调等可延后任务。
这组数据并不能直接证明AI泡沫已经形成,也不能说明整个AI行业正走向产能过剩。但它提醒企业,资源投入与实际需求之间可能存在需要重新审视的落差。过去几年,行业习惯用参数规模、训练算力和资本开支衡量进展;随着技术进入真实业务,评价体系还需回答企业究竟用AI完成了多少工作、成功率多高、节省多少时间、付出多少成本。对模型厂商而言,竞争将不只围绕模型能力,还会延伸到推理效率、部署灵活性与整体任务成本;对企业而言,比继续囤积算力更重要的,可能是先把已有的GPU和Token用好。