当前全球AI产业已从模型性能竞赛迈入智能体规模化落地的竞速阶段，“降本”不再是可选优化项，而是决定AI企业能否盈利、行业能否突破的核心。
12月27日，记者获悉，浪潮信息首席AI战略官刘军在公开场合强调，当前，1元/每百万token的成本突破仅是阶段性的胜利，面对未来token消耗量指数级增长、复杂任务token需求激增数十倍的必然趋势，现有成本水平仍难支撑AI的普惠落地。未来，AI要真正成为如同“水电煤”般的基础资源，token成本必须在现有基础上实现数量级跨越，成本能力将从“核心竞争力”进一步升级为“生存入场券”，直接决定AI企业在智能体时代的生死存亡。
回顾互联网发展史，基础设施的“提速降费”是行业繁荣的重要基石。从拨号上网以Kb计费，到光纤入户后百兆带宽成为标配，再到4G/5G时代数据流量成本趋近于零——每一次通信成本的显著降低，都推动了如视频流媒体、移动支付等全新应用生态的爆发。
当前的AI时代也处于相似的临界点，当技术进步促使token单价下滑之后，企业得以大规模地将AI应用于更复杂、更耗能的场景，如从早期的简短问答，到如今支持超长上下文、具备多步规划与反思能力的智能体……这也导致单任务对token的需求已呈指数级增长。如果token成本下降的速度跟不上消耗量的指数增长，企业将面临更高的费用投入。谷歌在10月披露，其各平台每月处理的token用量已达1300万亿，相当于日均43.3万亿，而一年前月均仅为9.7万亿。
刘军认为，“token成本就是竞争力，它直接决定了智能体的盈利能力。要让AI真正进入规模化普惠阶段，token成本必须在现有基础上继续实现数量级的下降。”
浪潮信息首席AI战略官刘军
深挖token成本“暗箱” 架构不匹配是核心瓶颈
当下，全球大模型竞赛从“盲目堆算力”转向“追求单位算力产出价值”的新阶段。单位算力产出价值受到能源价格、硬件采购成本、算法优化、运营成本等多种因素的影响，但不可否认的是，现阶段token成本80%以上依然来自算力支出，而阻碍成本下降的核心矛盾，在于推理负载与训练负载截然不同，沿用旧架构会导致算力、显存与网络资源难以同时最优，造成严重的“高配低效”。
一是算力利用率（MFU）的严重倒挂。训练阶段MFU可达50%以上，但在推理阶段，特别是对于追求低延迟的实时交互任务，由于token的自回归解码特性，在每一轮计算中，硬件必须加载全部的模型参数，却只为了计算一个token的输出，导致昂贵的GPU大部分时间在等待数据搬运，实际MFU往往仅为5%~10%。这种巨大的算力闲置是成本高企的结构性根源。二是“存储墙”瓶颈在推理场景下被放大。在大模型推理中，随着上下文长度的增加，KV Cache呈指数级增长。这不仅占用了大量的显存空间，还导致了由于访存密集带来的高功耗。三是网络通信与横向扩展代价愈发高昂。当模型规模突破单机承载能力时，跨节点通信成为新瓶颈。
对此，刘军指出，降低token成本的核心不是“把一台机器做得更全”，而是围绕目标重构系统：把推理流程拆得更细，支持P/D分离、A/F分离、KV并行、细粒度专家拆分等计算策略，让不同计算模块在不同卡上按需配置并发，把每张卡的负载打满，让“卡时成本”更低、让“卡时产出”更高。
据了解，针对token成本“痛点”，浪潮信息提出的元脑HC1000超扩展AI服务器，是基于全新设计的全对称DirectCom极速架构，采用无损超扩展设计，可高效聚合海量本土AI芯片，支持极大推理吞吐量，推理成本首次击破1元/每百万token，为智能体突破token成本瓶颈提供创新的算力系统。
刘军表示：“我们看到原来的AI计算是瞄着大而全去建设的，各种各样的东西都在里面。但是当我们聚焦降低token成本这一核心目标之后，我们重新思考系统架构设计，找到系统瓶颈，重构出一个极简设计的系统。”
另外，元脑HC1000创新设计了DirectCom极速架构，每计算模组配置16颗AIPU，采用直达通信设计，解决传统架构的协议转换和带宽争抢问题，实现超低延迟；计算通信1:1均衡配比，实现全局无阻塞通信；全对称的系统拓扑设计，可以支持灵活的PD分离、AF分离方案，按需配置计算实例，最大化资源利用率。
刘军强调，当前“1元/每百万token”还远远不够，面对未来token消耗量的指数级增长，若要实现单token成本的持续、数量级下降，需要推动计算架构的根本性革新。这也要求整个AI产业的产品技术创新，要从当前的规模导向转为效率导向，从根本上重新思考和设计AI计算系统，发展AI专用计算架构，探索开发大模型芯片，推动算法硬件化的专用计算架构创新，这将是未来的发展方向。
文/广州日报新花城记者：文静
广州日报新花城编辑：李光曼
