Token速度等于商业价值？刘军直言，智能体时代AI超节点是关键

景点排名 2025年11月10日 10:00 0 aa

当前人工智能发展正经历从“规模扩张”向“效能提升”的重要转变。浪潮信息首席AI战略官刘军指出，在智能体（Agent）时代，token的交互速度已成为衡量AI系统商业价值的关键指标。

这一观点标志着产业关注点从单纯追求参数规模，转向更加注重实时响应与业务场景的深度融合。当智能应用从人机对话迈向机机协同，响应延迟不仅影响用户体验，更直接关系到商业转化的效率。

智能体时代的速度竞争已成为商业核心要素

规模扩展定律（Scaling Law）长期以来驱动着大模型能力的提升，从百亿、千亿到万亿参数的发展路径证明了算力投入与模型智能的正相关关系。

然而，在智能体产业化落地的阶段，仅依靠参数增长已不足以满足实际需求。刘军提出，智能体产业化的三大核心要素分别为能力、速度和成本，其中token交互速度直接决定了智能体在真实业务环境中的可用性与有效性。

以典型的人机对话场景为例，当token生成速度达到每秒20个（约50毫秒/ token）时，可匹配正常人类的阅读速度，保证交互流畅。但随着应用场景扩展至机器与机器之间的高效协同，如直播电商、量化交易、风险防控等高实时性领域，对token响应速度提出了低于10毫秒的更高要求。

某直播电商平台在2024年底进行的A/B测试显示，经过深度优化的低延迟智能体使平均响应延迟降低38%，并带动实验直播间GMV提升11.4%，用户复购率增长7.8%。这一数据表明，响应速度的提升能够有效捕捉用户意图转瞬即逝的“黄金窗口”，从而直接提升商业转化效果。

正如刘军所强调的：“在智能体时代，快已从可选项转变为商业成功的刚性约束。”只有当智能体的响应速度快于业务决策窗口期，AI才能真正成为核心生产力。这一转变也促使行业重新审视AI算力系统的评估标准。

随着应用场景对实时性要求的提升，行业对AI算力系统的评估重点已从单纯看重算力规模，转向更加关注以token生成速度为代表的综合性能指标。

近年来备受关注的InferenceMax™开源AI基准测试，正致力于建立动态追踪模型迭代的评估体系，在真实推理环境中衡量各类AI算力系统的综合效率。该测试将token生成速度列为核心指标。

目前，全球主流大模型API服务商的token生成速度普遍维持在10-20毫秒水平，而国内服务商仍有提升空间，这一差距也预示着未来市场竞争的关键方向。AI算力评估体系正在从“以算力规模为中心”转向“以服务效能为核心”，token生成速度作为衡量AI系统实时响应能力的关键指标。

将token生成速度降至10毫秒以下，需要在系统架构、互联协议和软件框架等多个层面实现协同创新。浪潮信息推出的元脑SD200超节点AI服务器，通过软硬件协同优化，实现了DeepSeek R1大模型单token生成速度低至8.9毫秒，标志着国内AI服务器正式进入“10毫秒时代”。

在系统架构方面，元脑SD200采用创新的多主机3D Mesh架构，支持单机64路国产AI芯片的高密度算力扩展，并原生兼容开放加速模组（OAM），实现了多元AI芯片的灵活适配。

通过远端GPU虚拟映射技术，解决了跨主机域统一编址的难题，使显存统一地址空间扩增8倍，单机最大提供4TB显存与64TB内存，为万亿参数大模型提供了充足的键值缓存空间。

互联协议的设计是实现低延迟通信的关键。元脑SD200采用极致精简的3层协议栈，原生支持Load/Store等“内存语义”，使GPU能够直接访问远端节点的显存或主存，将基础通信延迟降至百纳秒级。

在软件层面，针对DeepSeek、Kimi等主流模型的计算特性，浪潮信息完成了通信库、计算框架与预填充-解码分离策略的深度优化。

从规模优先到速度决胜，AI产业正经历价值评估体系的深刻变革。刘军提出的“token速度等于商业价值”不仅是对技术趋势的精准判断，更是对智能体时代竞争本质的揭示。

AI与各行业的深度融合将更加依赖于响应速度与业务场景的精准匹配。只有当AI系统能够实时捕捉并响应业务需求，才能真正释放其作为核心生产力的价值。

随着整个行业在算法、软件和硬件层面持续攻克延迟挑战，AI技术必将为百行千业的数字化转型注入全新动力，推动数字经济迈向更高效、更智能的新阶段。

发表评论