苹果官网
英伟达宣布Groq 3 LPX全面投产:Vera Rubin推理效率实现数倍提升_我的网站

A | 本网站“企业报价”是生产企业的公开销售价或采购价(如出厂价、挂牌价、出栏价、收购价等),有时生产企业会根据自身情况调整实际成交价格,仅供参考。

B | 本网站发布的原创内容未经授权,禁止转载。 8月25日消息,英伟达宣布,面向交互式AI推理的Groq 3 LPX处理器正式进入全面投产阶段。

C | 该芯片是Vera Rubin平台的关键组件之一,专注于超低延迟Token生成,旨在弥补传统GPU架构在此类场景下的不足。本网站发布的原创或转载内容旨在传递更多行业动态,内容仅供参考,不构成任何投资建议。

D | 依据以上数据和信息而进行的投资、买卖、运营等行为所造成的任何直接或间接损失及法律后果均由行为人自行承担。 在Artificial Analysis的基准测试中,Groq 3 LPX搭载Gemma 4 31B模型、处理100,000 Token上下文时,实现了每秒3400个输出Token的吞吐量,创下该模型迄今最高纪录。 针对智能体编程等对延迟敏感的工作负载,其响应速度最高可达近期竞品平台的4倍。 英伟达指出,智能体任务与传统聊天或摘要生成存在本质差异:一次任务可能包含数百甚至数千个推理步骤,智能体需反复读取文件、调用工具、执行代码、校验结果并迭代推理,上下文长度随之累积至数十万Token。

E | 因此,智能体AI带来两个并行的计算需求:一是高效处理持续增长的大规模上下文,二是以极低延迟持续生成每一个输出Token。

F | Vera Rubin平台通过多芯片协同设计应对这一挑战。版权声明...。其中,Rubin GPU负责大规模训练、推理及上下文处理;Groq 3 LPX则专为单用户交互场景优化Token生成速率;Vera CPU承担工具编排、代码执行、数据处理和模拟等CPU密集型工作;BlueField-4 DPU与Spectrum-6 SPX则分别负责网络与存储加速。 英伟达同步公布了Vera Rubin NVL72在真实智能体负载下的测试结果。基于SemiAnalysis的AgentX工作负载,采用DeepSeek V4 Pro模型,Vera Rubin NVL72每兆瓦(MW)吞吐量最高达到上一代GB300 NVL72的30倍,每Token成本最高降低35倍。 结合Groq 3 LPX的表现,该组合可使智能体在代码编写、测试执行、工具调用和结果验证等连续任务中获得更快的响应速度,从而显著缩短端到端任务完成时间。 英伟达强调,Groq 3 LPX全面投产的核心目的并非以专用推理芯片取代GPU,而是为Vera Rubin平台补充传统GPU架构在超低延迟Token生成方面的短板。 整个Vera Rubin平台被定位为面向智能体AI时代的AI工厂系统,涵盖Rubin GPU、Vera CPU、Groq 3 LPX、BlueField-4 DPU、Spectrum-6 SPX等七款芯片及五种专用机架,所有组件围绕计算、网络、存储和软件进行深度协同设计,确保各类硬件各司其职,而非由单一处理器包揽全部工作负载。
Current article:http://5egcziu.xiaqingzhuangdaminnan.cyou/p68/0yz.html
Published on:17:46:55
