NVIDIA BLACKWELL GPU AI推理速度的世界记录,获得了

在5月24日新闻的家中,NVIDIA周四宣布,Blackwell GPU成功打破了4000亿Meta Llama 4 Maverick模型的LLM Speed World纪录。据报道,人工评论是AI基准测试机构,通过配置8个Blackwell GPU,通过配置DGX B200节点来实现每秒执行1,000个令牌(TPS)的里程碑。 NVIDIA表示,技术团队通过Tensorrt-LLM软件堆栈实施了深入的优化,并使用Eagle-3技术来训练Infreed Docoding草案模型,这与优化前的基准相比,其性能提高了4倍。通过峰调整吞吐量,整个服务器系统每秒可以达到72,000个令牌。 NVIDIA解释说:“也许解码是一项技术加速的技术,可以通过小型快速的草稿模型采用代币,然后通过大型LLM目标证明。g makabuo ng maga token sa gastos ng karagdagang na pagkallula ng na na na高架头顶。 pinabilis na pag -iintindi sa modelo ng wika,na bumubuo ng mga Synergies na May arkitektura ng fp8数据的硬件可与BF16的制造商相当