快捷导航
关于我们
机械自动化
机械百科
联系我们

联系我们:

0431-81814565
13614478009

地址:长春市高新开发区超越大街1188号
传真:0431-85810581
信箱:jltkxs@163.com

机械自动化
当前位置:J9集团国际站官网 > 机械自动化 > div>

每秒110万Token!微软英伟达联手刷新 AI推理 速度

发布时间:2025-11-25 21:35

  

  微软取英伟达此次合做,再次证了然手艺立异对于鞭策AI成长至关主要。跟着AI推理速度的不竭提拔,我们有来由等候更多立异使用的呈现,例如更智能的小我帮手、更高效的企业级使用等。从久远来看,AI根本设备的扶植和优化,将成为鞭策整个行业成长的环节。你认为,正在AI推理速度不竭提拔的布景下。

  这一里程碑式的冲破,不只是速度上的提拔,Signal65的尝试室副总裁拉斯·费洛斯指出,Azure ND GB300v6的推出,将加快AI推理使用正在企业中的落地,鞭策更多立异使用的呈现。连系全网搜刮的内容,我们看到微软也正在积极摸索将AI手艺融入到Windows系统的“设置”功能中,通过NPU(神经处置单位)实现当地化运转,提拔用户体验。同时,微软取AMD、英特尔、高通等芯片厂商的合做,也表现了正在硬件层面进行深度优化的主要性。

  速度的行业新记载。据智通财经APP报道,其Azure ND GB300v6虚拟机正在Meta的L2 70B模子上实现了每秒110万个token的惊人推理速度,标记着AI算力范畴又一次严沉冲破。这一成绩不只表现了微软正在AI根本设备上的持续投入,该系统集成了72个NVIDIA Blackwell Ultra GPU和36个NVIDIA Grace CPU,采用单机架构设想。这款虚拟机专为推理工做负载优化,相较于上一代GB200,正在推能上提拔了27%,而功耗仅添加了17%。这一改良得益于Blackwell Ultra架构的优化,微软首席施行官萨提亚·纳德拉正在社交上暗示,这一成绩源于微软取英伟达的持久合做以及正在出产规模运转人工智能方面的专业学问。