智通财经APP获悉,美东时间周三盘后,英伟达(NVDA.US)公布了2025财年第二财季(自然年2024年二季度)财报。在财报发布后的电话会议上,英伟达表示,Hopper需求强劲,Blackwell正在广泛采样。公司对Blackwell
GPU质量进行了更改,以提高生产良率。Blackwell的生产爬坡计划于第四季度开始,并持续到26财年。第四季度,预计Blackwell
的出货量将达到数十亿美元。Hopper的出货量预计将在2025财年下半年增加。Hopper的供应和可用性有所改善。Blackwell平台的需求远高于供应,我们预计这种情况将持续到明年。
英伟达表示,相信Hopper将在下半年继续增长。公司为Hopper推出了许多新产品,相信Hopper的现有产品将在接下来的几个季度继续增长,包括第三季度和即将在第四季度推出的新产品。因此,可以说Hopper与上半年相比是一个增长机会。此外,我们还有Black Well,Blackwell将在第四季度开始增长。
关于毛利率方面,英伟达表示其提供了第三季度的毛利率。根据非GAAP提供的毛利率约为75%,相信可以在第三季度实现75%的毛利率。公司预计全年毛利率仍有望达到75%左右,可能会在第四季度看到一些细微的差异。
Q&A
Q:感谢您回答我的问题。Jensen,您在准备好的评论中提到Blackwell GPU 掩膜发生了变化。我很好奇,后端封装或其他方面是否还有其他增量变化?我认为相关的是,您表示,尽管设计有所变化,但您可以在第四季度交付数十亿美元的 Blackwell。是因为到那时所有这些问题都会得到解决吗?请帮助我们评估Blackwell 时间安排的任何变化对整体的影响是什么,这对您的收入状况意味着什么,以及我们的客户对此有何反应?
A-黄仁勋:是的。谢谢,Vivek。掩码的更改已完成。无需进行任何功能更改。因此,我们正在对 Blackwell、Grace Blackwell 的功能样本进行采样,这些样本适用于各种系统配置。在 Computex 上展示了大约 100 种不同类型的基于 Blackwell 的系统。我们正在启用我们的生态系统来开始采样这些系统。Blackwell的功能保持不变,我们预计将在第四季度开始生产。
Q :Jensen,我有一个相对长期的问题。您可能知道,市场上对您的客户和客户投资回报率以及这对未来资本支出可持续性意味着什么的争论非常激烈。在 NVIDIA 内部,比如你们在关注什么,当您试图衡量客户回报时,你们关注什么?你们的决策指标是什么?然后可能是对 Colette 的快速跟进。我认为您的全年主权 AI 数字可能增加了几十亿美元。是什么推动了前景的改善?我们应该如何看待 26 财年?谢谢。
A-黄仁勋:谢谢,Toshiya。首先,当我说在第四季度开始出货时,我的意思是出货,而不是开始生产。关于长期问题,我们退一步来看,你听我说过我们正在经历两个同时发生的平台转型。第一个是从通用计算向加速计算的转变。原因是CPU的扩展已被证明在放缓,计算需求却在大幅增长。如果我们没有新的方法,计算通胀将推高每个公司的成本,并增加全球数据中心的能源消耗。实际上,你已经看到了这种情况。所以答案是加速计算。我们知道,加速计算不仅加快了应用程序的速度,还使您能够以更大规模进行计算,例如科学模拟或数据库处理。这直接转化为更低的成本和更少的能耗。事实上,本周我们发布了一篇博客,讨论了我们提供的一系列新库,这正是从通用计算向加速计算转变的核心。节省90%的计算成本并不罕见,因为你加速了50倍的应用程序,预计计算成本会大幅下降。
第二个是通过加速计算实现的,因为我们降低了训练大型语言模型或训练深度学习的成本,令人难以置信的是,现在可以拥有超大规模模型,数万亿参数模型,并在几乎全世界的知识库上对其进行预训练,让模型去弄清楚如何理解人类的语言表征,如何将知识编入神经网络,如何学习推理。这引发了生成式人工智能革命。现在,生成式人工智能,退一步来说,我们之所以如此深入地研究它,是因为它不仅仅是一个特性,不仅仅是一种能力,而是一种全新的软件开发方式。我们现在有数据,而不是人为设计的算法。我们告诉人工智能,我们告诉模型,我们告诉计算机什么是预期答案,什么是我们之前的观察结果。
然后让它弄清楚算法是什么,函数是什么。它学习通用人工智能有点像通用函数逼近器,它可以学习函数。所以你可以学习几乎任何东西的功能。任何可预测的东西,任何有结构的东西,任何你有先前例子的东西。所以现在我们有了生成式人工智能。这是计算机科学的一种基本新形式。它影响着从 CPU 到 GPU、从人工设计的算法到机器学习算法的每一层计算方式。你现在可以开发和生产的应用程序类型从根本上来说是了不起的。
生成式人工智能正在发生许多变化。首先,前沿模型的规模正在大幅增长。我们仍然看到扩展带来的好处。每当模型规模增加一倍时,训练数据集的规模也必须增加一倍以上。因此,创建该模型所需的浮点运算量会成倍增加。这并不罕见,下一代模型所需的计算量可能比上一代多 20 倍、10 倍、20 倍、40 倍,这并不意外。因此,我们必须继续大幅提高代际性能,这样我们才能降低能耗,降低成本。
因此,第一个是,有更大的前沿模型在更多模态上进行训练,令人惊讶的是,与去年相比,今年的前沿模型制作者更多。因此,您将看到更多。这是生成式 AI 中正在发生的动态之一。第二个是,尽管它只是冰山一角。我们看到的是 ChatGPT、图像生成器,我们看到了编码。我们现在在 NVIDIA 中广泛使用生成式 AI 进行编码。当然,我们有很多数字设计师之类的。但这些只是冰山一角。冰山之下是当今世界上最大的系统——最大的计算系统,您过去听我说过,推荐系统从 CPU 转向生成式 AI,现在它正在从 CPU 转向生成式AI。因此,推荐系统、广告生成、自定义广告生成以非常非常大规模的广告为目标,并且非常高度针对搜索和用户生成的内容。这些都是非常大规模的应用,现在已经发展到生成式人工智能。
当然,大量生成式人工智能初创公司正在为我们的云合作伙伴和自主人工智能创造数百亿美元的云租赁机会,你知道,现在各国都意识到他们的数据是他们的自然和国家资源,他们必须使用人工智能,建立自己的人工智能基础设施,这样他们才能拥有自己的数字智能。但正如 Colette 之前提到的,企业人工智能正在起步,你可能已经看到我们宣布世界领先的IT 公司将加入我们,将 NVIDIA 人工智能企业平台推向全球企业。我们正在与之交谈的公司。他们中的许多人都非常兴奋,希望提高公司的生产力。然后是我——然后是 General Robotics。去年发生了巨大的转变,我们现在能够通过观看视频和人类演示来学习物理人工智能,并通过 Omniverse 等系统的强化学习来生成合成数据。我们现在能够与几乎所有的机器人公司合作,开始考虑在通用机器人上进行构建。所以你可以看到,生成式人工智能的发展方向非常多。因此,我们实际上看到生成式人工智能的发展势头正在加速。
Q:您谈到了对 Blackwell 的预期令人难以置信,但似乎 Hopper 的需求也非常强劲。我的意思是,您预计 10 月份即使没有 Blackwell,本季度的业绩也会非常强劲。那么您认为两者的强劲需求会共存多久?您能谈谈向 Blackwell 的过渡吗?您是否看到人们混合使用集群?您是否认为Blackwell 的大部分活动都是新集群?您能谈谈这种过渡是什么样子的吗?
A:是的。谢谢,乔。Hopper 的需求确实很强劲,这是事实。Blackwell 的需求令人难以置信。这有几个原因。第一个原因是,如果你只看世界上的云服务提供商及其可用的 GPU 容量,你会发现基本上没有。原因是它们要么在内部部署以加速自己的工作负载,例如数据处理。现在数据处理,我们很少谈论它,因为它很平凡。它不是很酷,因为它不会生成图片或生成文字,但几乎世界上每家公司都在后台处理数据。NVIDIA 的 GPU 是地球上唯一处理和加速数据的加速器。SQL 数据、Pandas 数据——像 Pandas 这样的数据科学工具包和新的 Polars,这些是世界上最受欢迎的数据处理平台。除了 CPU(正如我之前提到的,它真的已经失去动力)之外,我——Nvidia 的加速计算实际上是提高性能的唯一方法。因此,这是首要的——早在生成式 AI 出现之前,首要的用例就是将应用程序一个接一个地迁移到加速计算。
第二个当然是租赁。他们将产能出租给模型制作者或将其出租给初创公司和生成式人工智能公司,将他们投资的绝大部分资金投入到基础设施中,以便他们可以使用人工智能来帮助他们创造产品。所以这些公司现在需要它。他们根本负担不起——你只是筹集资金,你——他们希望你现在就使用它。你必须进行处理。你不能明年再做,你必须今天就做。所以这是一个公平的原因。Hopper 现在需求旺盛的第二个原因是因为竞争进入下一个平台。因此,第一个进入下一个平台的人,可以引入革命性的人工智能水平。因此,第二个到达那里的人会逐渐变得更好或差不多。因此,系统地、持续地冲向下一个平台并成为第一个到达那里的人,就是你建立领导地位的方式。NVIDIA 一直在这样做,我们向世界展示了这一点,我们制造的 GPU、我们制造的 AI 工厂、我们制造的网络系统、我们创建的 SOC。我的意思是,我们想要——我们想要设定步伐。我们想要始终成为世界上最好的。这就是我们如此努力的原因。当然,我们也希望看到我们的梦想成真,我们想象的未来的所有能力,以及我们可以为社会带来的利益。我们希望看到所有这些都成真。所以这些模型制造者也是一样的。他们——当然,他们想成为世界上最好的,他们想成为世界上第一个。
尽管 Blackwell将在今年年底开始以数十亿美元的价格发货,但建立产能可能还需要几周或一个月左右的时间。所以从现在到那时,生成AI 市场将有很多动态。所以每个人都很着急。他们要么出于运营原因需要它,要么需要加速计算。他们不想再构建任何通用计算基础设施,甚至不想构建 Hopper,当然,H200 最先进的基础设施。Hopper,如果你现在可以选择为企业构建 CPU 基础设施或为企业构建 Hopper 基础设施,那么这个决定相对清晰。所以我认为人们只是在吵着要将价值1万亿美元的现有基础设施转变为 Hopper 最先进的现代基础设施。
Q:非常感谢。大家下午好。我想回到之前的一个问题,关于投资者正在争论的所有这些资本支出的投资回报率,我希望这个问题和区别能够有意义。但我正在讨论的是,有多少人花费了这么多钱,希望推动前沿向 AGI 融合发展,正如你刚才所说,这是一个新的平台和能力。他们不惜一切代价来达到这种能力水平,因为这为行业和他们的公司打开了许多大门,而客户今天真正关注的是资本支出而不是投资回报率。我不知道这种区别是否有意义。我只是想了解一下,你如何看待那些在新技术上投入大量资金的人的优先事项,以及他们的优先事项和投资时间表。
A-黄仁勋:谢谢,Matt。投资NVIDIA基础设施的人马上就得到了回报。所以这是目前你能做的投资回报率最高的计算基础设施投资。因此,思考这个问题的一种方式,可能也是最简单的方式就是回到最初的原则。你有价值 1 万亿美元的通用计算基础设施,问题是,你想建更多这样的基础设施吗?而对于你建立的每套价值 10 亿美元的通用 CPU 基础设施,你可能要花不到 10 亿美元的租金来租用它。因为它已经商品化了。已经有 1 万亿美元的投资了。再多建有什么意义呢?因此,那些渴望获得这种基础设施的人,当他们建立基于 Hopper 的基础设施和很快基于 Blackwell 的基础设施时,他们开始省钱。这是巨大的投资回报。他们开始省钱的原因是数据处理可以省钱,你知道,数据处理就是定价,已经是定价的很大一部分了。所以推荐系统可以省钱,等等,好吗?所以你开始省钱了。
第二件事是,你所做的一切都将被租用,因为许多公司正在成立以创建生成式人工智能。因此,你的能力会立即被租用,投资回报非常好。然后第三个原因是你自己的业务。你是想自己创造下一个前沿,还是让你自己的互联网服务受益于你知道的下一代广告系统、下一代推荐系统或下一代搜索系统?因此,对于你自己的服务、你自己的商店、你自己的用户生成内容、社交媒体平台、你自己的服务,生成式人工智能也是快速的投资回报。因此,有很多方法可以考虑。但从本质上讲,这是因为它是当今您可以投入使用的最佳计算基础设施。通用计算的世界正在转向加速计算。人机工程软件的世界正在转向生成式人工智能软件。如果您要构建基础设施来现代化您的云和数据中心,请使用加速计算 NVIDIA 来构建它。这是最好的方法。
Q:非常感谢。我有一个关于近期和长期收入增长形态的问题。我知道,科莱特,你确实增加了今年的运营支出。如果我看看你的购买承诺和供应义务的增加,这也是相当乐观的。另一方面,有人认为,似乎没有多少客户真正准备好使用液体冷却,我确实认识到其中一些机架可以采用空气冷却。但詹森,这是 Blackwell 如何增长的需要考虑的问题吗?然后我想,当你展望明年之后,这显然将是伟大的一年,当你展望 26 年时,你是否担心任何其他限制因素,比如电力、供应链,或者在某个时候,模型开始变小?我只是想知道你是否可以谈谈这个。谢谢。
A-黄仁勋:我要从后往前推。我非常感谢你的提问,蒂姆。记住她的话,世界正在从通用计算转向加速计算。全世界正在建设价值约 1 万亿美元的数据中心——几年后,价值1 万亿美元的数据中心将全部是加速计算。过去,数据中心没有 GPU,只有 CPU。未来,每个数据中心都会有 GPU。原因很明显,因为我们需要加速工作负载,这样我们才能继续保持可持续发展,继续降低计算成本,这样当我们进行更多计算时——我们就不会经历计算通胀。
其次,我们需要 GPU 来支持一种新的计算模型,即生成式 AI,我们都承认,这种模型将对计算的未来产生重大影响。因此,我认为反过来想,全球基础设施的下一个万亿美元显然将与上一万亿美元不同,而且将大大加速。关于我们的坡道形状,我们提供多种 Blackwell 配置。Blackwell 有 Blackwell 经典版,采用我们在 Volta 中开创的 HGX 外形尺寸,我认为是(听不清楚)。所以我们已经推出 HGX 外形尺寸一段时间了。它是风冷的。Grace Blackwell 是液冷的。然而,想要采用液冷的数据中心数量相当可观。原因是我们可以在液冷数据中心,在任何数据中心——功率有限的数据中心,无论您选择何种规模的数据中心,您都可以在任何地方安装和部署与过去相比三到五倍的 AI 吞吐量。因此液体冷却更便宜,液体冷却,我们的 TCO 更好,并且液体冷却使您能够享受我们称之为 NVlink 的这种功能的好处,这使我们能够将其扩展到 72 个 Grace Blackwell 包,基本上有 144 个 GPU。
想象一下 144 个 GPU 连接到 NVlink,这就是——我们正在不断向您展示它的好处。下一步——下一步显然是极低延迟、极高吞吐量、大型语言模型推理。大型域将改变这一格局。所以我认为人们非常乐意部署两者。因此,几乎我们合作的每个 CSP 都在部署两者。所以我——我非常有信心我们会顺利完成。
第三个问题中的第二个问题是展望未来,是的,明年将是伟大的一年。我们预计明年我们的数据中心业务将大幅增长。Blackwell 将彻底改变行业格局。Blackwell 将延续到下一年。正如我之前提到的,从第一原则开始逆向思考。但请记住,计算正在同时经历两个平台转型,这一点非常非常重要,需要您集中精力,即通用计算正在转向加速计算,而人工设计的软件将转向生成式 AI 或人工智能学习软件。
Q:大家好。感谢回答我的问题。我有两个简短的问题要问Colette。第一个,Blackwell 在第四季度的收入为数十亿美元。我想这是附加的吧?您说您预计 Hopper 的需求将在下半年增强。这是否意味着除了 Blackwell 增加了数十亿美元之外,Hopper 还将在第三季度至第四季度增强?第二个问题是关于毛利率的,如果今年的毛利率在75% 左右,请解释一下我希望达到什么水平。如果今年的毛利率是 75%,那么第四季度的毛利率应该在 71% 到 72% 之间。这是您预期的毛利率退出率吗?随着 Blackwell 的扩张,我们应该如何看待明年毛利率演变的驱动因素?我的意思是,我希望收益率、库存储备等都能上升。
A:是的。Stacy,我们首先来回答你关于 Hopper 和 Blackwell的问题。我们相信 Hopper 将在下半年继续增长。我们为 Hopper 推出了许多新产品,我们相信 Hopper的现有产品将在接下来的几个季度继续增长,包括我们的第三季度和即将在第四季度推出的新产品。因此,我们可以说 Hopper 与上半年相比是一个增长机会。此外,我们还有 Black Well,Blackwell将在第四季度开始增长。希望这对你对这两点有所帮助。
您的第二点是关于我们的毛利率。我们提供了第三季度的毛利率。我们根据非 GAAP 提供的毛利率约为 75%。我们将考虑我们正在经历的所有不同过渡,但我们相信我们可以在第三季度实现 75% 的毛利率。我们预计全年毛利率仍有望达到 75% 左右。因此,我们可能会在第四季度看到一些细微的差异。同样,考虑到我们的过渡和新产品推出时的不同成本结构。但是,我给出的数字与您给出的数字不同。我们没有确切的指导,但我相信您的数字低于我们的水平。
Q:是的,非常感谢 Jensen 和 Colette 的提问。我想问一下地域情况。10-Q已经出炉,美国环比下降,而亚洲几个地域环比增长很多。我想知道那里的动态是什么,显然,中国表现很好。您在评论中提到了这一点,利弊是什么?然后我想澄清一下 Stacy 的问题,这是否意味着考虑到所有这些有利的收入动态,公司第四季度的整体收入环比增长率会加快?谢谢。
A:让我谈谈我们在 10-Q 方面的披露,这是一项必需的披露,也是地域选择。有时,要做出正确的披露非常具有挑战性,因为我们必须想出一个关键部分。关键部分是我们销售给谁,或者具体来说,我们向谁开具发票。所以,您看到的是我们向谁开具发票。这不一定是产品最终会在哪里,甚至可能在何处到达最终客户。这些只是转移到我们的 OEM、ODM 和系统集成商,而这在很大程度上是我们整个产品组合的一部分。所以,您看到的有时只是他们使用谁来完成完整配置的快速转变,然后这些东西才会进入数据中心,进入笔记本电脑和其中的那些部分。这种转变时有发生。
回到您关于毛利率的声明,以及我们对 Hopper 和 Blackwell 的收入展望。Hopper 将在下半年继续增长。我们将继续以目前的速度增长。在确定第三季度和第四季度的确切组合时,我们还没有。我们目前还不能就第四季度做出指导。但我们现在确实看到了需求预期。我们确实看到了第四季度的增长机会。除此之外,我们还将拥有 Blackwell 架构。
Q:是的,下午好。感谢您回答这个问题。您已经开始了非凡的年度产品节奏,而随着复杂性的增加,挑战只会变得越来越大——在先进封装领域,复杂性达到了极限。所以很好奇,如果您退一步思考,这种背景如何改变您对潜在的更大垂直整合、供应链合作伙伴关系的想法,然后考虑对您的利润状况的后续影响?谢谢。
A-黄仁勋:是的,谢谢。让我们看看。所以我认为第一个——第一个问题的答案——第一个问题的答案是,我们的速度如此之高的原因在于,模型的复杂性在不断增长,而我们希望继续降低其成本。它正在增长,所以我们想继续扩大它的规模。我们相信,通过继续扩大人工智能模型的规模,它将达到非凡的实用性水平,并开启下一次工业革命。我们相信这一点。所以我们会非常努力地继续扩大规模。我们拥有相当独特的能力来整合设计一个人工智能工厂,因为我们拥有所有的部件。除非你拥有所有的部件,否则不可能每年都建一个新的人工智能工厂。因此,明年,我们将出货比公司历史上任何时候都多的 CPU,当然还有更多的 GPU,还有NVlink 交换机、CX DPU、东西部的 ConnectXEPU、南北部的 Bluefield DPU,以及用于超级计算中心的 InfiniBand 数据和存储处理到以太网,这对我们来说是一个全新的产品,它有望成为将 AI 引入以太网的价值数十亿美元的业务。
事实上,我们可以构建——我们拥有——我们可以访问所有这些。如您所知,我们有一个架构堆栈。它使我们能够在完成时将新功能引入市场。否则,您将这些部件运出,然后寻找客户将其出售,然后您必须构建——有人必须建立一个人工智能工厂。人工智能工厂拥有大量的软件,所以这不是关于——这不是关于谁来集成它。我们喜欢我们的供应链被分解的事实,因为我们可以为广达、富士康、惠普、戴尔、联想、超微等提供服务,我们曾经为 ZT 提供服务。它们最近被收购了,等等。因此,我们拥有的生态系统合作伙伴数量,技嘉、华硕,我们拥有的生态系统合作伙伴数量,使我们能够——允许他们采用我们的架构,这些架构都有效,但以定制的方式集成到全球所有云服务提供商、企业数据中心中。由于世界很大,因此我们的 ODM 和集成商——集成商供应链所需的规模和范围是庞大的。因此,我们不想做这部分,也不擅长做。但我们知道如何设计 AI 基础设施,以客户喜欢的方式提供,然后让生态系统将其整合起来。
Q:是的,感谢您回答这些问题。我想回到Blackwell 产品周期。我们经常被问到的一个问题是,当您考虑利用时,您如何看待机架规模系统组合动态,您考虑 GB、NVL-72 以及就Blackwell 产品周期而言,这种上市动态如何。我想这样说,当我们开始考虑 Blackwell 周期的进展时,您如何看待机架规模系统组合?
A:是的,Aaron,谢谢。Blackwell 机架系统是作为机架设计和架构的,但它是以分解的系统组件的形式出售的。我们不出售整个机架。原因是每个人的机架都有点不同,这令人惊讶。你知道,有些机架符合 OCP 标准,有些不是,有些是企业级的,每个人的功率限制可能有点不同。CDU 的选择、电源母线的选择、配置和与人们数据中心的集成,都不同。所以我们设计它的方式是架构整个机架。软件将在整个机架上完美运行。然后我们提供系统组件,例如,CPU 和 GPU 计算板然后集成到MGX 中,这是一个模块化系统架构。MGX 非常巧妙。我们在整个工厂都有 MGX ODM、集成商和 OEM。因此,几乎任何配置都可以,只要您希望交付 3,000 磅的机架即可。它必须靠近数据中心 - 它必须在数据中心附近进行集成和组装,因为它相当重。因此,从我们运送 GPU CPU、交换机的那一刻起,供应链中的所有环节,从那一刻起,集成都在非常靠近CSP 的位置和数据中心的位置进行。
因此,您可以想象世界上有多少个数据中心,以及我们与 ODM 合作伙伴一起扩展到了多少个物流中心。因此,我认为,因为我们将其显示为一个机架,并且因为它始终以这种方式呈现和显示,我们可能给人留下了我们正在进行集成的印象。我们的客户讨厌我们进行集成,供应链讨厌我们进行集成。他们想要进行集成。这是他们的附加值。有一个最终的设计 - 设计,如果你愿意的话。它并不像 Shimi[ph] 进入数据中心那么简单,但设计配合确实很复杂。因此,安装 - 设计配合、安装、启动、维修 - 维修和更换,整个周期都在世界各地完成。我们拥有庞大的 ODM 和 OEM 合作伙伴网络,他们在这方面做得非常好,因此集成不是我们制造机架的原因。这是这样做的反面原因。我们并不想成为集成商,我们想成为技术提供商。
CEO黄仁勋发言:
谢谢。让我再说几句——我之前说过的几句。全球数据中心都在全力以赴,通过加速计算和生成式人工智能实现整个计算堆栈的现代化。Hopper 的需求依然强劲,人们对 Blackwell 的期待令人难以置信。让我重点介绍一下我们公司的五大重点。
加速计算已经达到了临界点,CPU 扩展速度减慢,开发人员必须加速一切可能。加速计算从 CUDA X 库开始。新库为 NVIDIA 开辟了新市场。我们发布了许多新库,包括领先的数据科学和数据处理库 Polars、Pandas 和 Spark,以及用于矢量产品矢量数据库的 CuVS。这现在非常热门。用于 5G 无线基站的 Aerial 和 Giana[ph],我们现在可以进入的整个数据中心的整个套件,用于基因测序的 Parabricks 和用于蛋白质结构预测的 Alpha[ph] 2 现在都已通过 CUDA 加速。我们正处于将价值 1 万亿美元的数据中心从通用计算现代化到加速计算的旅程的开始阶段。这是第一点。
第二点,Blackwell 是 Hopper 的一次阶跃。Blackwell 是一个 AI 基础设施平台,而不仅仅是 GPU。它也恰好以我们的 GPU 的名称命名,但它是一个 AI 基础设施平台,随着我们向合作伙伴和客户展示更多 Blackwell 和示例系统,Blackwell 的领先程度变得清晰起来。Blackwell Vision 用了近五年的时间和七款独一无二的芯片才得以实现。Grace CPU、Blackwell 双 GPU 和 CoVS 封装、用于东西向流量的 ConnectX DPU、用于北向流量(南北向和存储流量)的 Blue Field DPU、用于全对全 GPU 通信的交换机以及用于 InfiniBand 和以太网的 Quantum 和 Spectrum-X 可以支持 AI 的大规模突发流量。Blackwell AI 工厂是建筑物大小的计算机。Nvidia 从芯片、系统、网络,甚至结构化电缆、电源和冷却以及软件安装等方面端到端设计和优化了 Blackwell 平台全栈,使客户能够快速构建 AI 工厂。这些都是非常资本密集型的基础设施。客户希望在拿到设备后立即部署,并提供最佳性能和 TCO。Blackwell 在功率有限的数据中心提供的 AI 吞吐量是 Hopper 的三到五倍。
第三个是 NVlink。这是一个非常大的交易,它的全对全 GPU 交换机正在改变游戏规则。Blackwell 系统让我们将 144 个 GPU(72 GB 的 200 个封装)连接到一个 NVlink 域,单个机架的聚合 NVlink 带宽为 259 TB/秒。从这个角度来看,这大约是 Hopper(259 TB/秒)的 10 倍,这在某种程度上是有道理的,因为您需要在数万亿个令牌上加速数万亿参数模型的训练。因此,自然数量的数据需要在 GPU 之间移动。对于推理,Nvlink 对于低延迟、高吞吐量、大型语言模型和令牌生成至关重要。
我们现在有三个网络平台:用于 GPU 扩展、用于超级计算和专用 AI 工厂的 Quantum InfiniBand 以及用于以太网上的 AI 的 Spectrum-X。网络足迹比以前大得多。生成 AI 势头正在加速。生成 AI 前沿模型制造商正在竞相扩展到下一个 AI 平台,以提高模型安全性和 IQ。我们也在不断扩展,以了解从文本、图像和视频到 3D、物理、化学和生物的更多模态。聊天机器人、编码 AI 和图像生成器正在快速发展,但这只是冰山一角。互联网服务正在为大规模推荐系统、广告定位和搜索系统部署生成式 AI。
AI 初创公司每年消耗数百亿美元的 CSP 云容量,各国也认识到 AI 的重要性并投资于自主 AI 基础设施。NVIDIA AI 和 NVIDIA Omniverse 正在开启 AI 的下一个时代,即通用机器人技术。现在,企业 AI 浪潮已经开始,我们已准备好帮助企业转型业务。NVIDIA AI Enterprise 平台由 Nemo、NIMS、NIM 代理蓝图和 AI Foundry 组成,我们的生态系统合作伙伴是世界领先的 IT 公司,它们用于帮助客户——企业定制 AI 模型并构建定制的 AI 应用程序。然后,企业可以在 NVIDIA AI Enterprise 运行时上进行部署,并且 NVIDIA AI Enterprise 的成本仅为每 GPU 每年 4,500 美元,这对于在任何地方部署 AI 而言都是非常有价值的。
对于 NVIDIA 的软件而言,随着兼容 CUDA 的 GPU 安装基数从数百万增长到数千万,TAM 可能非常重要。正如 Colette 所说,NVIDIA 软件的运行率将达到 20 亿美元。感谢大家今天加入我们。