Nvidia 的伟大崛起和新的数据中心时代

不可否认，我们现在在技术方面取得了长足的进步，不仅在大型语言模型方面，而且在基础设施方面也是如此。

事实上，我看到社区中的很多焦点都转向了我们正在关注的 GPU 和硬件基准测试。当然，模型的发展速度仍然如闪电般，但裸机的一面也值得一看。

考虑到这一点，在最近的一集 No Priors 播客中，Nvidia 首席执行官黄仁勋贡献了一些见解。

这无疑是 Nvidia 的时代，因为该公司超越了 Apple 和 Microsoft，成为全球最大的科技公司。目前正在建设的主要数据中心正在机架中使用 Nvidia 产品，即高设计 GPU，黄仁勋对这种转变有很多话要说。

“世界已经改变了，”他在谈到集群的并行性和协同设计的进步时说。“规模已经改变。”

摩尔定律的演变

Huang 与主持人一起回顾了他对硬件发展历史的一些看法，谈到了社区中被称为摩尔定律的格言如何多年来一直适用，其中人们引用了更多关于晶体管和处理能力每年左右翻倍的预测。

作为参考，以下是 ChatGPT 向我们解释摩尔定律的方式：

“摩尔定律是英特尔的联合创始人戈登·摩尔 （Gordon Moore） 在 1965 年提出的一个观察结果。它预测微芯片上的晶体管数量大约每两年翻一番，从而导致计算能力的相应增加和相对成本的降低。这一趋势推动了计算能力的快速发展，几十年来一直是指导半导体行业的基本原则。

这有点讽刺，因为被 Nvidia 击败的公司主要是 Intel 公司。但我跑题了……

黄仁勋说，现在，随着更快的变化，我们正在研究某种他所说的“超摩尔定律”。

他建议，为了实现这一目标，规划人员必须以“全栈方法”一起研究架构和系统。

“你可以将网络视为一个计算结构，并将大量工作推送到网络中，将大量工作推送到结构中，”他说。“结果，你正在压缩……在非常大的尺度上。

推理和延迟：让实时系统更智能

Huang 还提到了适应语言模型和神经网络的工作，这些模型和神经网络正在完成推理时间缩放，动态生成思维链和推理链。

“我们必须去发明一些新的东西，”他说，并指出从本质上讲，低延迟和高吞吐量是相互矛盾的。此外，他还提到了该行业将进入一个多元化时代的可能性，其中有各种规模的语言模型，包括微型语言模型或 TLM。

“你仍然要创建这些令人难以置信的 Frontier 模型，”他说。“他们将（用于）开创性的工作。您将使用 （它们） 生成合成数据。你将使用模型，大模型，来教授较小的模型，并提炼出（到）较小的模型。

The Big 客户：X.AI 的项目

后来，黄仁勋透露了该公司与 Elon Musk 合作构建 X.AI 数据中心的一些非常有趣的元素。

他对马斯克的快速实施和做出支持这个超级集群的决策给予了很大的赞扬，因为很多人都在努力快速完成所有事情。

“这真的证明了他的意志力，以及他如何能够思考机械、电气事物，并克服显然是非凡的障碍，”黄说。

他还透露，利益相关者使用数字孪生过程来帮助实施系统。

“我们模拟了所有网络配置，并将所有内容预先暂存为数字孪生。我们预先安排了所有供应链。我们预先安排了网络的所有布线。我们甚至建立了它的一个小版本，你知道的，只是它的第一个实例……所以当一切都出现时，一切都已经上演了。所有的练习都完成了，所有的模拟都完成了。然后是大规模集成，……一个巨大的人类团队的纪念碑，他们彼此倒下，24/7 全天候连接一切，几周内，集群就启动了。

这个项目有什么特别之处？他说，由于拥有数吨设备，该项目的速度“不正常”。

AI 芯片设计师？

黄仁勋证实，该公司使用 AI 实体作为芯片设计师和软件工程师。

“没有（他们），我们就无法建立 Hopper，”他说。“他们可以探索比我们大得多的空间。他们有无限的时间来探索太空。

公司与变革

回顾过去几年，Nvidia 的市值像火箭一样飙升，黄仁勋谈到了企业内部的影响。

“一家公司的变化不可能像股价一样快，”他说，并引用了深思熟虑的价值，即了解行业内实际发生的事情以推动变革。

他说，他已经意识到，Nvidia 基本上在大约 60 年来第一次重新发明了计算，降低了计算机的边际成本，直到计算机自己完成任务才有意义。

这改变了游戏规则——而且这是轻描淡写的！我一直在关注 Claude、OpenAI 的 o1 和 Orion，有一件事是肯定的——当我们谈到市场效应时，情况永远不会相同。

我可能会在其他地方介绍更多 Huang 的评论，因为他正在更深入地研究系统的新功能，即在最少的监督下真正自己做事，并让 AI 在公司流程中发挥更大的作用。

这是您真正开始看到“代理 AI”效果的地方——您将让 AI 实体承担工程和设计角色，并将结果归功于您。

毫无疑问，这是一个发生巨大变化的时代。