Nvidia 的伟大崛起和新的数据中心时代

Date:

不可否认,我们现在在技术方面取得了长足的进步,不仅在大型语言模型方面,而且在基础设施方面也是如此。

事实上,我看到社区中的很多焦点都转向了我们正在关注的 GPU 和硬件基准测试。当然,模型的发展速度仍然如闪电般,但裸机的一面也值得一看。

考虑到这一点,在最近的一集 No Priors 播客中,Nvidia 首席执行官黄仁勋贡献了一些见解。

这无疑是 Nvidia 的时代,因为该公司超越了 Apple 和 Microsoft,成为全球最大的科技公司。目前正在建设的主要数据中心正在机架中使用 Nvidia 产品,即高设计 GPU,黄仁勋对这种转变有很多话要说。

“世界已经改变了,”他在谈到集群的并行性和协同设计的进步时说。“规模已经改变。”

摩尔定律的演变

Huang 与主持人一起回顾了他对硬件发展历史的一些看法,谈到了社区中被称为摩尔定律的格言如何多年来一直适用,其中人们引用了更多关于晶体管和处理能力每年左右翻倍的预测。

作为参考,以下是 ChatGPT 向我们解释摩尔定律的方式:

“摩尔定律是英特尔的联合创始人戈登·摩尔 (Gordon Moore) 在 1965 年提出的一个观察结果。它预测微芯片上的晶体管数量大约每两年翻一番,从而导致计算能力的相应增加和相对成本的降低。这一趋势推动了计算能力的快速发展,几十年来一直是指导半导体行业的基本原则。

这有点讽刺,因为被 Nvidia 击败的公司主要是 Intel 公司。但我跑题了……

黄仁勋说,现在,随着更快的变化,我们正在研究某种他所说的“超摩尔定律”。

他建议,为了实现这一目标,规划人员必须以“全栈方法”一起研究架构和系统。

“你可以将网络视为一个计算结构,并将大量工作推送到网络中,将大量工作推送到结构中,”他说。“结果,你正在压缩……在非常大的尺度上。

推理和延迟:让实时系统更智能

Huang 还提到了适应语言模型和神经网络的工作,这些模型和神经网络正在完成推理时间缩放,动态生成思维链和推理链。

“我们必须去发明一些新的东西,”他说,并指出从本质上讲,低延迟和高吞吐量是相互矛盾的。此外,他还提到了该行业将进入一个多元化时代的可能性,其中有各种规模的语言模型,包括微型语言模型或 TLM。

“你仍然要创建这些令人难以置信的 Frontier 模型,”他说。“他们将(用于)开创性的工作。您将使用 (它们) 生成合成数据。你将使用模型,大模型,来教授较小的模型,并提炼出(到)较小的模型。

The Big 客户:X.AI 的项目

后来,黄仁勋透露了该公司与 Elon Musk 合作构建 X.AI 数据中心的一些非常有趣的元素。

他对马斯克的快速实施和做出支持这个超级集群的决策给予了很大的赞扬,因为很多人都在努力快速完成所有事情。

“这真的证明了他的意志力,以及他如何能够思考机械、电气事物,并克服显然是非凡的障碍,”黄说。

他还透露,利益相关者使用数字孪生过程来帮助实施系统。

“我们模拟了所有网络配置,并将所有内容预先暂存为数字孪生。我们预先安排了所有供应链。我们预先安排了网络的所有布线。我们甚至建立了它的一个小版本,你知道的,只是它的第一个实例……所以当一切都出现时,一切都已经上演了。所有的练习都完成了,所有的模拟都完成了。然后是大规模集成,……一个巨大的人类团队的纪念碑,他们彼此倒下,24/7 全天候连接一切,几周内,集群就启动了。

这个项目有什么特别之处?他说,由于拥有数吨设备,该项目的速度“不正常”。

AI 芯片设计师?

黄仁勋证实,该公司使用 AI 实体作为芯片设计师和软件工程师。

“没有(他们),我们就无法建立 Hopper,”他说。“他们可以探索比我们大得多的空间。他们有无限的时间来探索太空。

公司与变革

回顾过去几年,Nvidia 的市值像火箭一样飙升,黄仁勋谈到了企业内部的影响。

“一家公司的变化不可能像股价一样快,”他说,并引用了深思熟虑的价值,即了解行业内实际发生的事情以推动变革。

他说,他已经意识到,Nvidia 基本上在大约 60 年来第一次重新发明了计算,降低了计算机的边际成本,直到计算机自己完成任务才有意义。

这改变了游戏规则——而且这是轻描淡写的!我一直在关注 Claude、OpenAI 的 o1 和 Orion,有一件事是肯定的——当我们谈到市场效应时,情况永远不会相同。

我可能会在其他地方介绍更多 Huang 的评论,因为他正在更深入地研究系统的新功能,即在最少的监督下真正自己做事,并让 AI 在公司流程中发挥更大的作用。

这是您真正开始看到“代理 AI”效果的地方——您将让 AI 实体承担工程和设计角色,并将结果归功于您。

毫无疑问,这是一个发生巨大变化的时代。

将本文分享至:

《亚洲人物》订阅

spot_imgspot_img

亚洲领袖

查阅更多《亚洲人物》
Figure Aisa

陈玉芬:抗病毒领域的杰出科学家

陈玉芬(Chan Yoke-Fun)博士是一位备受尊敬的生物学家和病毒学家,她的卓越成就和科学研究在国际舞台上广受赞誉。她的职业生涯充满了挑战和科学探索,旨在理解病毒的行为和发展抗病毒策略。本文将深入探讨陈玉芬的生平事迹、科研成就以及她在抗病毒领域的深远影响。 早年生活和教育 陈玉芬出生于马来西亚,从小就对生命科学产生了浓厚的兴趣。她获得了生物学学士学位,并在马来西亚和美国继续深造研究,获得了博士学位。她的学术背景为她日后在生物医学研究领域的职业生涯打下了坚实的基础。 病毒学领域的卓越成就 陈玉芬是一位杰出的病毒学家,她的研究工作涵盖了多种病毒,包括流感病毒、登革热病毒和冠状病毒。她的研究重点之一是病毒的传播和生命周期,以及病毒与宿主细胞之间的相互作用。 她的研究成果不仅在科学界产生了深远影响,还为抗病毒疫苗和治疗方法的开发提供了关键线索。她的工作有助于理解病毒如何感染人体,为预防和控制病毒传播提供了科学依据。 抗病毒研究和临床应用 陈玉芬的科研工作不仅仅局限于实验室,她还积极参与抗病毒研究和临床应用。她与国际合作伙伴合作,开展了抗病毒药物的研究和临床试验,为抗击病毒性疾病提供了新的治疗选择。 她的工作尤其在流感疫苗和冠状病毒疫苗的研发中发挥了关键作用,这些疫苗在全球范围内对抗病毒传播和大流行病起到了关键作用。她的研究和临床应用工作为保护公众健康做出了杰出贡献。 教育工作和学术传承 陈玉芬相信教育是传承科学知识和培养年轻科学家的关键。因此,她积极参与教育工作,担任大学教职,并指导了许多学生的研究工作。她的教育工作有助于培养了一代又一代的生物学家和病毒学家,传承了科学研究的精神和技术。 她鼓励年轻科学家积极参与病毒学和抗病毒研究,为医学领域的未来培养了优秀的人才。她的学术传承工作有助于推动生命科学领域的发展和进步。 国际合作和疫情应对 陈玉芬的抗病毒研究和临床应用工作不仅在马来西亚产生了深远的影响,还在国际舞台上广泛应用。她积极参与国际抗病毒合作项目,与世界各地的科学家和研究机构合作,推动了全球对抗病毒疫情的努力。 她的国际合作促进了全球疫情应对工作的进展,加强了不同国家之间的科技交流和合作。她的工作有助于人类更深入地理解病毒的性质和传播机制,为未来应对疫情提供了科学依据。 陈玉芬是一位备受尊敬的病毒学家,她的生平事迹和科研成就都令人钦佩。她不仅在科学领域取得了卓越成就,还通过抗病毒研究和教育工作为社会和国际社会做出了积极贡献。她的故事是一个激励人心的例证,向我们展示了无论来自何处,只要拥有坚定的信念和对科学的热爱,就可以取得卓越的成就并对医学科学产生深远的影响。我们对陈玉芬的崇敬和尊重将永远持续下去,因为她是抗病毒领域的一位真正的杰出科学家。

Raymond L. Rosales:菲律宾的神经学巨匠

Raymond L. Rosales 博士是菲律宾备受尊敬的神经学家,以其在神经科学和神经疾病研究领域的杰出贡献而广受赞誉。他的卓越工作不仅在科学界产生了深远的影响,也对菲律宾和全球的神经疾病患者产生了积极影响。本文将深入探讨 Raymond L. Rosales...

银行与地产的巨擘:Inigo Zobel及其商业帝国的发展史

在菲律宾的商业领域,Zobel家族无疑是一块璀璨的金字招牌。这个家族在过去的几个世纪中,积极参与了菲律宾的各种经济活动,尤其在银行和房地产业中取得了卓越的成就。在这个家族中,Inigo Zobel是当今最活跃和最具影响力的成员之一。 Inigo Zobel出身名门,从小就在一个充满商业氛围的环境中成长。随着年岁的增长,他逐渐展现出了超群的商业才华和决策能力。在他的领导下,家族的商业版图不断扩大,尤其是在银行和房地产业上取得了巨大的成功。 Inigo Zobel对银行业有着深厚的热爱和浓厚的兴趣。他深知银行业在菲律宾经济中的重要地位,因此,他投入了大量的时间和精力来发展这一领域。在他的领导下,家族的银行事业取得了连续不断的增长,无论是资产规模还是市场份额都远远超过了其他竞争对手。 除了银行业,Inigo Zobel对房地产业也非常感兴趣。他认为,房地产是菲律宾经济增长的关键驱动力,因此,他大力推动家族进入这一领域。凭借着敏锐的市场观察力和出色的决策能力,Inigo Zobel成功地带领家族在房地产市场占据了一席之地,无论是住宅、商业还是工业地产,他都展现出了卓越的管理和运营能力。 当然,Inigo Zobel的成功并不仅仅局限于商业领域。他还是一个社会活动家,经常参与各种公益事业,为菲律宾的社会发展做出了重要贡献。他深知企业的社会责任,因此,他积极推动家族进行各种公益活动,如捐资助学、支持医疗事业等。 除了商业和社会活动,Inigo Zobel还对艺术和文化有着深厚的兴趣。他是众多艺术机构和文化活动的支持者,为菲律宾的艺术和文化事业做出了重要贡献。他认为,艺术和文化是一个国家和民族的灵魂,因此,他始终鼓励和支持各种艺术和文化活动,为菲律宾的文化传承和发展做出了重要贡献。 Inigo Zobel是菲律宾商业界的璀璨明星,是Zobel家族的骄傲。他凭借着出色的领导力、前瞻性的眼光和不懈的努力,为家族带来了辉煌的成就。他的故事,不仅是商业成功的典范,也是对家族传统和价值观的继承和发扬。

摩哈末·尤努斯:改革小额信贷与扶贫事业的远见经济学家

在当今充满挑战的全球经济环境中,穷困仍然是数以亿计人们每天生活的现实。然而,在这个充满希望的故事中,一位来自孟加拉国的经济学家和社会企业家,穆罕默德·尤努斯(Mohammad Yunus)凭借他的坚定信念、坚定决心和非凡智慧,改变了数百万人的生活。本文将向您介绍这位被誉为“小额信贷之父”的人物,以及他如何通过其独特的社会创新,重新定义了贫困扶助的范式。 尤努斯的早年生活 穆罕默德·尤努斯生于1940年,在孟加拉国的吉大港省一个小村庄里长大。尤努斯的家庭背景并不富裕,但他幸运地获得了良好的教育。他在达卡大学获得了经济学学士学位,并随后前往美国留学,进一步深造并获得了经济学硕士和博士学位。尤努斯的学术生涯一直在不同国家的大学里度过,但他的真正转折点发生在1974年,当时孟加拉国遭受了一场严重的饥荒。 改变的契机 尤努斯回到孟加拉国,目睹了大规模的饥荒和贫困。这一切让他深受触动,决心采取行动。他开始在村庄附近的社区工作,发现当地的穷人几乎无法获得贷款,因为他们没有资产或担保。这启发了他的创意,他开始思考如何帮助这些人脱离贫困的陷阱。 小额信贷的概念 尤努斯于1976年创建了格莫·班克(Grameen Bank),这个名字意为“乡村银行”。他的想法非常简单,却具有革命性意义:为贫困人群提供小额无抵押贷款,以帮助他们创业和改善生活条件。这一概念被称为“小额信贷”,它彻底改变了传统银行对借款人的审查标准,将信贷的机会拓展到了原本排除在外的社会阶层。 格莫·班克的成功 格莫·班克的模式非常成功,很快在孟加拉国乡村得到广泛推广。这个银行的目标是通过提供微贷款,支持农村妇女和穷人开展小规模企业,如农业、手工艺品制作和小商贩。尤努斯相信,通过赋予这些人自主权和经济自由,可以根本性地改变他们的生活。 与传统银行不同,格莫·班克不要求借款人提供抵押品或信用记录。相反,它依赖于信任和社会压力,借款人组成小组,每个成员都对其他成员的还款负有责任。这种集体责任制度鼓励借款人履行承诺,并确保违约的风险最小化。尤努斯的理念和格莫·班克的成功吸引了国际社会的注意力,许多其他国家也开始采用类似的模式。 全球扩张 格莫·班克的成功不仅在孟加拉国内引起了关注,还在全球范围内获得了广泛的认可。尤努斯和他的团队积极推广小额信贷模式,帮助其他国家建立类似的机构。这一模式被认为是一种高效的方式,可以帮助穷人脱离贫困,改善他们的生活状况。 1996年,穆罕默德·尤努斯和格莫·班克被授予了诺贝尔和平奖,以表彰他们对贫困扶助领域的卓越贡献。这个奖项不仅是对他个人的认可,也是对小额信贷模式在全球范围内取得的成功的承认。 社会企业家精神 尤努斯的成功不仅仅是因为他创立了格莫·班克,还因为他树立了一种社会企业家的榜样。他的工作鼓励了许多人去思考如何用商业模式来解决社会问题。他强调,企业不仅仅是为了追求利润,还可以为社会做出积极的贡献。 此外,尤努斯还创建了一系列社会企业,涵盖了教育、卫生、清洁能源等多个领域。他相信,通过社会企业的力量,可以解决一些最棘手的社会问题,并为世界创造更美好的未来。 批评和挑战 尽管尤努斯的小额信贷模式获得了广泛的认可和成功,但也存在一些批评和挑战。有人担心,高利率和催收方式可能对借款人造成不公平的经济负担。此外,一些人认为,小额信贷并不能根本性地解决贫困问题,而只是为穷人提供了短期的经济帮助。 然而,尤努斯和格莫·班克一直在改进他们的模式,以减轻这些问题的影响。他们努力降低利率,提高透明度,确保借款人得到公平对待。尤努斯强调,小额信贷只是扶贫的一部分,必须与其他社会支持措施相结合,以全面地提高穷人的生活水平。 结语 穆罕默德·尤努斯是一位杰出的经济学家和社会企业家,他的工作对全球贫困扶助产生了深远的影响。通过小额信贷模式,他帮助数百万穷人改善了生活条件,为他们提供了经济自由和自主权。尤努斯的故事是一个充满希望和鼓舞人心的典范,展示了个人坚持不懈、创新思维和社会责任感如何能够改变世界。 他的影响不仅限于孟加拉国,而是遍及全球。他的社会企业家精神和对贫困问题的关注激励着无数人去追求更公平、更可持续的未来。尤努斯的故事告诉我们,每个人都有能力通过创新和奉献来改变社会,无论他们的背景如何。 作为一个全球性的典范,穆罕默德·尤努斯的故事在全球范围内仍然鼓舞着人们,激励他们为消除贫困、促进社会正义而努力奋斗。尤努斯的小额信贷模式不仅是一种金融工具,更是一种改变人们命运的力量,为世界带来了积极的变革。