2024年11月23日，香港科技大学举行博士学位授予仪式，英伟达创始人、CEO黄仁勋被授予工程学荣誉博士学位。仪式结束后，黄仁勋与香港科技大学校董会主席沈向洋对话，探讨关于技术、领导力、创业的故事。
美国在线论坛LessWrong网站，近期发表博客，根据公开数据，对英伟达芯片产量、各AI巨头GPU/TPU数量进行估计，展望芯片行业未来。AI巨头芯片之争，谷歌、微软目前分列第一、第二；xAI作为新入局者，迅速崛起。各大科技巨头紧锣密鼓布局算力版图，开展下一代更先进模型训练。
本期长期主义，选择黄仁勋最新万字对话、全球五大科技巨头GPU总量曝光，腾讯科技、新智元发布，六合商业研选精校，分享给大家，Enjoy！
2024年11月23日，香港科技大学举行博士学位授予仪式，英伟达创始人、CEO黄仁勋被授予工程学荣誉博士学位。仪式结束后，黄仁勋与香港科技大学校董会主席沈向洋对话，探讨关于技术、领导力、创业的故事。
昨晚我辗转难眠，一个极为关键原因，我亟欲向诸位引荐这位宇宙间最卓越的CEO。我心中也暗自为英伟达担忧，昨晚苹果股价上扬，英伟达表现略显逊色。
我已迫不及待想要知晓股市收盘的结果，今晨醒来，我第一时间询问妻子英伟达是否挺住了。
你在AI领域领航已久，能否再谈谈对AI看法，以及这项技术，或是AGI可能带来的影响？
当AI网络能够学习、掌握从字节、语言、图像到蛋白质序列等多种数据的理解时，一场变革性、开创性能力便应运而生。我们突然间拥有能够理解单词内涵的计算机，受益于生成式AI，信息得以在不同模式间自由转换，比如从文本到图像、蛋白质到文本、文本到蛋白质，乃至从文本到化学品等。
这一原本作为函数逼近器Function Approximator，数学领域的重要概念，用于多个领域及语言翻译器而存在的工具，如今所面对的问题是，我们如何能充分的利用它？
你见证全世界内创业公司，如雨后春笋般涌现，它们结合这些不同模型与能力，展现出无限可能。
我认为真正令人惊叹的突破在于，我们现在能够理解信息的真正意义。意味着，作为数字生物学家，你能理解所观数据的含义，于万千数据中精准捕捉到关键信息；作为英伟达芯片设计师、系统设计师，或是农业技术人员、气候科学家、能源领域研究者，在探寻新材料过程中，无疑是开创性壮举。
如今，通用翻译器的概念已然成形，它赋予我们理解世间万物的能力。许多人都听你描述过AI对社会惊人影响，观点深深触动了我，甚至在某些方面，让我感到震撼。
回顾历史，农业革命让我们生产出更多食物，工业革命让我们钢铁产量大幅提升。
在这个智能时代，英伟达与AI正携手制造智能，你能进一步阐述为何这项工作如此重要吗？
计算机科学视角看，我们重新发明整个堆栈。意味着，我们过去开发软件方式，发生根本性变化。
以往，我们依靠手工编写软件，凭借想象力与创造力构思功能、设计算法，将其转化为代码，输入电脑。
从Fortran到Pascal，再到C语言与C++，这些编程语言，让我们得以用代码来表达创意。
现在情况不一样，我们不再依赖传统代码编写方式，转向机器学习与机器生成。这不再是简单的软件问题，而是涉及到机器学习，它生成神经网络，在GPU做处理。这一转变，从编码到机器学习，从CPU到GPU，标志着全新时代的到来。
功能异常强大，我们现在能够开发的软件类型堪称非凡，在这一强大基础之上，是AI的蓬勃发展。这正是AI出现所带来的变革，计算机科学发生巨大变化。现在，我们应该思考的是，这样的变化，将怎么样影响我们行业？
我们都在竞相利用机器学习探索新的AI领域，究竟什么是AI？这是一个大家耳熟能详的概念，认知自动化与解决实际问题自动化。
解决问题的自动化，可以归结为三个核心概念：观察、感知环境，理解、推理环境，提出、执行计划。
例如，在无人驾驶汽车中，车辆可以感知周围环境，推理自身及周围车辆位置，最后规划出行驶路线，这就是数字司机的表现形式。
同样，医疗领域，我们大家可以观察CT扫描图像，理解、推理图像中信息，假如发现异常，可能代表肿瘤存在，我们大家可以标记出来，告知放射科医生。
在我们所做的几乎每一件事中，都能够找到与AI相关应用，它们能够出色完成特定任务。
如果我们拥有足够多数字智能体，这些智能体能够与产生这些数字信息的计算机进行交互，这就构成数字AI。
目前我们所有人，对数据中心的总体消耗，看似庞大，数据中心主要是在生产Token，并非真正的数字智能。
年前，通用电气与西屋电气发明新型仪器发电机，最终演化为交流发电机。他们非常明智创造消费者来消费他们所生产的电力，这些消费者包括灯泡、烤面包机等电器设备。他们还创造各种各样数码设备或电器，这些设备都需要消耗电力。现在，看看我们正在做的事。我们正在创建Copilots、ChatGPT等智能工具，这些都是我们创造出不一样的智能消费者，它们就像灯泡与烤面包机一样，是消耗能量的设备。
想象一下，令人惊叹、我们所有人都会使用的智能设备，它们将连接到新的工厂。这个工厂，曾经是交流电发电厂，现在，新的工厂将是数字智能工厂。
工业角度看，我们正在创造新的产业，这个产业在吸收能量，产生数字智能，这些数字智能可以被应用于各种不同场景。
我们相信，这一个数字智能产业消耗量将是巨大的，这个行业在以前不存在，就像交流电发电行业在以前也不存在一样。
你为我们勾勒了一幅充满希望的光明未来，这在很大程度上受益于你与英伟达在过去10多年间对该领域的卓越贡献。摩尔定律在业界一直备受瞩目，近年来，黄氏定律逐渐为人们所熟悉。
过去10~12年间，特别是在你的引领下，算力上涨的速度甚至超越这一预测，实现每年翻倍、甚至更高速度增长。
消费端观察，大语言模型在过去12年里的计算需求，每年都以4倍以上速度激增。
这也正是我向他人阐释英伟达股价，在过去10年上涨300倍原因时的重要论据。
当你运用水晶球预测未来时，你认为在接下来10年，我们是不是还会见证计算需求再次实现100万倍增长？
摩尔定律依赖两个核心概念：一是超大规模集成电路VLSI设计原理，它是受到我、加州理工大学的卡弗·米德教授Carver Mead、林恩·康威教授Lynn Conway的著作启发，这些著作激励整整一代人；二是随着晶体管尺寸不断缩小，我们得以每隔一段时间，就将半导体性能提升一倍，大约每1年半，就能实现一次性能翻倍，每5年性能提升可达10倍，每10年更是能提升100倍。我们正身处一个趋势之中：神经网络规模越大，用于训练的数据量越多，AI似乎表现得越智能。这一经验法则，与摩尔定律有异曲同工之妙，我们不妨称之为规模定律Scaling Law，这一定律似乎仍在持续发挥作用。
我们清醒认识到，仅依靠预训练，利用全世界内海量数据自动挖掘知识，远远不足。正如大学毕业，是一个至关重要的里程碑，它绝不是终点。接下来，还有后训练阶段，也就是深入钻研某一特定技能，这要求强化学习、人类反馈、AI反馈、合成数据生成、多路径学习等多种技巧的综合运用。
简之，后训练是选定一个特定领域，致力对其进行深度钻研。这就像当我们步入职业生涯后，会进行大量专业学习与实践。
在这之后，我们最终会迎来思考阶段，也就是测试时间计算。有些事，你一眼就能看出答案，有些要求我们将其拆解成多个步骤，从第一性原理出发，逐一寻找解决方案。
这可能要求我们进行多次迭代，模拟各种可能结果，并非所有答案都是可预测。我们叫做思考，思考时间越长，答案质量往往越高。大量的计算资源，将助力我们产出更高质量的答案。
今天的答案，已是我们所能提供的最佳结果，我们仍在寻求临界点，即所得到的答案，不再局限我们当前所能提供的最佳水平。
在这一点上，你需要判断答案是否真实可靠、是否有意义、明智。我们一定要达到这样一个境界，所得到的答案在很大程度上是让人信服的。
想象一下，如果生活中有你所依赖的事物，如电力或其他任何选择，当它成本降低100万倍时，你的行为习惯将会发生根本性变化。
对计算，我们看法发生翻天覆地变化，这正是英伟达有史以来最伟大的成就之一。
我们利用机器学习海量数据，这是研究人没办法单独完成的任务，这正是机器学习能取得成功的关键所在。
我迫切希望听听你的看法，中国香港在当前机遇中应如何作为。现在，一个特别令人兴奋的事是AI for Science，你对此一直抱有极大热情。香港科技大学投入大量计算基础设施与GPU资源，我们很重视推动各院系之间合作，如物理与计算机科学、材料科学与计算机科学、生物学与计算机科学等领域的交叉融合，你之前深入探讨生物学未来。
中国香港政府已决定建立第三所医学院，香港科技大学是首个提交这个提案的高校。对校长、我本人、整个大学，你有什么建议？
首先，我在2018年超算大会上介绍过AI，当时遭遇诸多质疑。原因主要在于，那时AI更像是黑箱。时至今日，它在某些特定的程度依然保持黑箱特性，已比过去更加透明。
比如，你我皆为黑箱，现在我们大家可以向AI发问：你为何提出这样建议，或者逐步阐述你得出这一结论的过程。通过此类提问，AI正变得愈发透明、易于解释。
我们能借助问题来探究思考过程，正如教授们通过提问，来洞察学生思考过程一样。重要的不仅是获取答案，更在答案合理性、是否基于第一性原理，这在2018年是没办法做到的。
其次，AI目前尚未能从第一性原理中直接得出答案，它是通过观察数据来学习与得出结论。
它并非模拟第一性原理的求解器，而是在模仿智能、模仿物理。这种模仿，对科学是否有价值？
众多科学领域，我们理解第一性原理，如薛定谔方程、麦克斯韦方程等，面对大型系统时，我们难以模拟与理解。
我们可通过AI，训练它理解物理原理，借助模拟大型系统，让我们理解这些系统。
如此宽广尺度与时间跨度上，使用传统求解器，根本没办法实现。现在问题是，我们能否利用AI模拟人体生物学，以便更深入理解复杂的多尺度系统？
这样，我们或许可以称之为创建一个人体生物学的数字孪生体，这正是我们寄予厚望之处。
如今，我们或许已拥有计算机科学技术，使数字生物学家、气候科学家、处理异常庞大复杂问题的科学家们能够首次真正理解物理系统。这是我的期望，希望在这一交叉领域可以在一定程度上完成这一愿景。
提及你们医学院项目，对香港科技大学，一所与众不同的医学院即将在这里诞生，尽管这所大学传统专业领域是技术、计算机科学与AI。
这与世界上绝大多数医学院截然不同，它们大多是在成为医学院后，再尝试引入AI与技术，这通常会面临人们对技术的怀疑与不信任。
你们有机会从头开始，创建一开始就与技术紧密相连的机构，在这里推动技术持续不断的发展。这里的人们，深知技术局限性与潜力，我认为，这是载难逢的机遇，但愿你们能够紧紧抓住。
我们会采纳你的建议。香港科技大学一直以来在技术与创新方面有着卓越表现，不断推动计算机科学、工程、生物学等领域前沿发展。
作为香港第三所医学院，我们坚信自己能走出与众不同的道路，将传统医学培训与我们在技术探讨研究方面的优势相结合。
你是硅谷任期最长的CEO之一，可能远超其他人，担任英伟达CEO时间长达30年或31年之久？
你依然在不断前行。我们想从你身上学到一些领导大型组织的经验，你是如何领导英伟达这样庞大组织？
今天我想说，我感觉到很惊讶。通常情况下，你只会看到计算生物学家或者商科学生，今天我们正真看到的计算生物学家，同时也是商科学生，这真是太棒了。
我从未上过任何商业课程，也从未写过商业计划书，我完全不知道怎么下手，我依赖于你们所有人来给予我帮助。
将你所做的任何事，都视为你毕生事业，而不是你的工作，我认为这种思维方法，会在你的心中产生很大不同，英伟达是我的事业。
世界一直在变化，你公司与技术也一直在变化。你今天所知道的一切，将来都会有用，还远远不足，我每天都在学习。
我找了一个AI做导师，问很多问题。AI会给我一个答案，我会问它为什么给这个答案，让它一步步告诉我答案，以这种方式向我解释，将这种推理应用到其他事上，给我一些类比。
有很多不同的学习方法，我利用AI。有很多学习方法，我要强调的是，你要不断学习。
你必须坚定相信自身所追求的目标，并不等同于你必须对每个细微之处都了如指掌。
信心与确定性，是两个截然不同概念。追求目标过程中，你可以满怀信心前进，开放心态，欣然接受并拥抱不确定性。
这种不确定性，为你提供持续学习、不断成长空间。要学会从不确定性中汲取力量，视其为推动你前行的朋友，而非敌人。
其次，领导者需要展现出坚韧不拔的一面，周围有许多人都在仰仗你的力量，并从你的坚定中汲取勇气。
在这个复杂多变的世界中，你既可以坚强自信面对挑战，也可以诚实接纳自己脆弱与不确定性。
再者，作为领导者，你的决策，应始终围绕使命展开，以他人福祉与成功为考量。
无论是企业内部员工、合作伙伴，还是我们服务的整个生态体系，我始终在思考怎么样促进他们成功，如何保障他们利益。
你有60位直接下属，需要向你汇报工作，你的员工会议是怎么样做？你是如何有效管理这么多高层管理人员，这似乎体现你独特的领导风格。黄仁勋：重点是保持透明度。
我会在大家面前，明确阐述我们理由、目标、我们应该采取的行动，我们大家一起协作制定策略。
无论是什么样策略，每一个人都会在同一时间听到。他们都一起参与制定计划，当公司要决定什么事时，都是大家一起商量好的，不是我一个人说了算，也不是我告诉他们要怎么做。
我们共同讨论，共同得出结论。我的职责，是确保任何一个人都接收到同样信息。我通常是最后一个发言的人，基于我们讨论结果，明确方向与优先级。
如果存在任何不明确的地方，我会消除这一些疑虑。一旦我们达成共识，都理解策略，我就会基于大家都是成年人的事实来推进工作。
我之前提到的关于我的行为准则，不断学习、自信，拥抱不确定性，如果我不清楚，或者他们不清楚某些事，我想让他们能够主动说出来。
如果他们需要帮助，我希望他们可以向我们寻求支持。在这里，没有人会独自面对失败。
当其他人看到我的行为模式，作为CEO、作为领导者，我可以展现脆弱一面，我可以寻求帮助，我可以承认不确定性，我可以犯错，他们就会明白他们一样能这样做。
我必须说，你的管理方法成效显著。你在学位授予仪式上的演讲，让我记忆犹新，你提及香港科技大学的诸多数据，特别是校友创立的初创公司数量，我们学校培育出的独角兽企业与上市企业数量。
这所大学，以孕育新企业家与公司而著称。即便在这样环境下，我们今天仍有许多硕士生在此深造。
对我们学生与教职员工，你有什么建议？他们应该在何时、为何开启自己事业？除了你曾经向妻子许下在30岁前创办公司，你还有别的的建议吗？
那是我用来搭讪的小手段，并非线岁时遇到我的妻子，那时她19岁。作为班上最小的学生，面对250名同学中只有3个女孩的情况，我又显得像个孩子，必须要学会一些吸引注意的技巧。
我从学生那里收集到一个问题，他想知道：他在学校表现优异，但需要全神贯注学习。他读了你的爱情故事后，担心如果自己花时间谈恋爱，会不可能影响到学业。
前提是，你一定要保持优异的成绩。我的妻子从未发现过小秘密，我一直想让她觉得我很聪明。在她来之前，我先把作业完成。等到她来的时候，我知道所有答案。
有一位华盛顿大学教授，几年前发表一个观点，他认为在深度学习革命中，像麻省理工学院MIT这样顶尖美国大学，并没做出太多开创性贡献。
他并非仅指MIT，而是指出整个美国顶尖大学，过去10年里贡献相对有限。相反，我们正真看到微软、OpenAI、谷歌DeepMind这样顶尖公司，取得惊人成果，一个重要原因是它们拥有强大算力。面对这样情况，我们该如何应对？是不是应思考加入英伟达，或者与英伟达展开合作？作为我们新盟友，你能给我们一些建议或者帮助吗？
我们都知道，假如没有机器学习，我们没办法像今天这样推动科学研究的快速发展。机器学习，离不开强大计算支持。这就像研究宇宙，离不开射电望远镜；研究基本粒子，离不开粒子加速器一样。
一方面，我们欣喜看到算力明显提升、价格下降，无疑是好消息。另一方面，你们GPU消耗大量能源，有预测指出，到2030年，全球能源消耗将大幅度增加。
首先，我要强调的是，如果世界为全球AI工厂供电而消耗更多能源，当这一切发生时，我们世界将会变得更加美好。现在，让我为你详细阐述几点。
若在某个地方，如中国大湾区，包括深圳、香港、广东等地之外制造设备，效率往往会降低，难以找到所有必需的组件。以DJI为例，这家本土商业无人机公司，拥有令人赞叹的技术。
原因在于，这个区域在机电一体化领域，机械与电子技术融合方面，具备相当高水平。对机器人，一个关键的缺失，是理解物理世界AI。
听到你关于物理智能与机器人的看法，我感觉到很高兴，香港科技大学在你所描述的这样一些方面很擅长。
沈向洋：随着我们新医学院建立，我们将逐步推动这些领域发展。要实现所有这些美好的事，我们应该你们支持，我们应该你们GPU等资源。
全球五大科技巨头GPU总量曝光，2025年等效H100或超1,240万块时间：2024年12月2日
芯片数量估算总结可见，世界五大科技巨头都在紧锣密鼓布局自己算力版图，开展下一代更先进模型训练。谷歌Gemini 2.0预计在2024年12月正式上线。
11月21日，英伟达发布2025财年Q3财报预计，2024自然年数据中心收入将达1,100亿美元，比2023年420亿美元增长一倍多，2025年有望突破1,730亿美元。
2024年英伟达实际产量是多少？目前，关于这一数据来源较少，有些甚至还对不上。有估算称2024年Q4将生产约150万Hopper GPU，包括性能较低的H20芯片，是一个上限值。
为评估目前、未来，谁拥有最多计算资源，2023年之前数据对整体格局影响有限。这主要是GPU性能本身提升，从英伟达销售数据看，产量已经实现大幅增长。
微软很可能是英伟达这2年最大客户，这一判断基于以下几个因素：首先，微软拥有全球最大公有云服务平台之一；
Meta曾发文宣称，到2024年底，将拥有相当于60万H100算力，据称包括35万 H100，剩余部分很可能是H200，以及少量将在最后一个季度交付的Blackwell芯片。
如果假设这60万数字准确无误，结合收入占比进行推算，便可以更准确估计微软可用算力。
从英伟达收入贡献看，亚马逊、谷歌落后微软、Meta。这两家公司情况有显著差异，谷歌已拥有大量自研定制TPU，这是内部工作负载的主要计算芯片。
2024年，xAI在基础设施搭建中，最为标志性事件是，122天建成10万H100组成的世界最大超算。这一规模还在继续扩展中，马斯克预告未来将扩展到20万由H100/H200组成的超算。据称，xAI超算目前似乎在站点供电方面遇到一些问题。
2024 AI现状报告对Blackwell采购量进行估算：大型云计算公司，正在大规模采购GB200系统：微软介于70万~140万块之间、谷歌40万块、AWS 36万块。传OpenAI独自拥有至少40万GB200。
以上都讨论的是关于各个AI巨头总算力推测，许多人可能更关心最新前沿模型的训练，使用多少计算资源。以下将讨论OpenAI、谷歌、Anthropic、Meta、xAI情况。
2024年，OpenAI训练成本预计30亿美元，推理成本40亿美元。据称，微软向OpenAI提供40万GB200 GPU，用于支持训练。
谷歌Gemini Ultra 1.0模型，使用约为GPT-4的2.5倍计算资源，发布时间晚了9个月；谷歌Gemini Ultra 1.0模型所用的计算资源，比Meta最新Llama模型高25%。谷歌可能拥有比其他公司更多算力，作为云服务巨头，面临更多样算力需求。
平台声明：该文观点仅代表作者本人，搜狐号系信息发布平台，搜狐仅提供信息存储空间服务。