多亏了MicrosoftBing,如今每个人似乎都在谈论ChatGPT,但考虑到大型语言模型(LLM)的性质,如果游戏玩家感到某种似曾相识的感觉,那情有可原。
你看,即使LLM运行在巨大的云服务器上,它们也使用特殊的GPU(例如NvidiaA100或NvidiaH100)来完成它们运行所需的所有训练。通常,这意味着通过在具有复杂张量核心的GPU阵列上运行的神经网络提供非常大量的数据,这不仅需要大量的功率,而且还需要大量实际的GPU才能大规模执行。
这听起来很像加密货币挖矿,但也不是。Cryptomining与机器学习算法无关,与机器学习不同,Cryptomining的唯一价值是生产一种高度投机的数字商品,称为代币,有些人认为它有价值,因此愿意花真钱买它。
这引发了加密泡沫,在过去两年中导致GPU短缺,当时加密矿工从2020年到2022年购买了所有NvidiaAmpere显卡,让游戏玩家感到冷落。这个泡沫现在已经破灭,GPU股票现在已经稳定下来。
但随着ChatGPT的兴起,我们是否即将看到过去两年的重演?这不太可能,但也不是不可能的。
虽然您可能认为您能买到的最好的显卡可能是机器学习类型可能需要的那种东西,但您错了。除非你在大学并且正在研究机器学习算法,否则消费类显卡不足以驱动你需要的那种算法。
大多数生成图像或音乐的LLM和其他生成式AI模型确实将重点放在第一个L:Large上。ChatGPT已经处理了难以理解的大量文本,而消费级GPU并不像在服务器级基础设施上运行的工业级GPU那样真正适合这项任务。
这些是需求量很大的GPU,这就是Nvidia对ChatGPT如此兴奋的原因:不是ChatGPT会帮助人们,而是运行它几乎需要Nvidia所有的服务器级GPU,这意味着Nvidia即将从ChatGPT兴奋中赚取资金。
除非您是Google或Microsoft,否则您不会运行自己的LLM基础架构。您正在以云服务的形式使用其他人的服务。这意味着你不会有一堆初创公司购买所有的显卡来开发他们自己的法学硕士。
更有可能的是,我们将看到LLMaaS,即大型语言模型即服务。您将拥有MicrosoftAzure或AmazonWebServices数据中心,这些数据中心拥有巨大的服务器场,里面装满了GPU,可以为您的机器学习算法租用。这是初创公司喜欢的事情。他们讨厌购买乒乓球桌或豆袋椅以外的设备。
这意味着随着ChatGPT和其他AI模型的激增,它们不会在消费类硬件上本地运行,即使运行它的人是一小群开发人员。它们将在服务器级硬件上运行,所以没有人会来抢你的显卡。
问题是,虽然你的RTX4090可能是安全的,但问题是,当Nvidia只有有限数量的硅可供使用时,它会生产多少RTX5090,而将这些硅用于服务器级GPU的利润远高于将它用于GeForce显卡?
如果说ChatGPT的崛起有什么值得担心的,那么实际上,消费GPU的产量可能会减少,因为股东需要生产更多的服务器级GPU以实现利润最大化。这也不是无意义的威胁,因为资本主义规则目前的书写方式,公司通常需要做任何最大化股东回报的事情,而云总是比向游戏玩家出售显卡更有利可图。
另一方面,这确实是Nvidia的事情。Green团队可能会全力投入服务器GPU,减少消费类显卡的库存,但他们并不是唯一生产显卡的公司。
AMDRDNA3显卡刚刚引入了AI硬件,但这与Nvidia卡中的张量核心相去甚远,这使得Nvidia成为机器学习使用的实际选择。这意味着AMD可能会成为游戏玩家的默认显卡制造商,而Nvidia则转向其他厂商。
这绝对有可能,而且与加密不同,如果您无法获得Nvidia卡,AMD不太可能成为仍然对LLM有利的二等LLM卡。AMD确实根本不具备机器学习能力,尤其是未达到LLM所需的水平,因此AMD在这里不是一个因素。这意味着总会有适合游戏玩家的消费级显卡,也有好的,只是Nvidia显卡可能不会像以前那么多了。
Green团队的支持者可能不喜欢这样的未来,但考虑到ChatGPT的兴起,这是最有可能的。