时来天地皆同力,运去英雄不自由。在李飞飞发起Image-Net的前一年,另一位在计算机科学领域举足轻重的人物,英伟达创始人兼CEO黄仁勋宣布,公司将推出“统一计算设备架构”(Compute Unified Device Architecture,CUDA)平台。当时人们还无法预料到,这将是人工智能产业发展史上最重要的事件之一。
CUDA允许开发人员直接编程GPU,从而利用其庞大的计算能力来处理科学计算、机器学习等复杂任务,提升了计算效率和性能。
以当年的眼光看,CUDA的推出堪称一个极其离谱的商业决策。彼时,CUDA最广泛的用途是供疯狂的游戏极客并联多块GPU,他们只为了以8K分辨率玩《雷神之锤Ⅱ》这款游戏。黄仁勋不顾公司上下的反对,投资数亿美元打造CUDA框架,让每个个人用户能组建自己的超级计算机,后来这被证明是一个远超其时代的决定。2024年11月,英伟达以3.4万亿美元市值超越苹果,成为全球最有价值的公司。
在训练深度神经网络的需求出现之前,个人计算机的核心是CPU,而显卡只能用于加速电脑游戏的图形渲染,常常被视为可有可无的配件。而在智算时代,两者的地位瞬间逆转,这是由于两者不同的构造导致它们擅长不同的工作。
CPU通常有少量核心,但每个核心处理能力强,适合处理复杂的串行任务。而GPU有成千上万的小核心,其设计初衷是处理图形渲染中的并行计算,比如同时处理多个像素或顶点。深度学习训练,尤其是神经网络,涉及大量的矩阵运算,比如矩阵乘法和加法,这些操作可以高度并行化处理。GPU的大量核心可以同时处理这些运算,从而加速训练过程。
在此刻,GPU正式替代了CPU,成为人工智能的算力中枢,英伟达也成为AI掘金时代的“卖铲人”,赚得盆满钵满。
CUDA的引入,让多个GPU形成并联算力矩阵成为可能,从而使GPU在通用计算领域展现出强大的并行处理能力,极大地推动了高性能计算(HPC)和人工智能领域的发展。CUDA这一平台的推出,为科研人员和工程师提供了低成本、强大的算力资源。
如今,随着V100显卡和A100显卡的相继发布,英伟达不仅牢牢占据了科学计算市场的主导地位,还在人工智能算力市场中形成了垄断。特别是在深度学习和大规模机器学习模型训练中,V100显卡和A100显卡成为支撑巨大算力需求的核心硬件,推动了人工智能技术的突破和快速发展。