前言：

GTC 2023上，英偉達創(chuàng)始人兼CEO黃仁勛提出全新概念：[我們正處于AI的iPhone時刻。]

黃仁勛所謂AI的iPhone時刻，即AI技術(shù)正在迎來爆發(fā)式增長，將成為數(shù)十年來最有前途的技術(shù)領(lǐng)域之一。

正如此前的互聯(lián)網(wǎng)一樣，生成式AI也將重塑每個行業(yè)。

作者 | 方文三

圖片來源 |  網(wǎng) 絡(luò) 

老黃向AI企業(yè)喊話：A100芯片是大模型必備

由OpenAI公司開發(fā)并風(fēng)靡全球的對話機器人ChatGPT，其背后所依賴的GPT-3.5模型是在搭載英偉達A100芯片的計算系統(tǒng)上訓(xùn)練而來的。

對于研究大型語言模型的公司來說，算力是其中最重要的一環(huán)，AI大模型的推理和訓(xùn)練高度依賴英偉達的GPU芯片。

缺少芯片會導(dǎo)致算力不足，計算能力不足意味著無法處理龐大的模型和數(shù)據(jù)量，最終的結(jié)果是模型存在智商差距。

鑒于英偉達在高性能GPU方面的技術(shù)領(lǐng)先地位，一些云計算專業(yè)人士認為，1萬顆英偉達A100芯片是一個好的AI模型的算力門檻。

而微軟為OpenAI構(gòu)建的用于訓(xùn)練其模型的AI超級計算機就配備了1萬顆英偉達的GPU芯片。

市場研究公司TrendForce在一份報告中計算得出，要處理1800億參數(shù)的GPT-3.5大型模型，需要的GPU芯片數(shù)量高達2萬顆，未來GPT大模型商業(yè)化所需的GPU芯片數(shù)量甚至?xí)�超過3萬顆。

據(jù)英偉達官方介紹，用8000片A100芯片訓(xùn)練具有3950億個參數(shù)的多專家模型（MoE）需要7天，但使用8000片H100芯片可以將訓(xùn)練時間縮短到20小時，速度提升9倍。

換言之，H100將大語言模型的處理成本降低了一個量級。

在GTC大會上，英偉達還發(fā)布了全新的GPU推理平臺，包括4種不同配置，針對不同工作負載進行優(yōu)化。

分別對應(yīng)了AI視頻加速、圖像生成加速、大語言模型（LLM）加速和推薦系統(tǒng)和LLM數(shù)據(jù)庫，包括L4 Tensor Core GPU、L40 GPU、H100 NVL GPU和Grace Hopper超級芯片。

GPU通用計算加速的又一方向

黃仁勛帶來的另一項革命性技術(shù)，也關(guān)乎英偉達自身的產(chǎn)品研發(fā)，是一項聚焦先進芯片設(shè)計制造的技術(shù)：英偉達cuLitho計算光刻庫。

它可以通過計算技術(shù)大幅優(yōu)化芯片制造流程，利用GPU技術(shù)實現(xiàn)計算光刻，可以使傳統(tǒng)光刻技術(shù)提速40倍以上，為2nm及更先進芯片的生產(chǎn)提供助力。

按照過去15年的趨勢，如果某個foundry（集成電路代工廠）現(xiàn)有3座數(shù)據(jù)中心，那么未來10年內(nèi)就要100座這樣的數(shù)據(jù)中心。

功耗方面，45兆瓦可能還能接受，但如果是45千兆瓦，問題就比較大了。

包含于計算光刻中的OPC（光學(xué)臨近效應(yīng)修正）含有大量矩陣乘法運算，這種運算很適用于GPU加速。

計算光刻也是GPU通用計算加速的某個應(yīng)用方向，站在這個角度看，就不難理解英偉達發(fā)布cuLith加速庫了。

借助cuLitho，臺積電可以縮短原型周期時間，提高晶圓產(chǎn)量，減少芯片制造過程中的能耗，并為2nm及以上的生產(chǎn)做好準(zhǔn)備。

臺積電將于6月開始對cuLitho進行生產(chǎn)資格認證，并會在2024年對2納米制程開始風(fēng)險性試產(chǎn)，2025年開始量產(chǎn)。

算力云化趨勢不改

云計算實現(xiàn)了計算的服務(wù)化，而AI對算力的需求更大，巨量的云端算力勢在必行。

硬件廠商的AIGC軟硬結(jié)合生態(tài)初顯雛形，公司預(yù)計英偉達 DGX Cloud有望通過云端服務(wù)加速強算力硬件及AI應(yīng)用軟件向下游商業(yè)公司滲透。

英偉達 DGX Cloud是一項人工智能超級計算服務(wù)，它可以讓企業(yè)快速訪問為生成式人工智能和其他開創(chuàng)性應(yīng)用訓(xùn)練高級模型所需的基礎(chǔ)設(shè)施和軟件。

英偉達 DGX Cloud提供英偉達 DGX AI超級計算專用集群，每個DGX Cloud中都集成了8個英偉達 H100或A100 80GB Tensor Core的GPU，每個節(jié)點合計有640GB的GPU，這個巨大的GPU可以滿足高級AI訓(xùn)練的性能要求。

押注未來，不止AI

經(jīng)典計算以晶體管為計算單元，通過提高芯片上的晶體管密度來提高算力，但晶體管的密度不能無限大，因此經(jīng)典計算算力有限。

而量子計算則可以利用量子疊加態(tài)來提供量子并行性，一次性完成所有計算，并從中舉出最優(yōu)方案。

英偉達 DGX Quantum是全球首個GPU加速的量子計算系統(tǒng)，可以實現(xiàn)GPU和量子處理單元（QPU）之間的亞微秒級延遲。

該產(chǎn)品結(jié)合了通用量子控制系統(tǒng)Quantum Machines OPX+和英偉達 Grace Hopper超級芯片，這個平臺可以為高性能和低延遲量子經(jīng)典計算的研究人員提供了一種革命性的新架構(gòu)。

這是首個結(jié)合GPU和量子計算的系統(tǒng)，其中最主要的是H100 NVL，它將英偉達的兩個H100 GPU拼接在一起，以部署像ChatGPT這樣的大型語言模型（LLM）。

與前者相比，現(xiàn)在一臺搭載四對H100和雙NVLINK的標(biāo)準(zhǔn)服務(wù)器速度能快10倍，可以將大語言模型的處理成本降低一個數(shù)量級。

英偉達靠AI賺得盆滿缽滿

1993年創(chuàng)立的英偉達發(fā)明了全球第一塊GPU，人們當(dāng)時想不到，它在2016年之后促使人工智能發(fā)生了飛躍性的變化。

在OpenAI的ChatGPT與谷歌的Bard爭得不可開交的情況下，作為AI淘金潮中的賣水工，英偉達可謂是賺得盆滿缽滿。

生成式AI的快速發(fā)展帶動了對算力需求急劇增長，尤其是大型語言模型（LLM）需要規(guī)模龐大的算力。

而英偉達正好是AI算力的主要提供商。在數(shù)據(jù)中心GPU領(lǐng)域，英偉達市占率常年穩(wěn)定在80%附近。

由于人工智能領(lǐng)域的算力需求約每3.5個月翻一倍，所以導(dǎo)致英偉達芯片常年供不應(yīng)求。

英偉達數(shù)據(jù)中心業(yè)務(wù)在2022年第四季度為公司帶來了60.5億美元的收入中的36.2億美元。

這也意味著，提供A100等芯片的數(shù)據(jù)中心業(yè)務(wù)已經(jīng)在上個季度為英偉達貢獻了近六成的收入，與此同時，英偉達股價今年以來更是狂漲79%。

英偉達最新股價截圖，截至最新收盤總市值6471億美元。

公開數(shù)據(jù)顯示，英偉達數(shù)據(jù)中心業(yè)務(wù)在2023年Q1正式超越游戲業(yè)務(wù)成為第一大業(yè)務(wù)。

其2023財年Q3財報顯示，數(shù)據(jù)中心業(yè)務(wù)同比增長31%，達到38億美元，而游戲業(yè)務(wù)收入下降51%至16億美元。

自今年以來，英偉達股價漲幅已超80%。

結(jié)尾：

水瓶座的黃仁勛善于解決問題并擁有獨特的洞察力，能夠看到問題的本質(zhì)，從而找到創(chuàng)新的解決方案。

這種創(chuàng)新精神使得水瓶座的人在科技行業(yè)表現(xiàn)出色，具有的獨特思維方式和領(lǐng)導(dǎo)能力，將英偉達帶來了新的創(chuàng)新和發(fā)展機遇。

今年以來，量子計算+人工智能的交叉研究越來越多，隨著英偉達此次在GTC大會上更新GPU、入局量子計算，二者融合將進一步加快。

不過，其野心不止于此，通過押注量子計算，這表明英偉達不僅看好量子計算的未來發(fā)展，而且想在下一個量子計算時代延續(xù)優(yōu)勢，為用戶提供算力支持。

       原文標(biāo)題 : AI芯天下丨熱點丨GTC 2023-黃仁勛:AI的iPhone時刻已經(jīng)到來