澎湃新聞?dòng)浾?邵文

3月22日，在2022 GTC大會(huì)上，NVIDIA宣布推出采用Hopper架構(gòu)的新一代加速計(jì)算平臺(tái)，其將取代兩年前推出的Ampere架構(gòu)（NVIDIA迄今為止最成功的GPU架構(gòu)）。同時(shí)，NVIDIA發(fā)布了其首款基于Hopper架構(gòu)的GPU—NVIDIA H100。

NVIDIA H100集成了800億個(gè)晶體管，采用臺(tái)積電N4工藝，是全球范圍內(nèi)最大的加速器，擁有Transformer引擎和高度可擴(kuò)展的NVLink互連技術(shù)（最多可連接達(dá)256個(gè)H100 GPU，相較于上一代采用HDR Quantum InfiniBand網(wǎng)絡(luò)，帶寬高出9倍，帶寬速度為900GB/s）等功能，可推動(dòng)龐大的AI語言模型、深度推薦系統(tǒng)、基因組學(xué)和復(fù)雜數(shù)字孿生的發(fā)展。

Hopper架構(gòu)以“計(jì)算機(jī)軟件工程第一夫人”Grace Hopper命名。Grace Hopper是計(jì)算機(jī)科學(xué)的先驅(qū)之一，發(fā)明了世界上第一個(gè)編譯器——A-0 系統(tǒng)。1945年，Grace Hopper在 Mark Ⅱ中發(fā)現(xiàn)了一只導(dǎo)致機(jī)器故障的飛蛾，從此“bug” 和 “debug” (除蟲) 便成為計(jì)算機(jī)領(lǐng)域的專用詞匯。

NVIDIA表示，H100 GPU在FP16、FP32和FP64計(jì)算方面比上一代A100快三倍，在8位浮點(diǎn)數(shù)學(xué)運(yùn)算方面快六倍?！皩?duì)于大型Transformer模型的訓(xùn)練，H100 將提供高達(dá)9倍的性能，過去需要數(shù)周時(shí)間才能完成的訓(xùn)練可以減少到幾天內(nèi)，”NVIDIA產(chǎn)品管理高級(jí)總監(jiān)Paresh Kharya在發(fā)布會(huì)上表示。

Transformer現(xiàn)在已成為自然語言處理的標(biāo)準(zhǔn)模型方案，也是深度學(xué)習(xí)模型領(lǐng)域最重要的模型之一。

NVIDIA創(chuàng)始人兼CEO黃仁勛表示，“數(shù)據(jù)中心正在轉(zhuǎn)變成‘AI工廠’，它們處理大量數(shù)據(jù)，以實(shí)現(xiàn)智能。NVIDIA H100是全球AI基礎(chǔ)設(shè)施的引擎，讓企業(yè)能夠利用其實(shí)現(xiàn)自身AI業(yè)務(wù)的加速?！?/p>

H100的800億個(gè)晶體管采用了專為NVIDIA加速計(jì)算需求設(shè)計(jì)的TSMC 4N工藝，因而能夠顯著提升AI、HPC、顯存帶寬、互連和通信的速度，并能夠?qū)崿F(xiàn)近5TB/s的外部互聯(lián)帶寬。H100是首款支持PCIe 5.0的GPU，也是首款采用HBM3的GPU，可實(shí)現(xiàn)3TB/s的顯存帶寬。

據(jù)介紹，20個(gè)H100 GPU便可承托相當(dāng)于全球互聯(lián)網(wǎng)的流量，使其能夠?qū)崟r(shí)運(yùn)行數(shù)據(jù)推理的大型語言模型和推出先進(jìn)的推薦系統(tǒng)。

H100也是全球首款具有機(jī)密計(jì)算功能的加速器，可保護(hù)AI模型和正在處理的數(shù)據(jù)。據(jù)NVIDIA介紹，客戶還可以將機(jī)密計(jì)算應(yīng)用于醫(yī)療健康和金融服務(wù)等隱私敏感型行業(yè)的聯(lián)邦學(xué)習(xí)，也可以應(yīng)用于共享云基礎(chǔ)設(shè)施。

H100采用新的DPX指令可加速動(dòng)態(tài)規(guī)劃，適用于包括路徑優(yōu)化和基因組學(xué)在內(nèi)的一系列算法，與CPU和上一代GPU相比，其速度提升分別可達(dá)40倍和7倍。Floyd-Warshall算法（可在動(dòng)態(tài)倉(cāng)庫(kù)環(huán)境中為自主機(jī)器人車隊(duì)尋找最優(yōu)線路）與Smith-Waterman算法（可用于DNA和蛋白質(zhì)分類與折疊的序列比對(duì)）也在其加速之列。

H100將支持聊天機(jī)器人使用功能強(qiáng)大的monolithic Transformer語言模型Megatron 530B，吞吐量比上一代產(chǎn)品高出30倍，同時(shí)滿足實(shí)時(shí)對(duì)話式AI所需的次秒級(jí)延遲。利用H100，研究人員和開發(fā)者能夠訓(xùn)練龐大的模型，如包含3950億個(gè)參數(shù)的混合專家模型，訓(xùn)練速度加速達(dá)9倍，將訓(xùn)練時(shí)間從幾周縮短到幾天。

H100可部署于各種數(shù)據(jù)中心，包括內(nèi)部私有云、云、混合云和邊緣數(shù)據(jù)中心，產(chǎn)品預(yù)計(jì)于今年晚些時(shí)候全面發(fā)售。

責(zé)任編輯：李躍群

校對(duì)：丁曉