云提供商正在打造GPU 大軍，以提供更多的人工智能火力。在剛剛舉行的谷歌I/O年度開發(fā)者大會上，谷歌宣布了一款擁有26000個GPU的人工智能超級計算機。 Compute Engine A3超級計算機再次證明，在與微軟的人工智能霸主之戰(zhàn)中，谷歌正在投入更多資源進行積極反擊。

該超級計算機擁有大約26,000 個Nvidia H100 Hopper GPU。作為參考，世界上最快的超級計算機Frontier 擁有37,000 個AMD Instinct 250X GPU。

【資料圖】

4 月，Nvidia 首席執(zhí)行官黃仁勛展示了帶有8 個H100 Hopper GPU 的Nvidia DGX H100 系統(tǒng)背板。

谷歌發(fā)言人在一封電子郵件中表示：“對于我們最大的客戶，我們可以在一個集群中構(gòu)建最多配備26,000 個GPU 的A3 超級計算機，并且正在努力在我們最大的區(qū)域構(gòu)建多個集群?！毖a充道，“并非我們所有的節(jié)點都會擴展到這個大小。”

該系統(tǒng)是在加利福尼亞州山景城舉行的Google I/O 開發(fā)者大會上宣布的。此次開發(fā)者大會已經(jīng)成為谷歌眾多人工智能軟硬件能力的集中展示地。在微軟將其OpenAI技術(shù)應(yīng)用于必應(yīng)搜索和生產(chǎn)力軟件應(yīng)用程序后，谷歌加速了人工智能的發(fā)展。

該超級計算機面向想要訓(xùn)練大型語言模型（LLM）的客戶。現(xiàn)在許多云提供商都在部署H100 GPU，Nvidia 在3 月份推出了自己的DGX 云服務(wù)，與租用上一代A100 GPU 相比，價格非常昂貴。

谷歌表示，A3 超級計算機是其現(xiàn)有使用Nvidia A100 GPU 的A2 虛擬機提供的計算資源的重大升級。 Google 正在將其所有分布式A3 計算實例整合到一臺超級計算機中。

谷歌總監(jiān)Roy Kim 和產(chǎn)品經(jīng)理Chris Kleban 在博客文章中表示：“A3 超級計算機的規(guī)?？商峁└哌_(dá)26 exaflops 的AI 性能，顯著縮短訓(xùn)練大型機器學(xué)習(xí)模型的時間和成本?！敝笜?biāo)用于估計人工智能計算機的基線性能。

GPU數(shù)量已經(jīng)成為云提供商推廣人工智能計算服務(wù)的重要名片和指標(biāo)。微軟與OpenAI 合作構(gòu)建的Azure 人工智能超級計算機擁有285,000 個CPU 核心和10,000 個GPU。微軟還宣布了其下一代人工智能超級計算機，該計算機擁有更多GPU。 Oracle 的云服務(wù)提供對512 個GPU 集群的訪問，并正在開發(fā)新技術(shù)以提高GPU 間的通信速度。

谷歌一直在大肆宣傳其TPU v4人工智能芯片，該芯片被用來運行LLM的內(nèi)部人工智能應(yīng)用程序，例如谷歌的Bard產(chǎn)品。谷歌人工智能子公司DeepMind 表示，快速TPU（張量處理器）正在引導(dǎo)通用和科學(xué)應(yīng)用人工智能的開發(fā)。

相比之下，谷歌的A3超級計算機用途廣泛，可以適應(yīng)各種AI應(yīng)用和LLM。 “鑒于這些工作負(fù)載的高需求，一刀切的方法是不夠的。你需要專門為人工智能構(gòu)建的基礎(chǔ)設(shè)施，”Kim 和Kleban 在一篇博客文章中表示。

盡管谷歌非常喜歡它的TPU，但由于客戶正在使用CUDA 編寫人工智能應(yīng)用程序，Nvidia 的GPU 已經(jīng)成為云提供商的必需品。 CUDA是NVIDIA專有的并行編程模型，該軟件工具包基于H100專業(yè)人工智能和圖形核心提供的加速來生成最快的結(jié)果。

客戶可以通過A3虛擬機運行AI應(yīng)用程序，并通過Vertex AI、Google Kubernetes Engine和Google Compute Engine服務(wù)使用Google的AI開發(fā)和管理服務(wù)。

Google 的A3 超級計算機融合了多種技術(shù)來提高GPU 到GPU 的通信和網(wǎng)絡(luò)性能。 A3虛擬機基于Intel第四代Xeon芯片（代號Sapphire Rapids），封裝H100 GPU。目前尚不清楚虛擬機中的虛擬CPU 是否支持Sapphire Rapids 芯片內(nèi)置的推理加速器。虛擬機配備DDR5 內(nèi)存。

Nvidia H100 上的訓(xùn)練模型比其前身A100 GPU 更快、更便宜，后者在云中廣泛使用。 AI 服務(wù)公司MosaicML 的一項研究發(fā)現(xiàn)，H100 在其70 億參數(shù)MosaicGPT 大語言模型上“比NVIDIA A100 成本效益高30%，速度快3 倍”。

H100 還可以進行推理，但考慮到H100 提供的處理能力，可能會被認(rèn)為是矯枉過正。谷歌云提供Nvidia 的L4 GPU 用于推理，英特爾也在其Sapphire Rapids CPU 中提供推理加速器。

谷歌的Kim 和Kleban 表示：“A3 VM 也非常適合推理工作負(fù)載，與A2 VM 的A100 GPU 相比，推理性能提高了30 倍?！?

A3 VM 是第一批通過稱為Mount Evans 的基礎(chǔ)設(shè)施處理單元(IPU) 連接到GPU 實例的VM。 IPU 由Google 和Intel 聯(lián)合開發(fā)，允許A3 虛擬機卸載傳統(tǒng)上由虛擬CPU 完成的網(wǎng)絡(luò)、存儲管理和安全功能的工作負(fù)載。 IPU 允許以200Gbps 的速度傳輸數(shù)據(jù)。

谷歌高管在博文中表示：“A3是第一個使用我們定制設(shè)計的200Gbps IPU的GPU實例。GPU到GPU的數(shù)據(jù)傳輸繞過CPU主機，與其他虛擬機網(wǎng)絡(luò)和數(shù)據(jù)流量分開接口傳輸。與A2 虛擬機相比，網(wǎng)絡(luò)帶寬增加了10 倍，并且具有低延遲和高帶寬穩(wěn)定性。”

IPU 吞吐量可能很快就會受到微軟的挑戰(zhàn)，微軟即將推出的由Nvidia H100 GPU 驅(qū)動的人工智能超級計算機將采用該芯片制造商的Quantum-2 400Gbps 網(wǎng)絡(luò)功能。微軟尚未透露其下一代人工智能超級計算機中H100 GPU 的數(shù)量。

A3 超級計算機建立在該公司Jupiter 數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)的主干之上，該網(wǎng)絡(luò)結(jié)構(gòu)通過光纖連接地理上分離的GPU 集群。