NVIDIA 在 SC23 (Supercomputing 2023) 超算大會上宣布推出其最新的運算平台 – NVIDIA HGX™ H200,標誌著人工智慧和高效能運算領域的一次重大進展。
NVIDIA H200 的核心創新
NVIDIA H200 Tensor Core GPU 是基於 NVIDIA Hopper™ 架構的最新產品,配備了革命性的 HBM3e 記憶體技術。這種記憶體不僅容量更大,速度更快,而且能夠有效加速生成式人工智慧和大型語言模型的運算,同時推動高效能運算工作負載的科學運算。
性能的飛躍
NVIDIA H200 相比其前代產品 NVIDIA A100,記憶體容量幾乎翻倍,達到 141GB,並且記憶體頻寬增加了 2.4 倍,達到每秒 4.8 TB 的驚人速度。這種性能的提升將使得大型自然語言模型如 Meta Llama 2 和 NVIDIA TensorRT™-LLM 的運算效率近乎翻倍。
兼容性與應用範圍
NVIDIA H200 的推出不僅意味著性能的提升,還保證了與現有系統的兼容性。它可以直接替換基於 H100 的系統,並且與 NVIDIA GH200 Grace Hopper™ 超級晶片相容,這使得它可以在各種資料中心環境中部署,包括本地、雲端、混合雲和邊緣環境。
全球合作夥伴的支持
NVIDIA 的全球生態系合作夥伴,包括永擎電子、華碩、戴爾科技集團、Eviden、技嘉科技、慧與科技、鴻佰科技、聯想、雲達科技、美超微、緯創資通和緯穎科技等,都將支持基於 H200 的伺服器產品。此外,亞馬遜網路服務、Google Cloud、Microsoft Azure 和 Oracle Cloud Infrastructure 等雲端服務供應商也將成為首批部署基於 H200 執行個體的平台。
資料來源: NVIDIA newsroom