是什麼

NVLink 是英偉達推出的高速互聯技術,用於在多顆 GPU 之間,以及 GPU 與 CPU 之間建立遠高於傳統 PCIe 的點對點帶寬連接。配合 NVSwitch 交換芯片,它可以把機櫃內的多顆 GPU 連成一個高帶寬、低延遲的整體,使它們能夠高效地共享數據與協同計算。

為什麼重要

現代大型 AI 模型的參數規模早已超出單顆 GPU 的承載能力,必須把計算切分到成百上千顆 GPU 上並行完成。此時芯片之間的數據交換速度,往往比單顆算力更能決定整體效率。NVLink 提供的高帶寬互聯,讓大量 GPU 在物理上分立、在邏輯上趨近於一顆「超級芯片」,是大規模訓練能夠高效擴展的前提之一。

與五層蛋糕的關係

NVLink 位於「五層蛋糕」的「芯片」層,但作用延伸到「基礎設施」層。它把單顆芯片的算力,通過互聯匯聚成機櫃乃至集群級別的算力,直接支撐上方「模型」層的大規模分佈式訓練。互聯能力與芯片本身,共同決定了一個 AI 工廠究竟能調動多大的有效算力。