月之暗面旗下大模型Kimi K3採用的線性注意力機制KDA(Kimi Delta Attention),一度引發市場對輝達高階GPU、HBM以及網路裝置需求可能受到削弱的擔憂。然而,半導體研究機構SemiAnalysis近日釋出報告給出了截然不同的判斷:K3龐大的引數規模和推理架構需求,不僅不會削弱高階AI硬體需求,反而可能進一步強化對輝達高階GPU、HBM以及高速互聯裝置的需求。

SemiAnalysis指出,K3的引數規模超過2.8萬億,模型權重容量超過1.5TB HBM。即便在相對有限的使用者併發場景下,KV快取仍需要大量解除安裝至CPU DDR5記憶體及NVMe儲存,HBM空間並不會出現明顯富餘。更重要的是,月之暗面此前透露,K3的高效推理部署需要至少64顆晶片組成的大規模擴充套件域架構。這一硬體需求與輝達GB200/GB300 NVL72等機架級AI系統的設計方向高度匹配。

市場擔憂主要來自KDA機制相比傳統Transformer注意力機制,能夠顯著降低KV快取的資料傳輸需求,最高可減少約10倍的網路頻寬壓力。這一變化令部分投資者聯想到DeepSeek R1釋出後市場對AI硬體需求的擔憂,認為模型效率提升可能降低對高階算力硬體的依賴。但SemiAnalysis認為,這一判斷忽視了大模型推理中的另一項核心需求——引數規模帶來的計算和互聯壓力。

K3擁有超過2.8萬億引數,其模型權重本身就需要依賴大規模分散式計算系統完成部署。與此同時,K3採用WideEP(Wide Expert Parallelism)最佳化策略,將896個專家模組分佈到多顆GPU上,使單顆GPU僅需承載部分專家權重,從而提升計算利用率。不過,WideEP也帶來了新的挑戰:專家之間頻繁的資料交換需要更強大的網路互聯能力。SemiAnalysis指出,GB200/GB300 NVL72採用的銅背板互聯架構,提供的機架內頻寬達到傳統DGX B200系統的18倍,非常適合這類大規模專家並行推理任務。換言之,KDA節省的KV快取通訊需求,可能被WideEP帶來的權重交換需求部分抵消,整體AI基礎設施壓力並未明顯下降。

不過,市場對此也存在不同聲音。知情人士GDP指出,月之暗面提到的“64顆晶片擴充套件域”並不一定意味著輝達NVL72方案。華為昇騰950 SuperPod同樣採用64顆晶片配置,並具備類似NVLink的統一匯流排(UB)記憶體擴充套件能力。從架構能力看,昇騰950 SuperPod可支援跨16個機架擴充套件至1024顆NPU,在滿足大規模模型推理需求方面同樣具備競爭力。因此,K3帶來的硬體需求增長,並不意味著輝達將成為唯一受益者,但其對於高階AI互聯絡統的需求強化趨勢仍然明確。

SemiAnalysis進一步援引傑文斯悖論(Jevons' Paradox)解釋AI基礎設施趨勢。該理論認為,當某項技術提升資源利用效率、降低單位成本後,需求往往不會下降,反而可能因應用範圍擴大而增長。應用到AI領域,線性注意力機制降低推理成本後,可能推動更多企業部署AI應用,使全球AI推理規模進一步擴大,最終帶動GPU、HBM、DRAM以及高速網路裝置需求增長。不過,GDP對此保持謹慎態度。他認可傑文斯悖論的長期邏輯,但指出,KDA對於長上下文任務中的狀態儲存最佳化具有現實意義。即使模型權重規模巨大,由於採用4bit量化以及高度稀疏化設計,實際記憶體壓力可能低於市場直覺。他認為,真正值得關注的變數在於全球推理需求最大的AI公司——OpenAIAnthropic以及Google DeepMind——是否已經或未來會採用類似KDA、DeepSeek CSA/HCA等線性注意力方案。如果頭部AI公司大規模採用此類架構,長上下文推理對記憶體和互聯資源的需求可能出現明顯下降,這將成為影響未來AI硬體需求結構的重要因素。

總體來看,Kimi K3的出現並未簡單指向AI硬體需求下降。對於輝達而言,真正的競爭焦點可能從“單卡效能”轉向“系統級能力”——包括高速互聯、機架級擴充套件以及大規模推理最佳化。隨著模型規模持續擴大,即使注意力機制不斷最佳化,AI基礎設施仍面臨引數規模、專家並行、資料交換以及推理吞吐提升帶來的壓力。未來市場需要關注的核心問題,不是線性注意力是否降低單項資源消耗,而是AI應用規模擴張帶來的新增需求,能否持續超過架構效率提升帶來的資源節省。