2026年10月16日，vLLM官方部落格釋出了一篇技術覆盤，署名作者是輝達CentML的工程師Benjamin Chislett。他用一段1.2萬行的CuTe DSL程式碼編寫Megakernel，將月之暗面2.8萬億引數的Kimi K3推理速度大幅提升。據SemiAnalysis測算，在相同的GB300 NVL72硬體上，K3達到423 tok/s/user的推理速度，效能提升1.68倍；vLLM部落格原文報告的資料則是batch 1下超過840 tokens/s，多個測試配置下解碼吞吐提升1.5—2倍。沒有更換晶片，沒有采用更先進製程，也沒有等待下一代硬體。

Kimi K3的Stable LatentMoE架構擁有896個專家，每次推理啟用16個。這種極端稀疏的MoE在訓練端能以較少啟用引數撬動更大容量，但在推理端卻是工程難題。據SemiAnalysis分析，K3一次前向計算的HBM頻寬需求約1.5TB，每次前向觸發超過120次All-to-All通訊。解碼階段是典型的記憶體頻寬受限場景，計算單元大部分時間在等待資料搬運。

傳統推理引擎的解碼過程由一連串獨立核心完成，每個核心啟動有開銷，核心間資料交換要經過視訊記憶體讀寫。Megakernel的核心思路是運算元融合：把分散的解碼核心合併成一個高度融合的超級核心，減少啟動開銷、合併記憶體訪問，並讓計算與通訊儘可能重疊。這1.2萬行程式碼的價值，在於把“通用硬體跑通用模型”的預設效率，替換成“專用硬體跑專用模型”的極致效率——硬體和模型都沒變，變的是資料在硬體上的流動方式。

更值得關注的是寫程式碼的過程本身。vLLM部落格明確提到，團隊使用了智慧體輔助開發來構建統一的CuTe DSL解碼路徑，並指出編碼智慧體已能幫助完成模型最佳化中最困難的部分，包括編寫複雜GPU核心、執行跨運算元融合、重疊計算與通訊，以及針對不同批次和GPU配置進行調優。這並非AI獨立完成全部程式碼，人類工程師仍是專案主導者和架構設計者，但在最困難的部分，AI承擔了相當大的工作量，以至於人類的逐行審查已經跟不上。部落格中有一句話被多數中文報道忽略：智慧體最佳化的推理程式碼，正在超過人類團隊的審查和維護速度。

面對這一局面，vLLM團隊釋出了fast-track model optimization RFC，核心思路不是讓人類審得更快，而是改變效能工作的組織方式。部落格列出四條原則：隔離變更、限定範圍、系統化驗證正確性、擴大驗證。人類審查者仍然判斷設計和證據，但可以從高層抽象開始，而非逐行審程式碼。換言之，人類從“寫程式碼的人”轉變為“設計驗證框架和風險邊界的人”。部落格還披露了一個細節：審計發現編譯器把啟用讀取移到了同步等待之前，修復方案是將這種載入型別限制為靜態權重；這類錯誤能通過簡單功能測試，需要針對性調查才能發現。

這件事的分量需要放在更大背景下看。此前關於AI的討論多聚焦於AI作為行為主體做出人類未預期之事，而這次AI成了最佳化的主體——它在幫人寫程式碼，讓另一個AI模型跑得更快。前者是人類要管住AI，後者是人類要跟上AI。當AI生成程式碼的速度超過人類審查程式碼的速度，“人類在迴路中”的原則就面臨一個具體挑戰：迴路上的人類還能不能看懂迴路裡的東西？

從技術經濟角度看，解碼最佳化比訓練最佳化更難，因為訓練是算力峰值受限，解碼是記憶體頻寬受限。K3的896個專家分佈在多張晶片上，每處理一個token，路由系統要把資料分發到被選中的專家所在晶片再收回結果，超過120次All-to-All通訊每一次都是延遲。因此在這個場景裡，換更快的晶片不一定是最高效的解法，瓶頸不在算力峰值，而在資料流動效率。Megakernel的運算元融合本質上是在減少資料在視訊記憶體和計算單元之間來回搬運的次數。其產業含義是：當製程紅利放緩、單卡峰值效能追趕以年為單位計算時，讓已有硬體跑出更高有效算力正在成為回報率更高的路徑。

SemiAnalysis創始人迪倫在紅杉專訪中曾判斷，效能提升不能單靠硬體堆砌，模型架構、軟體棧（編譯器與通訊庫）與底層硬體的深度協同最佳化才是實現百倍效率飛躍的真正突破口。這一判斷有助於理解輝達這1.2萬行程式碼的意義。在先進製程晶片獲取受限的背景下，單卡效能差距短期難以抹平，但系統效率、編譯器最佳化、運算元融合、通訊重疊等純軟體層面的工程能力不依賴晶圓廠，依賴工程師和工具鏈。輝達用一個工程師、1.2萬行程式碼和AI輔助開發，在不換硬體的前提下拿到了顯著效率提升，提示算力競賽的維度正在分裂：一條線是造出更強的晶片，另一條線是讓現有晶片幹更多的活。後一條線對追趕者門檻更低、空間更大。

還有一層微妙關係值得注意。輝達最佳化的是月之暗面的Kimi K3，據IT之家報道，輝達還在為vLLM開發DeepSeek V4.1等其他模型的最佳化。這意味著Kimi K3的最佳化不是一次性炫技，而是一套可複用的方法論正在向更多中國模型擴散。在晶片管制背景下，輝達的軟體團隊正在為中國模型充分釋放其自身硬體的效能。賣鏟子的人也在幫你磨鏟子，這既因為軟體最佳化能拉動硬體銷售，也因為輝達需要證明自己在管制框架下仍是中國AI產業不可或缺的一環。競爭與合作在這個關係裡同時存在。

回到“來不及審”這一核心。這件事真正的分量不在於輝達優化了Kimi，不在於1.68倍，甚至不在於編譯器棧成為新前線，而在於它提出了一個人類必須回答但目前還沒有答案的問題：當AI開始最佳化AI，且最佳化速度超過人類理解速度時，人類還能不能守住最終判斷權這條底線？vLLM團隊的答案是改變組織方式——不逐行審，而是設計驗證框架、限定變更範圍、系統化測試。這個答案務實，但本質上是在說：我們接受“看不懂每一行程式碼”這個現實，然後用流程來兜底。這可能就是AI時代“人在迴路中”的新形態：不是人看懂一切，而是人定義邊界、設計驗證、承擔後果。技術可以加速，但判斷不能外包；判斷不一定看得懂程式碼，但必須看得住風險。vLLM部落格標題裡的“Responsibly”一詞，在一個AI生成程式碼速度超過人類審查速度的時代，分量比1.68倍重得多。