AI行業正掀起一場“造芯大戰”，多家頭部公司紛紛投入自研晶片，以應對推理需求爆發帶來的算力壓力。據The Information 7月20日報道，谷歌正在研發一款內部代號“Frozen v2”的伺服器晶片，計劃將Gemini模型的部分架構直接固化進矽片，以提升推理效率。而在一個月前的6月24日，OpenAI亮出了與博通聯合研發的首款推理晶片Jalapeño，從設計到流片僅耗時九個月。此外，Anthropic、智譜、DeepSeek等公司也被傳正在進行相關佈局。

然而，並非每家公司都有資金和能力重造晶片，因此一個新興市場正引發資本和巨頭關注：AI Infra（人工智慧基礎設施層）。其核心邏輯是，已部署的資料中心和GPU仍存在最佳化空間，通過提升利用率來釋放更多算力。這一賽道已湧現出高增長案例：AI推理平台Baseten一年收入增長20倍，估值從21億美元暴漲至130億美元；同賽道的Fireworks七個月內估值翻四倍，達到175億美元，年化營收突破10億美元。最近，開源推理引擎“雙子星”vLLM和SGLang先後宣佈商業化，種子輪融資均超過1億美元，背後聚齊了AI產業幾乎所有巨頭和頂級風投，預示著強強對決的大幕拉開。

大模型的重心正從訓練轉向推理，這對算力提出完全不同的要求。訓練成本雖高，但任務結束後即告一段落；而推理則不同，無論是Chatbot還是Agent，AI應用越多，GPU需要處理的請求就越頻繁且不間斷，推理需求隨之爆發性增長。RadixArk聯合創始人朱邦華指出，隨著新應用增多，推理總量將遠大於過去，目前市面上幾乎每家都缺卡。對於資金雄厚的巨頭，最直接的辦法是繼續建資料中心、採購更多GPU。Meta、Google、Microsoft等科技巨頭持續提高資本開支，今年合計預計超過1萬億美元；黃仁勳預測，到2030年全球AI基礎設施年投資規模將達到4萬億美元。

但華爾街對此表示擔憂。前微軟能源戰略經理、突破能源科研總監Ethan Xu指出，過去網際網路泡沫破裂時，大量資金投入光纖和網際網路公司，雖長期實現價值，但短期出現嚴重問題。因此，在無法短期內大規模增加算力的情況下，提高GPU利用率成為關鍵，這背後就是AI Infra產業。

GPU利用率問題源於AI系統架構的複雜性。卡內基梅隆大學（CMU）今年4月釋出的研究，對一個大型學術AI叢集中756塊GPU進行了31天細粒度遙測，覆蓋A6000、L40S、A100、H100到B200等六種型號，發現GPU常處於“execution-idle”（執行時空轉）狀態，整體近20%的執行時間和約11%的能耗浪費在等待上。推理場景更為嚴重，Azure Code負載高達65%的能耗消耗在空轉上，OpenAI的Chat類請求也達52%。

AI Infra分為四層：能源基礎設施（電）、計算硬體（GPU、HBM、NVLink等）、系統軟體（CUDA、編譯器、通訊庫等）和服務編排（推理引擎、排程等）。能源和硬體是“硬”問題，改造週期以年計且最佳化空間見頂；系統軟體和服務編排是“軟”問題，本質是工程和演算法問題，最佳化可帶來數倍效能提升。行業注意力正快速向這兩層“軟”問題轉移。RadixArk技術成員陳震林表示，儘管成本主要發生在物理層，但大部分工作應放在軟體層和服務編排，因為人力投入能帶來最大最佳化可能性。

以一台NVIDIA GB200 NVL72機櫃為例，採購成本約400萬美元，若軟體棧排程最佳化不足，GPU實際利用率可能僅50%，相當於浪費200萬美元。若將利用率從50%提升至90%以上，效果等同憑空多出一台機櫃。因此，軟體層最佳化已成為直接商業問題。Anthropic員工中佔比最大的已是AI Infra相關工程師，其推理團隊約200多人，通過最佳化成本和效能，直接助力公司營收在二季度實現盈利。OpenAI、Anthropic和谷歌將AI Infra團隊放在內部，作為競爭壁壘；而較小模型團隊或初創公司則依賴開源框架SGLang與vLLM。

最佳化工作主要圍繞四個問題：哪些計算不用重做、哪些等待可消除、哪些算力未吃滿、哪些資源未協同。vLLM因提出PagedAttention受關注，強調通用推理部署；SGLang則從推理執行流程出發，強調計算複用和系統級最佳化。核心最佳化技術包括KV Cache複用、快取感知排程、淘汰機制和分散式快取感知負載均衡，可顯著減少重複計算和等待。此外，連續批處理（Continuous Batching）能讓GPU吞吐量提升2到4倍，Prefill/Decode分離則將讀入和生成階段拆分到不同GPU，避免互相拖累，DeepSeek已採用此方案。

隨著AI應用深入，GPU利用率最佳化已成為千億級市場，吸引資本和巨頭競逐，未來競爭將更加激烈。