AI熱潮長期以來由標準化硬體驅動，包括強大的GPU、通用CPU以及儘可能多的HBM和DRAM。然而，近期的一系列事件——AMD收購Taalas、Etched完成7億美元融資，以及前沿AI實驗室自研晶片——表明定製硬體在AI未來中的角色可能比最初想象的更為重要。

硬體設計中始終存在效能與靈活性之間的權衡，且這種權衡可能長期存在。例如，通用CPU能執行各種工作負載且效率尚可，但若要並行處理數學或圖形密集型任務，則更專業的晶片（如GPU）更為合適。即便在GPU內部，晶片製造商也會針對其執行的工作負載型別做出決策。AMD認為雙精度64位計算對其HPC客戶至關重要，因此在其即將推出的Instinct MI430X GPU中載入了大量FP64核心；而輝達則預見到AI工作負載對4位至32位精度的需求更大，因此其最新資料中心級GPU的設計也基於此。

隨著AI焦點從訓練轉向推理，晶片設計原則再次被顛覆，迫使大型晶片製造商重新思考其既有假設，也推動大型AI實驗室和雲公司加倍投入自研定製晶片。例如，輝達在2025年12月轉向，斥資200億美元收購了Groq的資產，後者開發了一款名為語言處理單元（LPU）的高速晶片，該晶片大量使用靜態隨機存取儲存器（SRAM）。在3月的會議上，輝達釋出了Groq 3 LPU，該晶片針對極低延遲的token生成進行了最佳化，每秒可生成數千個token，同時悄然從其路線圖中移除了Rubin CPX。

AMD也採取了類似舉措，計劃收購Taalas，該交易於兩週前宣佈。與Groq類似，Taalas的ASIC專為快速生成token而設計。Taalas於2月走出隱身模式，其演示晶片HC1在特定AI模型上每秒可生成16,000個token，比當時最快的晶片快近10倍。但有一個限制：HC1僅支援Meta的Llama 3.1-8B模型。這家總部位於多倫多的晶片製造商通過將Llama 3.1-8B的權重直接硬連線到矽片上實現了這一驚人速度，但這幾乎消除了所有可程式設計性，並迫使Taalas調整硬體以適應新軟體或軟體變化，從而降低了對市場變化的響應速度。這種靈活性的降低是獲得速度的代價。

目前尚不清楚AMD對Taalas晶片的具體規劃。該交易條款未披露，且尚未完成。但已知AMD計劃將Taalas ASIC與其Epyc CPU和Instinct GPU結合，整合到上月釋出的新款Helios機架中。或許AMD能通過利用ROCm.ai中新宣佈的AI功能，更輕鬆地將Taalas整合到其ROCm軟體棧中。

與此同時，初創公司Etched也在採取類似方法開發定製硬體。其旗艦晶片Sohu是一款專為執行Transformer模型而設計的ASIC，可執行多種Transformer模型，不像Taalas晶片那樣僅限於Llama，但無法執行其他型別的AI模型，如卷積神經網路（CNN）、長短期記憶（LSTM）模型和迴圈神經網路（RNN）。通過將硬體專用於特定工作負載並剝離所有多餘部分，Etched得以從ASIC中獲得巨大效能提升。該公司聲稱，其Sohu晶片在Llama 70B上每秒可生成500,000個token，是八塊H100 GPU系統吞吐量的20倍。

Etched今日宣佈已籌集7億美元資金，估值達210億美元。本輪融資由Jane Street領投，其他投資者參投。Jane Street不僅是投資者，也是客戶，已在生產環境中執行Etched叢集。Etched表示，其來自公共和私營前沿AI公司及雲廠商的訂單總額已達10億美元。

Etched還宣佈將進一步向上層堆疊創新。該公司開發了所謂的低電壓推理（LVI）技術，通過在AI推理期間降低數學核心的時脈頻率來提高叢集的整體效率和密度。此外，它還推出了叢集規模記憶體（CSM），這是一種“混合記憶體子系統，可在整個叢集而非單個晶片上建立大規模共享記憶體池”。

當然，AI堆疊上下仍存在尚未解決的技術挑戰。例如，我們仍在等待輝達開始出貨BlueField4 DPU，這是其CMX架構的最後關鍵元件，該架構旨在解決KV快取瓶頸。即便擁有最快的處理器，這些挑戰也需逐一克服。定製AI晶片的興起，標誌著AI硬體領域正從通用走向專用，這一趨勢可能重塑整個AI產業的算力格局。