2026年世界人工智慧大會(WAIC)上,AI產業的焦點正從雲端算力競賽轉向終端智慧硬體的集中爆發。手機、AI PC、人形機器人、智慧座艙、全屋中控等泛終端裝置成為新戰場,AI的落地形態不再侷限於網頁或App的對話視窗,而是進入具備感知、理解、互動和執行能力的真實物理裝置。這一轉變將產業競爭的關鍵推向了底層晶片——能否在低功耗、小型化、低成本約束下實現高效的大模型本地推理,成為決定終端AI體驗的核心。
在這場端側AI浪潮中,聆思科技計劃於今年年底釋出Nebula系列端側大模型AI推理晶片,瞄準的正是終端智慧硬體爆發背後的底層算力需求。該公司市場副總裁韓超陽在WAIC期間指出,當前端側大模型AI推理的最大瓶頸在於,專為大模型推理演算法原生設計的端側AI晶片仍然稀缺。傳統端側晶片多面向語音喚醒、影像識別等任務,面對Transformer類生成式大模型時,在推理時延、頻寬、功耗控制等方面存在侷限。
Nebula系列晶片的設計思路是面向Transformer類大模型推理原生設計AI NPU,從大模型演算法特性反向定義計算架構。據聆思披露,該晶片預計可實現10倍計算加速效能提升,推理速度超過100 tokens/s。這一速度對AI PC、機器人、智慧座艙等場景至關重要——只有達到低延遲、連續生成的響應水平,端側大模型才能從“能跑”變為“好用”。
在記憶體頻寬方面,Nebula採用3D-DRAM堆疊技術,使晶片記憶體頻寬達到傳統LPDDR的5-10倍。這解決了端側裝置無法像雲端那樣無限堆記憶體和散熱的限制,在有限封裝體積內提升資料供給效率。此外,Nebula系列支援搭配不同容量堆疊記憶體,以適配不同規格的模型載入需求,在更高算力場景中還可通過晶片級聯技術實現彈性擴充套件。
聆思的端側晶片路徑並非突然轉向。該公司累計晶片出貨量已超過億顆級別,在語音和視覺兩個方向均有成熟落地:語音方向進入海爾、美的等白電龍頭供應鏈;視覺方向將AI能力帶入掃讀筆、運動相機、智慧門鎖等裝置。韓超陽表示,未來端側小模型感知晶片與大模型認知晶片將協同發展,前者負責低功耗即時感知,後者承擔複雜語義理解和推理決策。
目前,聆思科技已聯合聯想、聆動機器人、海爾、美的、面壁等企業啟動聯合預研,圍繞AI PC、機器人、智慧家庭、智慧座艙四大方向推動端側大模型AI推理晶片的產業化落地。通用人工智慧要真正走出實驗室,不能只靠雲端算力兜底,依託完整的端側推理基礎設施實現本地自主智慧,才是打通落地的關鍵。