OpenAI於8月13日推出名為Ultrafast的新模式預覽版,宣稱能讓其最新旗艦模型GPT-5.6 Sol以標準處理14倍的速度執行,每秒可輸出多達750個token。這一舉措被視為OpenAI在競爭激烈的AI市場中,為吸引企業客戶而打出的速度牌。
據OpenAI官方部落格介紹,Ultrafast模式旨在解決大模型推理速度的瓶頸。過去,要實現即時響應通常需要選用較小或更專業的模型,而Ultrafast則代表了“每秒更有用的工作”這一新方向。該模式由晶片製造商Cerebras提供算力支援,目前僅向一小部分客戶開放預覽,OpenAI表示將隨著“容量增長”逐步擴大使用範圍。
OpenAI建議,這一高速版本可部署於多種企業工作流,包括事件響應、客戶服務與支援、金融市場分析以及電子商務等領域。這些場景的共同點在於對低延遲和高吞吐量的需求,Ultrafast的推出可能顯著提升AI在這些任務中的實用性和響應速度。
值得注意的是,競爭對手Anthropic也已推出Claude的快速模式,但據稱其速度不及OpenAI此次提供的水平。這表明,在模型能力趨同的背景下,推理速度正成為新的競爭焦點。
對於AI產業而言,Ultrafast的出現可能意味著兩方面的訊號:其一,企業級AI應用將更依賴即時互動,速度提升有助於拓展AI在金融交易、應急響應等時效性敏感場景的落地;其二,Cerebras等專用晶片廠商在推理環節的價值凸顯,可能改變算力市場的競爭格局,對輝達等傳統GPU巨頭構成潛在挑戰。
不過,目前Ultrafast仍處於預覽階段,實際效能和企業採用效果尚待驗證。OpenAI未透露該模式的定價或商業化時間表,但明確表示將逐步擴大訪問許可權。