騰訊雲於7月30日正式釋出智慧資料湖計算平台AI DLC,旨在為自動駕駛、具身智慧、Agent等AI場景提供從資料處理到Agent應用的一體化能力。該平台的核心突破在於將傳統上分離的資料處理與AI訓練推理環節整合到同一平台,大幅壓縮了從資料到Agent的鏈路。

長期以來,企業開發AI應用通常需要先用Spark完成資料清洗和加工,再將結果寫入儲存,由AI團隊通過Ray等框架完成訓練和推理。不同環節執行在不同平台,資料需要反覆搬運,許可權、後設資料和算力資源也要分別管理。AI DLC實現了Spark與Ray在同一平台執行:Spark負責大規模資料處理和特徵準備,Ray承接多模態資料處理、模型訓練、線上推理和Agent任務。兩套框架共享資料、算力和許可權體系,資料處理完成後即可直接進入訓練和推理,無需跨平台搬運。據騰訊雲介紹,這是業內首個在同一平台提供生產級Spark與Ray全託管服務的計算平台。

在算力層面,AI DLC採用Serverless架構,算力可按任務秒級彈性伸縮、按使用時長計費,企業無需預留和運維固定叢集。平台將CPU、GPU、TPU等異構資源納入統一資源池,根據任務動態排程,任務結束後資源可自動釋放並分配給其他作業,減少固定叢集長期閒置。平台整體資源利用率可提升數倍,並已適配國產主流GPU晶片,幫助企業在自主可控的算力底座上執行AI負載。

為進一步提升計算效率,AI DLC搭載了騰訊雲自研的向量化計算引擎Meson和多模態計算引擎Xpark。Meson相容Spark API、SQL語法及生態元件,在標準測試中查詢效能提升3.6倍,部分複雜查詢最高加速5倍,CPU使用率下降近一半。Xpark面向文件、圖片和音影片等多模態資料,提供50多種多模態和大模型運算元,相比開源方案推理吞吐提升3倍,GPU利用率可長期接近100%

AI DLC還面向Agent進行了升級。Agent執行產生的軌跡、記憶和反饋可沉澱至資料湖,經過處理和後訓練後持續反哺Agent;平台同時通過MCP、Skills和Open API開放能力,讓WorkBuddy、CodeBuddy等Agent直接呼叫資料處理、訓練和分析能力。這一模式已在騰訊內部得到驗證:以騰訊自研的WorkBuddy為例,接入AI DLC後,其處理同一批資料的端到端時間縮短80%,完成相同任務所需算力約為此前的五分之一。WorkBuddy執行過程中持續產生對話、文件和使用者反饋等資料,部分單欄位達到GB級,資料量月增速超過100%。接入AI DLC後,這些資料可直接完成清洗、特徵提取、模型後訓練和評估迴流,形成可複用的資料與訓練流水線。

在自動駕駛場景中,博世測試車輛每天產生大量影片和感測器資料,抽幀和清洗主要消耗CPU,資料脫敏、模型訓練與推理則依賴GPU。通過博世ARENA統一管控平台,博世將資料處理、推理和部分訓練任務納入統一排程。目前,其平台已沉澱200多個推理模板,每天處理上萬個推理任務,持續提升自動駕駛資料閉環效率。

隨著企業AI應用從模型走向Agent,資料平台也正從支撐資料分析升級為支撐Agent持續執行和迭代。在AI DLC之外,騰訊雲已圍繞Agent-Ready構建了覆蓋基礎引擎、統一控制面和上層Data Agent的完整資料平台能力,助力企業加快資料資產向智慧應用轉化。