腾讯云于7月30日正式发布智能数据湖计算平台AI DLC,旨在为自动驾驶、具身智能、Agent等AI场景提供从数据处理到Agent应用的一体化能力。该平台的核心突破在于将传统上分离的数据处理与AI训练推理环节整合到同一平台,大幅压缩了从数据到Agent的链路。
长期以来,企业开发AI应用通常需要先用Spark完成数据清洗和加工,再将结果写入存储,由AI团队通过Ray等框架完成训练和推理。不同环节运行在不同平台,数据需要反复搬运,权限、元数据和算力资源也要分别管理。AI DLC实现了Spark与Ray在同一平台运行:Spark负责大规模数据处理和特征准备,Ray承接多模态数据处理、模型训练、在线推理和Agent任务。两套框架共享数据、算力和权限体系,数据处理完成后即可直接进入训练和推理,无需跨平台搬运。据腾讯云介绍,这是业内首个在同一平台提供生产级Spark与Ray全托管服务的计算平台。
在算力层面,AI DLC采用Serverless架构,算力可按任务秒级弹性伸缩、按使用时长计费,企业无需预留和运维固定集群。平台将CPU、GPU、TPU等异构资源纳入统一资源池,根据任务动态调度,任务结束后资源可自动释放并分配给其他作业,减少固定集群长期闲置。平台整体资源利用率可提升数倍,并已适配国产主流GPU芯片,帮助企业在自主可控的算力底座上运行AI负载。
为进一步提升计算效率,AI DLC搭载了腾讯云自研的向量化计算引擎Meson和多模态计算引擎Xpark。Meson兼容Spark API、SQL语法及生态组件,在标准测试中查询性能提升3.6倍,部分复杂查询最高加速5倍,CPU使用率下降近一半。Xpark面向文档、图片和音视频等多模态数据,提供50多种多模态和大模型算子,相比开源方案推理吞吐提升3倍,GPU利用率可长期接近100%。
AI DLC还面向Agent进行了升级。Agent运行产生的轨迹、记忆和反馈可沉淀至数据湖,经过处理和后训练后持续反哺Agent;平台同时通过MCP、Skills和Open API开放能力,让WorkBuddy、CodeBuddy等Agent直接调用数据处理、训练和分析能力。这一模式已在腾讯内部得到验证:以腾讯自研的WorkBuddy为例,接入AI DLC后,其处理同一批数据的端到端时间缩短80%,完成相同任务所需算力约为此前的五分之一。WorkBuddy运行过程中持续产生对话、文档和用户反馈等数据,部分单字段达到GB级,数据量月增速超过100%。接入AI DLC后,这些数据可直接完成清洗、特征提取、模型后训练和评估回流,形成可复用的数据与训练流水线。
在自动驾驶场景中,博世测试车辆每天产生大量视频和传感器数据,抽帧和清洗主要消耗CPU,数据脱敏、模型训练与推理则依赖GPU。通过博世ARENA统一管控平台,博世将数据处理、推理和部分训练任务纳入统一调度。目前,其平台已沉淀200多个推理模板,每天处理上万个推理任务,持续提升自动驾驶数据闭环效率。
随着企业AI应用从模型走向Agent,数据平台也正从支撑数据分析升级为支撑Agent持续运行和迭代。在AI DLC之外,腾讯云已围绕Agent-Ready构建了覆盖基础引擎、统一控制面和上层Data Agent的完整数据平台能力,助力企业加快数据资产向智能应用转化。