據《晚點 LatePost》獨家訊息,字節跳動正在討論訓練一個引數規模超過 5 萬億 的模型,這一規模將超過阿里 Qwen 3.8-Max(2.4 萬億引數)和月之暗面 K3(2.8 萬億引數),成為目前國內已知引數規模最大的模型。不過,該計劃仍處於早期階段,並不代表模型最終一定會發布。
新模型將由 Seed Foundation 負責人 項亮 主導,與大語言模型預訓練資料負責人 沈科 合作。為此,Seed 正在重新梳理組織,劃分職責,分配資源。項亮與沈科均是字節跳動人工智慧及大模型研發體系內的核心骨幹,均出自位元組的“搜廣推”體系。項亮本科畢業於中國科學技術大學,博士就讀於中科院自動化所,2016 年加入位元組,曾負責機器學習中台 AML 團隊,後調任豆包大模型 Foundation 團隊任負責人。沈科 2018 年清華畢業後加入字節跳動,現主要負責 LLM 預訓練資料。
自位元組入局大模型以來,Seed 一直被視為國內最有希望的團隊之一。豆包有今天超過 2 億日活 的使用者體量,很大程度上歸功於 Seed。但今年,質疑聲開始出現。2 月中旬,吳永輝 執掌 Seed 後推出的關鍵模型 Seed 2.0 正式釋出,但市場反響有限。幾乎同一時間,智譜開源的 GLM-5 被市場視為國內第一個能與 Anthropic Opus 系列比肩的模型;7 月,月之暗面的 Kimi K3 釋出,多項第三方評測認為它已接近海外閉源旗艦。多位位元組人士表示,上半年 Seed 許多團隊也在不斷反思,這是位元組討論訓練超 5 萬億引數模型的原因之一——與其在現有尺寸上繼續追趕,不如把引數規模一次推到同行的數倍,爭取領先位置。“像一場賭博。”一位接近 Seed 人士說。
就在兩週前,字節跳動創始人 張一鳴 與 Seed 負責人吳永輝共同召開了一場 Seed 全員會。久未露面的張一鳴表達了對 Seed 的支援。他在會上安撫成員,認為訓大模型本就是很難的事,團隊不必過度焦慮,明確一段時間內可接受模型落後於行業,希望大家以追求智慧上限為目標,期待 Seed 模型能力能躋身世界第一梯隊。他認可程式設計(Coding)是當前的關鍵方向,因此要把火山引擎、飛書和豆包的資源整合到一起,以構築算力和資料優勢。但他也提醒,程式設計只是眼下的熱點之一,不應完全被它牽著走,程式設計之外還有更多更大的機會。他還表揚了 Seedance,認為這個模型在市場上很特別,也有領先的技術優勢,相比追隨其它領先模型的既有路線,他更鼓勵 Seed 做出有自己特色的模型。張一鳴還談到了對模型蒸餾的看法,他反對蒸餾,認為蒸餾能在短期內改善模型表現,但本質上仍是在複製 Claude 已有的能力,沿著這條路走最多隻能不斷逼近對方,很難真正實現超越,他希望 Seed 從更底層的維度構建自己在 AGI 上的壁壘。
過去半年,Seed 的多模態模型取得了顯著成績:今年 2 月上線的影片生成模型 Seedance 2.0 和圖片生成模型 Seedream 5.0 Lite 聲量一度超過業內其他同類模型,迅速引發關注。Seedance 2.0 成為火山引擎 MaaS 業務營收的基本盤。同期釋出的語言模型 Seed 2.0 市場反響卻較為有限。它一度因較好承接春節期間湧入的 C 端需求在內部獲得好評,但春節大戰中,Anthropic 憑藉 Opus 系列的 Coding 能力迅速開啟程式設計師和 B 端市場,ARR 很快逼近並反超 OpenAI。中國大廠這才意識到自己錯過了 Coding 的視窗期,與此同時 GLM-5 和 Kimi K2.5 的 Coding 能力也已明顯領先。
模型能力的落後影響到了收入端。據我們瞭解,火山引擎目前是國內最大的模型 API 賣家,市場份額約佔一半。火山引擎 2025 年的收入在 150 億元 左右,今年內部定下的目標是超 400 億元。目標雖大,但並非沒有隱憂。多位接近火山引擎人士稱,豆包大模型的 token 消耗中,超過一半來自 Seedance 和 Seedream 兩個多模態生成模型系列,語言模型佔比不高。二季度以來,隨著短劇行業增長見頂、經濟大環境變化,Seedance 的 token 消耗和收入增速放緩,影響了火山 MaaS 的整體 token 增長——豆包大模型的 token 消耗,3 月為 120 萬億,6 月為 180 萬億,低於原計劃的 250 萬億至 300 萬億目標。智譜和月之暗面憑藉持續提升的 Coding 能力,ARR 分別突破 10 億美元 和 3 億美元。
為補課 Coding 能力,張一鳴親自邀請,高薪吸引 DeepSeek 核心研究員 郭達雅 加入 Seed,負責模型 Coding 能力的專項訓練。位元組將 Coding 相關的研發資源收攏整合,統一劃歸給郭達雅。同期阿里千問基模團隊也投入更多資源和人力專攻 Coding 訓練。訓練好的模型更重要的是資料,大公司可以憑藉推動內部業務線使用自研模型做開發,形成真實場景反饋資料,但僅有這些還不夠。Seed 內部曾激烈討論過蒸餾路線的可行性,位元組高層則擔心蒸餾對 Seed 和技術帶來的危害。據 The Information,張一鳴在 Seed 的全員會上明確表示,即使不蒸餾意味著公司在技術上會短暫落後國內競爭對手,也不會採用這一捷徑來推進其 AI 模型能力。
8 月 6 日,字節跳動舉行公司全員會,豆包負責人 趙祺 在會上稱,大模型的市場潛力很大,因此不擔心經濟回報,但收入還是重要的。在模型研發上,位元組擁有國內最充足的算力儲備、業內領先的基礎設施能力和高密度的人才隊伍,這些構成了它的底氣。Seedance 的成功也讓位元組看到,模型能力一旦領先便能迅速轉化為商業護城河。一位位元組人士說,Seedance 證明使用者會自然流向能力最強的產品,只要能在關鍵節點做到行業第一,就有機會快速搶佔市場,因此不必過度焦慮於短期的排名落後。
位元組自成立以來一直推崇“大力出奇跡”:進入一個領域時,通常會成立不止一個團隊,投入大量資源,同時推進多個專案。2012 年,字節跳動剛成立時上架了 13 個應用,最後內涵段子、今日頭條獲得大量使用者,推動整個公司增長。2015 年開始,字節跳動陸續推出 20 多個應用進入海外市場;2016 年用“火山”、“抖音”、“西瓜”三路齊下短影片,最後收穫了今日頭條後的增長曲線——抖音及 TikTok。後來的遊戲和教育業務也延續了這個模式。在 AI 上,位元組也是投入最堅決的一家公司,資本開支最大、擁有最多的卡、招聘了最多的頂尖人才,窮盡所有業務方向。
2025 年,影片生成領域的主流判斷是沿傳統 DiT 架構繼續擴大預訓練提升空間已經不大,多數團隊把重心轉向後訓練。據我們瞭解,快手可靈也曾嘗試訓練更大的模型,但沒有做到極致,中途退了回去。Seedance 選擇反著來,決定投入更多資金和算力把預訓練做到極致。經過近一年最佳化,Seedance 2.0 成為第一個完整採用 MoE 架構的影片生成模型,引數 2000 億。2026 年 2 月上線後,它迅速被公認為全球效能最強的影片模型。
今天,做大模型尺寸成為行業共識:7 月,月之暗面釋出了 2.8 萬億引數的 Kimi K3,是國內迄今最大的開源模型;馬斯克的 xAI 把 Grok 底座從 5000 億引數擴到 1.5 萬億,並稱下一代要做到 6 萬億;OpenAI 與 Anthropic 也曾傳出要訓練更大尺寸的模型。在語言模型上落後的位元組,想用同樣的方式賭一把彎道超車。
這不是件容易的事。影片模型整體所需的資源不算多,比如對推理晶片的要求低、研發人力也更便宜——Seedance 核心演算法成員僅十餘人。但更大引數的語言模型除了演算法層面的創新之外,團隊還要面臨處理完全不同量級的系統工程、更大量更多樣的資料,以及組織各個部門之間深度配合。不過變化正在發生,位元組高層在 Seed 內部極力推動取消賽馬機制,收攏在同一個方向上的資源,即使工作上有重合的地方也盡力明確劃分職責。Seed 也嘗試打破部門牆,讓不同部門之間的人合作起來。一位曾在 Seed 的人士提到:“位元組的文化可能不適合創新,但非常擅於解題。”Seedance 解開了第一道題,位元組現在想用同樣的方法解下一道。