美國新實驗室 Reflection 在 Hugging Face 上釋出了其首個模型 Beam，並採用 Apache 2.0 開源許可。該模型為文本輸入輸出，總引數 501B，採用混合專家（MoE）架構，每個 token 僅啟用約 23B 引數，上下文視窗達 100 萬 token，主要面向程式設計與智慧體（agentic）任務。Reflection 將其定位為「希望在自己硬體、基礎設施或雲上執行前沿級模型並做定製」的團隊。
從架構看，Beam 的解碼器有 52 層，隱藏維度 5,120。多數層使用滑動視窗注意力，只關注前 512 個 token；每第六層和最後一層做全上下文注意力，因此共有 43 個滑動視窗層和 9 個全域性層。滑動視窗層用 RoPE 編碼位置，全域性層則不使用位置編碼，而是對每個 query 乘以一個隨可見 token 數緩慢增長的縮放因子，官方稱之為「可擴充套件 softmax 查詢縮放」，目的是在上下文拉長時保持 softmax 精度。注意力採用分組查詢注意力，48 個 query 頭、8 個 key-value 頭，並在 query 和 key 上使用 RMSNorm。
MoE 部分，前 3 層為稠密 SwiGLU MLP，其餘 49 層替換為含 256 個專家的 MoE 塊，每個專家是中間維度 2,560 的 SwiGLU MLP，約 3,900 萬引數。專家合計佔模型引數的 98.4%。路由沿用 DeepSeek-V3 的分組受限方案：對 256 個專家做 sigmoid 打分，分成 8 組每組 32 個，保留得分最高的 4 組，再從中選前 8 個專家，每個 token 只跑這 8 個專家。與 DeepSeek-V3 不同，Beam 沒有共享專家。專家輸出按歸一化路由權重加權後乘以 2.5。由於全部 256 個專家常駐記憶體，部署時需要 501B 模型級別的視訊記憶體，但執行速度接近 23B 模型。
權重格式方面，BF16 檢查點以 safetensors 格式儲存約 1 TB；NVFP4 檢查點面向 NVIDIA Blackwell GPU，大部分引數以 4 位精度儲存，部分引數保留 BF16 以維持精度；Hub 上還有適合 Hopper 和 Ampere 系列晶片的 FP8 檢查點。
Beam 在殘差連線上做了獨特設計。標準 Transformer 以權重 1 將每個子層輸出累加到殘差流，導致流隨深度增長；Beam 把輸入嵌入計為第 1 步，在第 k 步以 1/sqrt(k) 的權重加入子層輸出，同時以 sqrt((k-1)/k) 保留原有流，兩者平方和為 1，使殘差流從首層到末層保持恆定尺度。全部 104 次加法完成後，每個子層輸出與輸入嵌入在最終隱藏狀態中權重相同。每個子層前後都做歸一化，最終 logits 經過 ±30 的 tanh softcap，並在 FP32 下計算。
推理與後訓練方面，Beam 自帶一個基於 Rust 的開源推理框架，官方稱其能發揮模型最佳效能。模型提供原生 transformers 實現，並獲 vLLM 和 SGLang 首日支援。Reflection 與 Hugging Face 合作提供了推理、監督微調（SFT）和強化學習（RL）配方，其中全引數 RL 使用 Miles。模型支援跨輪次保留推理內容（preserve_thinking），並配有專用語法的工具呼叫。推理強度分五檔：low、medium（預設）、high、xhigh、max。此外還提供基於 DFlash2 的投機解碼草稿模型。
為鼓勵社群使用，Reflection 將向基於 Beam 的優秀專案發放 1 萬美元 Hub 額度。參與者可在 Hub 上分享演示、量化版本、合成數據集、RL 環境或基準測試結果，只需將 Space、模型或資料集倉庫連結分享到模型頁面即可參與評選。
對 AI 產業而言，Beam 的意義在於把「前沿規模」與「可自持」兩個屬性結合：企業若對資料主權、推理成本或定製化有要求，可在自有基礎設施上部署並做後訓練，而不必完全依賴閉源 API。Apache 2.0 許可也降低了商用與二次分發的法律門檻。不過，501B 總引數意味著視訊記憶體門檻不低，實際部署仍需要相當規模的 GPU 資源，這在一定程度上限制了能真正「自己擁有」的團隊範圍。開源模型與閉源前沿模型之間的能力差距、以及社群能否圍繞 Beam 形成活躍的微調與工具生態，將是後續觀察重點。