書生團隊(InternLM)在 Hugging Face 上釋出了 Intern-MemDec-4B,這是一個專為擴充套件 Intern-S2 骨幹模型而設計的記憶解碼器,旨在為通用科學基礎模型注入 DNA、RNA、蛋白質及生物分子互動等領域的專業知識。該模型並非獨立語言模型,而是作為輔助元件,與 Intern-S2 骨幹並行處理上下文,並通過輕量級 token 級路由器動態融合兩者的預測結果。
在效能評估中,團隊將 Intern-MemDec-4B 與 Intern-S2-Preview-397B 搭配,在 Biology-Instructions 基準的全部 21 項任務上進行了測試。結果顯示,平均得分從 56.92 提升至 60.32,提高了 3.40 分。其中,DNA 增強子活性、RNA 非編碼 RNA 家族、RNA 平均核糖體負載等任務提升顯著,但部分任務如蛋白質穩定性、抗體-抗原相互作用等得分略有下降。技術報告還顯示,在通用和多模態基準上,模型能力與原始骨幹基本持平,表明記憶解碼器在擴充套件領域知識的同時,能較好地保留基礎模型的通用能力。
Intern-MemDec-4B 的核心設計理念是“模組化領域擴充套件”。傳統方法往往需要對整個骨幹模型進行微調,這不僅成本高昂,還可能干擾模型原有的推理、指令遵循、多模態和智慧體能力。而記憶解碼器通過將領域資料中的檢索證據壓縮為可複用的引數化模組,在推理時無需訪問原始檢索庫,即可為骨幹模型提供額外的生物學知識和任務模式。這種“即插即用”的方式,使得模型能夠在不改動骨幹引數的前提下,持續引入新領域的知識。
該模型目前僅覆蓋生物學領域,專注於 DNA 屬性、增強子活性、轉錄因子預測,RNA 修飾、異構體、調控與相互作用,蛋白質功能、溶解度、穩定性、熒光和熱穩定性,以及抗體-抗原等多序列生物分子互動任務。團隊強調,Intern-MemDec-4B 不應被理解為覆蓋所有科學學科的通用記憶,若要擴充套件到其他領域,需要單獨訓練對應的記憶解碼器。
從產業視角看,這一發布為 AI 在生命科學等垂直領域的落地提供了新的思路。通過模組化記憶擴充套件,科研機構和企業可以更高效地定製基礎模型,而無需承擔全量微調的高昂成本。同時,這也為模型持續學習、適應快速演進的科學知識提供了可行路徑。不過,該模型目前仍處於研究階段,其實際應用效果和泛化能力尚需更多驗證。