北京AI公司无涯智远(Norizon AI)11月19日宣布完成数亿元天使轮及天使加轮融资,投资方包括五源资本、红杉中国、联想之星、中关村科学城基金、戈壁创投等,心流资本FlowCapital担任财务顾问。本轮资金将主要用于RSI相关技术研发和产品落地。
无涯智远聚焦实时递归自我改进(Real-Time Recursive Self-Improvement,RSI),目标是让大模型在部署后仍能持续学习并更新自身参数。当前,模型获取新信息主要依赖扩大上下文窗口、检索增强生成(RAG)和外部记忆等方式,但这些方法并未真正将新知识写入模型参数。无涯智远希望借助RSI技术,让模型在实际使用中持续学习,并将新知识沉淀为可反复调用的能力。
为实现这一目标,该公司研发了SHINE超网络技术。超网络是一种能够生成另一个神经网络部分或全部参数的网络,可根据输入信息生成目标模型所需的参数更新。与传统微调需要多轮参数优化不同,SHINE尝试通过一次前向计算完成轻量级参数更新,从而降低模型持续学习的计算开销。无涯智远称,在缓解灾难性遗忘方面,相较于微调对照实验,其超网络方案在新知识学习效果和通用任务表现上均取得更好结果。此外,团队还在研究如何扩大超网络规模、延长单次知识内化长度,并提升模型在数百万tokens连续更新过程中的稳定性。
无涯智远创始人兼首席科学家张牧涵,本科毕业于上海交通大学IEEE试点班,后赴美国圣路易斯华盛顿大学攻读计算机科学博士,师从华盛顿大学终身教授、AAAI及IEEE会士陈一昕。博士毕业后,他加入Facebook AI(现Meta AI)个性化团队,参与面向全球数十亿用户的大规模图机器学习系统研发。2021年,张牧涵回国加入北京大学,担任北京大学人工智能研究院助理教授、博士生导师。
目前,无涯智远团队规模超过20人,成员来自北京大学、清华大学、麻省理工学院等高校,还包括奥赛、ICPC金牌得主,以及来自大厂的后训练和Agent研究人员。团队的研究重点之一,是解决大模型部署后的持续学习问题。
从产业视角看,随着大模型从单次问答走向长期任务执行,如何让模型在部署后持续学习新知识,正成为AI领域新的探索方向。RSI尝试将新知识直接融入模型参数,让模型在使用过程中不断积累经验,这与依赖上下文窗口和外部检索的路径形成差异。无涯智远选择以超网络技术切入,希望降低模型持续学习的成本。不过,从实验走向真实业务应用,模型仍需解决长期更新中的稳定性问题,避免学习新知识时遗忘原有能力。如何让RSI技术真正转化为可靠的产品,仍是无涯智远需要攻克的关键问题。