加入 Reflection 满一年了 - 对我而言,这是一个意义非凡的里程碑。

没有什么比发布模型更适合庆祝这一时刻了:我们刚刚发布了第一代模型,Beam。

一年前,在公司转型构建开源前沿模型之后,我作为第一位员工加入 Reflection,同时也是公司的第一位中国员工。

过去这一年里都发生了什么?

从零构建:基础设施、科学与规模化

我加入的是 Reflection 的 Infra 团队,最初负责 RL Infra,随后全面转向 Pre-training Infra - 在这里,我得以将自己在大规模系统上的积累付诸实践,并实现了更大的突破。

现在回想起来,我依然能感受到几乎一切从零搭起时的那份兴奋。

刚起步时,我们连保障任务的基本稳定运行都很困难。在 H100 上跑一个 1k GPU 的任务需要人全天候盯守(constant babysitting),却依然频繁崩溃。为了从最初的状态走向训练前沿模型,我们亲手铺下了底座的每一块砖:

  • 组建 Kubernetes 团队,搭建集群基础底座。
  • 从零设计并实现容错机制与可观测性系统,让脆弱的训练任务具备自愈能力。
  • 大规模落地 GB300,并持续迭代、提升 MFU 与有效吞吐(goodput)。

但这段旅程真正难得的地方,并不仅仅是扩展集群规模 - 而是能与一支知识渊博、自驱力极强的团队并肩作战,完整参与一个语言模型从无到有诞生的全过程。

随着算力从几张 H100 扩展至大规模 GB300 集群,我也参与到模型从 Dense 架构向大规模 MoE 演进的讨论与迭代中,亲身经历了科学如何规模化(science scales up) - 从小规模实验一步步走向大规模训练任务。因为来自 Infra、Pre-training 和 RL 团队的同事都非常开放且乐于分享,这些技术决策从未在孤立的团队边界内产生。每一次架构取舍,都是在模型质量、预训练效率与下游推理(inference)之间寻找平衡 - 因为推理速度不仅直接决定了 RL 采样(rollouts)的效率,也决定了模型在真实在线服务(serving)中的实用性。先后深入过 RL 与 Pre-training Infra 之后,看到所有环节在模型的完整生命周期中紧密衔接,是一件极具成就感的事。

直到今天,每次启动大规模训练(big run)时,我依然能感受到那份激动。而在这一轮又一轮的训练之中,Beam 诞生了。(其实今年 9 月我就已经满一年了,这篇回顾拖了很久 - 原本想等模型发布再写,后来又一直太忙,直到现在才抽出空来。)

为什么开放获取至关重要:智能与民主

在一线经历了一整年,亲眼见证训练一个前沿模型需要投入多少算力、系统工程与科学严谨性之后,我对公司使命的信念比以往任何时候都更加坚定。

前沿 AI 正迅速成为人类思考、创造与生产力的基础底座。当构建这类模型的门槛飙升至数千张新一代 GPU 与高度专业化的科学积累时,一个非常现实的风险摆在眼前:前沿智能很可能被锁进少数科技巨头掌控的闭源 API 背后。

如果少数几家公司就能决定谁有资格获取智能、哪些问题被允许提出、甚至思考本身需要支付多少成本,这便不再只是商业上的市场垄断 - 而是对民主本身的威胁。

开放获取(Open access)从根本上关乎民主与平等权利(equal access)。 AI 时代的民主未来,要求智能的权重、能力与基础模块对所有人保持开放 - 无论是世界各地的独立开发者、高校学者、初创团队,还是每一个普通个体 - 都无需向守门人申请许可。人们应当拥有审视、定制并在前沿模型之上自由构建的权利。

但仅有信念远远不够。使命需要速度来支撑。 只有当开源模型能够在最前沿与闭源模型同台竞技时,开源才能真正成为制衡闭源垄断的力量。如果开源模型落后一代,所谓的“民主化”就会沦为空洞的承诺。正是这种紧迫感 - 使命与速度的结合 - 驱动着我们全力压榨 MFU、争分夺秒点亮 GB300 等新硬件,也让我对 Reflection 和我们正在构建的事业始终怀有深厚的羁绊。

团队与个人成长

回看这一年,若没有身边的这群人,这样的速度与规模根本无从谈起。Reflection 对我而言之所以特别,源于同事们身上极为难得的特质组合:

  • 知识深厚,且真诚友善: 身边尽是顶尖的研究员与工程师,对各自领域有着深刻的理解,却毫无架子。无论是耐心讲解某个模型细节、一起排查棘手的系统问题,还是跨团队分享来之不易的经验直觉,大家都倾囊相授。
  • 自驱力强,且行动迅速: 团队里的每个人都拥有相同的价值观与紧迫感。决策不会停滞在冗长的会议里 - 发现瓶颈时,我们快速对齐、动手解决并迅速上线。在这样快节奏的环境中,与一群如此投入的人共事是极具感染力的,它会自然而然地推着你不断拉高自己的标准。

与这支团队和一家高速发展的公司共同成长,并从零构建起诸多关键模块,是一段无比充实的经历。过去这一年里,我的成长也超出了最初的预期:

  • 在知识体系上: 打通了纯粹的大规模基础设施与前沿模型研发之间的边界。除了知道如何让数千张 GPU 高效稳定运转之外,我对模型架构、大规模预训练以及强化学习都有了深入得多的理解 - 真正看清了系统、科学、训练与推理是如何作为一个完整的闭环咬合运转的。
  • 在心态与思维上: 在高速运转的初创环境中,我学会了始终从公司的使命(mission)出发去思考问题 - 做好极致的优先级取舍(prioritization),聚焦真正能带来质变的核心事项,统筹复杂的大规模训练(big runs),推动跨团队与全公司层面的对齐和协作,并端到端地对结果负责。
  • 在 AI 的使用上: 作为每天都在构建模型的人,我自己与 AI 协作的工作流也彻底换了一个档位 - 从每天高效提交几十个 PR、辅助管理日常任务与沟通,到在睡前拉起夜间自主研究(overnight autonomous research)探索新方向。

入职一周年,我们的第一个模型已经走向世界。感恩团队、使命与这段旅程 - 奔向下一场训练。