Puro-2B：普通实验室也能做预训练？

普通实验室想从小模型实验走向十亿参数、万亿 token 的预训练，需要多少算力预算？

这类模型已被广泛使用，例如 Qwen2-1.5B、Qwen2.5-1.5B 和 Qwen3-1.7B。Qwen 系列公开了权重，但没有完整公开预训练配方。OLMo、SmolLM 等进一步公开了数据和训练细节，复现成本却依然很高：据估计，即使在十亿级参数规模，复现 OLMoE-1B/7B 和 SmolLM3-3B 也分别需要约 20 万美元和 71.9 万美元的算力成本。 ^{1, 2}

对于普通实验室，知道“怎么训”还不够，还得真正“训得起”。我们需要一套低成本、可复现的“穷人版”预训练方案。

Puro-2B：全流程开源的“穷人版”预训练方案

为此，我们推出 Puro-2B（普罗-2B），并公开了训练数据、训练框架、训练配置和模型权重。

放大查看 ⤢论文原图 ↗

我们在消费级显卡 RTX 5090 的计算集群上，从头训练了约 20 亿参数的模型。我们尝试了不同的训练规模，最多使用了 1.4 万亿 token。依据我们的配方，用 4400 美元的预训练计算成本，便能在 15 项任务的平均性能上达到 Qwen2-1.5B 水平（还没花到 5090，标题先借显卡型号玩个梗）。采用更完整训练配方的实验，使用约 6900 美元的成本，平均性能可以接近 Qwen2.5-1.5B。相比其他开源方案，Puro-2B 显著降低了训练成本。

论文：arXiv:2608.27370
开源仓库：Puro-Megatron
模型与数据合集：Puro-2B on Hugging Face

↔左右滑动查看全部 15 个模型

放大查看 ⤢论文原图 ↗

预算更少，模型能训到什么水平？我们拟合了一条成本—性能经验曲线（Puro Cost Scaling Law），用来估计不同预算下的模型表现。具体来说，我们从同一个第一阶段检查点出发，在第二阶段将数据随机打乱（Uniform Data，UD），按不同预算完成训练，再拟合平均评测得分与总成本的关系。这条曲线针对 Puro 配方，帮助研究者在正式训练前估计性能、调整方案，而不必先复现最长的训练过程。

放大查看 ⤢论文原图 ↗

我们从硬件选择、低精度训练、优化器改进、高质量数据利用效率和数据选择五个方面入手，降低预训练成本。

硬件2.77×H200 BF16 → RTX 5090 BF16分块 FP81.34×MuonH BF16 → MuonH 分块 FP8MuonH1.19×调参后 Muon → MuonH（均为分块 FP8）阶段 2 / CMA2.40×随机数据排布（UD）→ 完整 CMA 配方

放大查看 ⤢论文原图 ↗

RTX 5090：单位成本，更高算力

我们先从硬件选择开始：同样的预算能买到多少算力？我们按 H200 的租赁报价，以及 RTX 5090 按五年摊销的硬件成本加电费，计算各自的单卡小时成本（RTX 5090 的核算价格与我们了解到的实际市场租赁价格接近）。在这一统计口径下，RTX 5090 每美元可提供的 BF16 峰值计算量约为 H200 的 2.77 倍。它的单卡峰值算力较低，但卡时成本降得更多，所以同样预算能买到更多计算量。除此之外，RTX 5090 这类消费级显卡，也便于普通实验室采购。

放大查看 ⤢论文原图 ↗

优化卡间通信。RTX 5090 只有 32 GB 显存，也没有 NVLink，不能直接照搬数据中心 GPU 的训练配置。我们通过调整驱动和系统配置，在节点内启用 PCIe P2P 通信，将 GPU 间单向带宽从 31.5 GB/s 提升到 56 GB/s，通信延迟从 14.3 µs 降低到 0.4 µs。在节点间，我们启用 GPUDirect RDMA，让 24 卡 AllReduce 总线带宽从 8.87 GB/s 提升到 19.93 GB/s。 ^{3, 4}

平衡计算与显存负载。针对十亿级参数模型和 RTX 5090 的硬件特点，我们结合数据并行与流水线并行，避免通信频繁的张量并行。随后，我们重新分配流水线各阶段的计算量，调整微批次大小，并按显存占用分配优化器状态，平衡不同节点的显存负载。这些调整使综合 MFU 超过 70%，将消费级显卡的价格优势转化为实际训练成本的降低。

有了更划算的算力，接下来我们尝试用 FP8 加快训练。

FP8：加快 RTX 5090 上的训练

RTX 5090 的 Blackwell 架构还为 FP8 训练提供了基础。我们沿用 DeepSeek-V3 的细粒度分块量化思路，将主要线性层的矩阵乘法放在 FP8 路径上，同时让数值敏感操作和训练状态保留 BF16 或 FP32 精度，形成整体 FP8 方案。 ⁵

提速能否抵消精度损失？我们通过五个模型规模的对照实验（Scaling Ladder），比较 FP8 与 BF16 的净效率。FP8 的验证损失高出约 0.003–0.004，差距较小且跨规模稳定。与此同时，在 1.7B 模型上，FP8 的训练吞吐效率提升到 BF16 的 1.36 倍。要判断净收益，还需要扣除 FP8 为达到 BF16 相同损失所需的额外计算量。经过这一质量校正，据估计仍有约 1.34 倍净效率收益。

放大查看 ⤢论文原图 ↗

MuonH：从有效学习率出发设计优化器与调度

精度决定更新的计算方式，优化器和学习率（learning rate，LR）决定更新的方向和步长。我们采用 MuonH：在 Muon 的基础上归一化更新，并在每次更新后将权重投影回固定半径的球面。有效学习率（effective learning rate，ELR）衡量更新量相对于权重尺度的大小。MuonH 同时控制更新范数和权重范数，使它负责的矩阵参数的学习率在数值上等于 ELR（按投影前的更新量计算）。因此，设定这些参数的学习率调度，也就直接设定了 ELR 的变化过程。 ⁶

放大查看 ⤢论文原图 ↗

只对齐 ELR，普通 Muon 能否重现 MuonH 的损失曲线？我们在 170M 参数模型上进行了 BF16 对照实验。这个对照记作 Muon-ELR：不做固定半径的权重投影，让权重范数在训练中自然变化，只动态调整普通学习率，使其 ELR 轨迹与 MuonH 对齐。MuonH 的 ELR 就是为其矩阵参数预设的学习率，因此对齐的目标也是 MuonH 的学习率调度。对齐后，两者的损失曲线几乎重合。这说明，MuonH 在这组实验中的优势不能仅归因于范数约束，有效学习率 ELR 的变化过程是理解超球优化效果的关键。 ^{6, 11}

Muon-ELR：对齐 MuonH 的有效学习率，不做权重投影。

FC2：普通学习率

FC2：权重范数

FC2：更新量范数

FC2：有效学习率

模型验证损失

放大查看 ⤢左图原图 ↗右图原图 ↗

进一步比较发现，当 weight decay 不足以约束权重范数时，普通 Muon 的 ELR 在训练前期下降更快，损失也更早降低。MuonH 的 ELR 衰减更平缓，后期表现更好。因此，我们不再只比较“用哪个优化器”，也开始研究“如何设计有效学习率调度（ELR schedule）”。 ⁷

衰减阶段应该多长？我们使用预热—稳定—衰减（Warmup-Stable-Decay，WSD）学习率调度，比较不同峰值学习率、训练数据量和衰减阶段占比的影响。结果显示，较高的峰值学习率和更长的训练周期，通常更需要较长的衰减过程。这些观察支持在第二阶段采用长线性衰减，为最终的损失收敛留出空间。第一阶段采用 power schedule，则是为了在不预设终点的情况下支持持续训练。 ⁸

左图：峰值 LR 与衰减占比

固定 TPP = 20（11.32B tokens）

peak 0.008peak 0.012peak 0.016peak 0.020peak 0.024

中图：训练长度与衰减占比

固定峰值有效 LR = 0.012

TPP 20TPP 50TPP 100

右图：两阶段学习率

Phase 1 幂律衰减，Phase 2 线性衰减

Phase 1：幂律衰减Phase 2：线性衰减虚线：沿用 Phase 1 调度查看两阶段学习率 →

查看实验设置与结果

示例

峰值有效 LR	TPP	WSD 衰减比例	最终 val loss
0.008	20	20%	2.943
0.008	20	40%	2.931
0.008	20	60%	2.931
0.008	20	80%	2.941
0.008	20	100%	2.959
0.012	20	20%	2.948
0.012	20	40%	2.924
0.012	20	60%	2.917
0.012	20	80%	2.919
0.012	20	100%	2.917
0.012	50	20%	2.841
0.012	50	40%	2.816
0.012	50	60%	2.805
0.012	50	80%	2.803
0.012	50	100%	2.833
0.012	100	20%	2.790
0.012	100	40%	2.765
0.012	100	60%	2.755
0.012	100	80%	2.750
0.012	100	100%	2.751
0.016	20	20%	2.956
0.016	20	40%	2.924
0.016	20	60%	2.911
0.016	20	80%	2.907
0.016	20	100%	2.913
0.020	20	20%	2.970
0.020	20	40%	2.932
0.020	20	60%	2.914
0.020	20	80%	2.906
0.020	20	100%	2.907
0.024	20	20%	2.989
0.024	20	40%	2.946
0.024	20	60%	2.926
0.024	20	80%	2.914
0.024	20	100%	2.910

学习率如何变化？

×

查看左图 · 峰值 LR中图 · 训练长度 TPP右图 · 两阶段调度

WSD（Warmup-Stable-Decay）是“预热—稳定—衰减”学习率调度：先把学习率从 0 升到峰值，保持一段时间，再逐渐降低。我们的实验采用线性衰减。

峰值有效 LR0.0080.0120.0160.0200.024TPP（tokens / parameter）2050100WSD 衰减比例20%40%60%80%100%

不同衰减比例

WSD 衰减比例	最终 val loss

放大查看 ⤢论文原图 ↗

再比较达到相同损失的计算成本。前面的 ELR 对齐实验检验的是，普通 Muon 能否重现 MuonH 的损失曲线。这里比较的是两套训练配方达到相同验证损失各需多少计算量。我们在 0.17B–1.7B 的五组模型规模上进行扩展阶梯（Scaling Ladder）实验，两组都使用分块 FP8。这里的普通 Muon 基线采用按模型规模设定的学习率，并作线性衰减，不是前面逐步调整普通学习率、主动匹配 MuonH ELR 的 Muon-ELR 对照。对这五组实验拟合损失—计算量曲线后，MuonH 方案的训练效率约为调参后 Muon 基线的 1.19 倍。

同等损失，需要多少计算量？

两组均使用分块 FP8。

■ 调参后 Muon● MuonH

验证损失: 2.991

训练计算量 C = 6ND（FLOPs，对数轴）

散点：实验；虚线：拟合

调参后 Muon

2.63e+19 FLOPs

MuonH

2.20e+19 FLOPs

CE = Muon / MuonH

1.19×

CE 怎么算？

L_g(C) = E + A_g (C / C₀)^−α

CE = C_Muon / C_MuonH = (A_Muon / A_MuonH)^1/α

两组共享损失下限 E 和指数 α，使得拟合的 CE 不随 compute 改变。

放大查看 ⤢论文原图 ↗

CMA：让训练后期的高质量数据得到充分利用

除了优化器，数据顺序也会影响训练效率。高质量样本在训练集中占比不高，却很重要，将它们放在训练后段有助于提高利用效率。许多开源数据集提供样本质量分数。我们据此在各数据源内部把高质量样本排到后段，再按训练进度对齐、混合不同来源的数据块。随着训练推进，模型会接触到质量更高的样本，同时，局部训练区间内的数据源配比保持近似稳定，避免质量变化伴随领域比例的突变。

课程数据构造示意

• 源内质量：浅 → 深
• A
• B
• C: 无质量评分

1原始样本

源 A

A4A1A6A2A5A3

源 B

B3B1B2

源 C

C2C3C1

2源内排序

源 A

A1A2A3A4A5A6

源 B

B1B2B3

源 C

C2C3C1

0⅓⅔1

相对 token 进度

3按进度混合

混合 10–⅓

A1C2A2B1

混合 2⅓–⅔

A3C3A4B2

混合 3⅔–1

A5C1A6B3

训练顺序

放大查看 ⤢论文原图 ↗

高质量数据放在训练后段，学习率也需要相应调整。我们此前的研究发现：当训练后期学习率过低时，最后出现的优质数据难以推动参数更新。因此，我们采用课程模型平均（Curriculum Model Averaging，CMA）。我们先在第二阶段按线性衰减方案训练，再从这条轨迹上第 218,000 步保存的检查点恢复训练。续训时，学习率固定为该步的数值，不再衰减，让模型继续学习后续的高质量数据。最后，我们对续训末端六个检查点的对应模型参数求算术平均，用平均后的参数构成最终模型，减小单个检查点波动对结果的影响。 ⁹

预训练模型合并的近期进展还包括 Extra-Merge，它沿合并后的检查点轨迹进行外推，无需额外的梯度更新。 ¹² 本文的 CMA 采用等权检查点平均，不使用外推。

高质量数据与学习率衰减

恒定学习率续训与模型平均

放大查看 ⤢左图原图 ↗右图原图 ↗

数据顺序有多大影响？在相同的数据与学习率衰减设置下，课程排布优于随机排布：CD decay final 的平均分为 57.17，高于 UD decay final 的 55.99。对两条衰减轨迹分别做模型平均后，CD decay avg 为 57.18，也高于 UD decay avg 的 55.57。两组比较分别提高 1.18 和 1.61 个百分点，说明调整数据顺序本身就能带来收益。 ⁹

衰减轨迹上的平均，收益有限。沿学习率衰减轨迹直接做模型平均，UD 的平均分从 55.99 降至 55.57，CD 则从 57.17 变为 57.18。也就是说，保留学习率衰减、只增加末端参数平均，并没有带来明显收益。

恒定学习率续训后，平均更有效。比较 CDC 215k final 与 CMA 215k avg，末端六个检查点的参数平均将分数从 55.64 提高到 56.80。在从第 218,000 步恢复后续训的实验中，参数平均将分数从 57.12 提高到 57.81，分别提升 1.16 和 0.69 个百分点。这两组实验表明，当模型以恒定学习率继续学习后期高质量数据时，模型平均更能发挥作用。最终，我们采用课程数据排布，从第 218,000 步的检查点恢复，以恒定学习率续训，再对续训末端六个检查点的参数求平均，得到 CMA 模型。

↔左右滑动查看完整图表

平均分（%）

UD decay final55.99UD decay avg55.57CD decay final57.17CD decay avg57.18CDC 215k final55.64CMA 215k avg56.80CDC 218k final57.12CMA 218k avg57.81

5458

放大查看 ⤢论文原图 ↗

根据 Puro Cost Scaling Law 的拟合结果，相比于随机数据排布（Uniform Data，UD），课程数据配合学习率衰减的成本效率约为 1.65 倍，完整 CMA 方案则达到约 2.40 倍。

数据评测：通过小规模实验评估与对比数据价值

数据顺序解决后，还要决定选哪些数据。

我们先从各个候选数据源中抽取一部分数据。对于大规模且有质量评分的数据集，分别从不同分数区间抽样。对于其他符合条件的数据源，则随机抽样。随后，针对每份抽样数据，我们从同一个模型检查点出发，在相同配置下继续训练，再用相同的评测比较数学、代码、中文和通用任务的分数。 ¹⁰

这些代理实验既能比较不同数据源，也能揭示同一来源内部的质量差异。在这些实验中，代码得分较高的数据源，往往在通用评测上得分较低。数学得分与通用得分之间的取舍则较弱。因此，我们在第二阶段给数学数据分配略高于代码数据的比例，再结合领域覆盖和质量筛选确定最终配比。小规模实验帮助我们判断保留哪些数据源和分数区间，以及各自分配多少比例。相关数据集评测结果已在报告中公开。

放大查看 ⤢论文原图 ↗

放大查看 ⤢论文原图 ↗

从节省算力，到研究完整的训练过程

在这套方案中，硬件降低每单位计算的价格，FP8 提高训练吞吐量，MuonH 减少达到相同验证损失所需的计算量，CMA 提高训练数据的利用效率，代理评测帮助比较并选择训练数据。这些改进共同组成了我们的低成本训练流程。

控制预训练，再比较后训练结果。如果只有开源权重，研究者很难控制模型此前的预训练过程。使用 Puro-2B，研究者可以在较低预算下修改预训练方案，再采用相同的微调和评测流程，比较这些修改对最终模型的影响。

CMA 的收益能否延续到后训练？我们对 CMA 与 Uniform 两个预训练权重采用相同的微调流程。在两组数学能力的微调实验中，基于 CMA 初始化微调的 GSM8K 准确率分别高出 1.77 和 2.02 个百分点。在 Tulu-3 混合领域微调中，15 项基准平均分提高 1.17 个百分点，IFEval 提高 1.36 个百分点。这三组对照均呈现总体提升，说明 CMA 的收益在这些微调设置下能够延续到后训练。 ⁹

数学与代码微调

混合领域微调

放大查看 ⤢论文原图 ↗

全流程开源

我们公开了最终模型、中间检查点，以及训练数据和训练框架。模型权重与项目代码采用 Apache 2.0 许可，而源数据集仍需遵循各自上游条款。开源材料包括：

• 模型与中间检查点：Puro-2B 开源合集

• 训练数据与配比：Puro-2B Dataset

• 训练代码：Puro-Megatron

• 数据处理代码：Kaiyuan-Spark ¹⁰

其他团队可以用这些材料复现 Puro-2B，也可以在此基础上调整优化器、学习率或数据配方，用相同的评测比较不同方案的训练成本和模型表现。

注：本项目的成本核算针对正式预训练的 GPU 算力成本，不包含数据处理、消融实验、后训练和研发人力等项目总开支。

致谢

感谢李怡康、周文杰、陈诺审阅本文并提出改进意见。感谢衍复投资提供算力支持。

@misc{luo2026puro2bpoorlabsqwen215b,
  title={Puro-2B: Poor Lab's Qwen2-1.5B Trained on RTX 5090 within $5090},
  author={Kairong Luo and Jiarui Cui and Yaorui Yin and Shengqi Chen and Yiming Yang and Linxiang Gao and Yanmohan Wang and Chengxia Li and Mingzhe Zhang and Kaifeng Lyu and Wenguang Chen},
  year={2026},
  eprint={2608.27370},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  url={https://arxiv.org/abs/2608.27370},
}