博客

Puro-2B：普通实验室也能做预训练？

在RTX 5090上用5090美元平替Qwen2-1.5B！

在 RTX 5090 上，我们以约 4400 美元的预训练算力成本（不到 5090 美元），让 Puro-2B 在 15 项任务的平均分上达到 Qwen2-1.5B 水平。本文介绍硬件、FP8、优化器与数据配方，并提供复现实验所需的代码、数据、训练配置与模型权重。