NanoRL

一句话定位

一份能在笔记本上跑 CartPole、也能在多机 GPU 集群上跑异步 RLVR 训练的强化学习代码， 总共约 1,800 行、7 个文件，读完它只需一个下午——它是给人读的，不是给人 import 的。

做这个东西的人

alex000kim（GitHub 账号），MIT 许可，2026-08-11 建仓， 风格上明确致敬 Karpathy 的 nanoGPT（"meant to be forked, not imported"）。

判断：这是 nanoGPT 式的"教育优先"项目——作者显然懂生产级 RL 训练（veRL、TRL、 DeepSpeed 那套），但选择反着来：砍掉一切，只留核心，让训练循环可读。 写这样一份代码的人，通常自己先被生产栈的复杂度折磨过。

它到底能做哪几件事

• 四种算法 → REINFORCE、PPO（GAE+critic）、GRPO、RLOO，都在 algos.py 约 90 行里—— 核心更新就一行：loss = -(advantage * logprob).mean()，算法差别只在 advantage 怎么算
• 同步到异步 → --role trainer 和 --role rollout 分开跑，stdlib HTTP 通信； 一个旋钮（max_staleness）同时决定拒绝边界、队列深度、权重快照数
• 不信任别人的 logprob → trainer 自己在采样时用的权重下重算 old_logp， 算不出来的 batch 直接丢弃；这是全项目最有价值的工程判断
• vLLM 生成 + 适配器同步 → rollout 端用 vLLM，生成和评分用不同 batch size （捆绑两者曾导致 6 倍减速），权重同步只传 LoRA 适配器（~170MB 对 16GB）
• 端到端可复现 → SkyPilot 配置即跑：Qwen3-8B + LoRA，8x H100 训练加 8x L40S 生成， 90 分钟 102k 序列

它在替代什么旧行为

做 LLM 强化学习训练，现在的默认姿势是：TRL 或 veRL 加 Ray 加 DeepSpeed，上千个依赖， 文档比代码多，训练循环埋在三层抽象里。想搞明白"GRPO 到底怎么更新的"，你得先读完框架源码。

于是出现了两条分岔：想上生产的团队，被迫接受黑盒框架，出了问题只能当玄学调参； 想学习的个人研究者，面对的是工业级代码库，入门成本高到离谱。

nanoRL 替代的是第二条路的全部负担：1,800 行读得完、跑得起、改得动。 它把"RL 训练"从"必须相信框架"变成"可以验证每一行"。它的价值不是训练出 SOTA， 是让 RL 训练这门手艺可被学习、可被检查——就像 nanoGPT 当年对 GPT 做的事。

商业模式

无。 MIT 开源，无托管、无服务。

判断：教育型基础设施项目，价值在生态地位不在商业。但注意一个信号： 它在端到端结果里暴露了一个真实的训练工程 bug（vLLM 的 logprob 与 HF 不一致会悄悄毁掉训练）， 这类"吃过亏的经验"是它给工业界的内容资产。

硬数字

• 5 star / 0 fork，repo 建于 2026-08-11
• HN：10 分、0 评论
• 代码量：~1,800 行 / 7 文件（algos.py ~90、core.py ~110、utils.py ~170、serve.py ~250、 tasks.py ~310、model.py ~330、train.py ~560）
• 端到端结果（Qwen3-8B + LoRA，Countdown 任务）：held-out 准确率 0.391→0.609（+22pp）， 200 步 / 90 分钟 / 102k 序列；0/1,603 batch 被丢弃
• 关键对照：不重算 old_logp 时，ratio 从 1.006 漂到 1.165，准确率从 0.500 掉到 0.188； 重算后同一模型爬升
• 44 个 CPU-only 测试

四维评估

判断

这是"用极简重写来教育市场"的经典打法，且执行得很干净。 它没有声称能替代 veRL—— 它声称的是"你能读完整份代码、fork 它、改它"。这个定位和 nanoGPT 完全一致： 不是工具，是教科书。

可迁移的规律：当你的领域被"又大又黑"的框架垄断时，写一个可读的最小实现是最强的信任 建立方式。 大框架证明能力，小实现证明理解。而它证明理解的方式非常具体： 公开一个真实踩坑（logprob 不一致会让准确率从 0.500 掉到 0.188），并给出修复。 这是"以教训立信"的范本——比任何 benchmark 都更有说服力。

但它不是产品。 5 star、10 分，没有用户，也没有商业出口。它的读者是"下一个写生产级 RL 框架的人"——如果这些人 fork 了它、学会了、用在了 veRL 的配置里，它的价值才算真正兑现。

教育项目的死法也写在脸上：star 涨上去之后，如果作者不持续维护（新算法、新模型兼容）， 它就变成一份过期的讲义。

下一步看什么

① 有没有人 fork 后在真实生产任务上用它，或公开复现它的端到端数字 ② 作者三个月内是否跟进新算法（比如 DPO/Online-DPO 路线）或修复 issue—— 教育项目的生命力在维护 ③ 它会不会被某个生产框架吸收为教学材料或代码来源（被引用 = 真正的成功）

可借鉴的做法

产品逻辑：如果你的领域存在"难以进入"的复杂技能，用一份可读完的最小实现建立权威， 比写一百篇教程有用。教程是单向的，可读的代码是可以被 fork 的资产。

定价结构：无。

结论

持续观察。 作为教科书它有真实价值，且内容资产（logprob 坑）是工业级经验； 作为产品它没有商业形态。记下来，三个月后看它有没有被 fork、被引用。