Molt 以代理为先,并基于 PyTorch。代理就是程序;训练器是一个单一的执行者;奖励是您在…
Molt 是 agent-first 和 PyTorch-native。代理是程序;训练器是一个单个代理;奖励是您在 Env 或 ChatAgent 中编写的任何 Python — 评分器、多回合工具、VLM 环境、LLM-as-judge。三个组件负责其余部分 — Ray 用于放置和异步队列;vLLM 用于展开;NVIDIA AutoModel + FSDP2 用于在纯 PyTorch 中进行训练。这就是整个堆栈: ~9.2K 行的 RL 代码，可在 vLLM 上扩展到 1T 级 MoE，使用 TP / EP / CP — 考虑 DeepSeek-V3 在 --fsdp.ep_size 256 条件下，Adam CPU 卸载，用于最大的代理。一个代理 API，一个可训练的代理，清晰度足以读取端到端。
| 你得到的内容 | 为什么这对研究很重要 | |
|---|---|---|
| Agent-first | 一个与 Gym 相匹配的 API — Env.step() 或 ChatAgent.run() — 适用于评分器、多回合工具、VLM 环境和与 OpenAI/Anthropic 兼容的服务器 |
代理 是 程序 — 在纯 Python 中迭代环境，训练器保持不变 |
| ⚙️ 完全异步运行时 | Ray 分配、异步展开队列、vLLM 引擎、部分展开、权重同步 | 展开、训练和权重同步重叠 — 一个 DeepSeek-V3 级别的代理可以不经过定制基础设施就持续工作 |
| PyTorch 原生、AutoModel-first | FSDP2 + NVIDIA AutoModel，纯 PyTorch 端到端 | 在你已经编写的语言中修改模型；无后端仪式 |
| 单代理的简单性 | 一个代理，可选的 KL 参考 — 整个 RL 环境 |
暂无开放 Issues，或尚未同步最近议题。