#RLHF
2 posts · All tags
一张面向 2024–2026 的大模型框架地图：训练（Megatron-Core / DeepSpeed / FSDP2）、微调（LLaMA-Factory / Unsloth）、RLHF 后训练（veRL / OpenRLHF / Slime）、推理（vLLM / SGLang / TensorRT-LLM / llama.cpp）四大赛道的核心技术、横向对比与选型建议。
verl 是什么、解决什么问题、核心概念有哪些、一次 RL 训练的数据流长什么样。本系列第 1 篇建立对 HybridFlow、single-controller/multi-controller、DataProto 与 WorkerGroup 的整体认知。