#推理引擎
1 posts · All tags
verl 最有工程含量的部分：生成为什么单独用 vLLM/SGLang，BaseRollout 的 resume/generate/release/update_weights 生命周期，以及训练后新权重如何经 ShardingManager 重分片同步回推理引擎、显存如何错峰。
1 posts · All tags
verl 最有工程含量的部分：生成为什么单独用 vLLM/SGLang，BaseRollout 的 resume/generate/release/update_weights 生命周期，以及训练后新权重如何经 ShardingManager 重分片同步回推理引擎、显存如何错峰。