#大模型
2 posts · All tags
一张面向 2024–2026 的大模型框架地图：训练（Megatron-Core / DeepSpeed / FSDP2）、微调（LLaMA-Factory / Unsloth）、RLHF 后训练（veRL / OpenRLHF / Slime）、推理（vLLM / SGLang / TensorRT-LLM / llama.cpp）四大赛道的核心技术、横向对比与选型建议。
以 DeepSeek-V3 的真实 Megatron 训练脚本为样本，把每个训练参数对回背后的原理：MLA、细粒度 MoE、MTP、EP+ZeRO-3 的并行哲学；并横向对比 Qwen3-235B（两种 MoE 路线）、给出主流百亿/万亿模型并行地图，以及预训练→SFT→RL 的完整训练链路。