Academic homepage of Jian Li — Researcher at Youtu Lab, Tencent. Research on large language models (LLM), multimodal LLMs (MLLM), agents, and reinforcement learning (RL).https://swordlidev.github.io/enhttps://swordlidev.github.io/blog/policy-gradient-notes/https://swordlidev.github.io/blog/policy-gradient-notes/从策略梯度出发，梳理重要性采样、PPO 裁剪目标，以及 token 级与序列级权重带来的方差差异，作为高效策略优化工作的背景笔记。Sun, 18 Oct 2026 00:00:00 GMTRLLLM笔记https://swordlidev.github.io/blog/image-generation-and-rl/https://swordlidev.github.io/blog/image-generation-and-rl/以“优化机制”为主轴梳理用 RL 对齐扩散/Flow 生成模型的技术谱系：扩散与 Flow Matching 的数学基础、为何 ODE 要转 SDE、GRPO 家族（Flow-GRPO/DanceGRPO/G²RPO/GRPO-Guard/Flow-DPPO/Flow-OPD）、DPO 与可微反传，以及 Flow-GRPO 与 LLM-GRPO 的本质区别。Fri, 18 Sep 2026 00:00:00 GMT扩散模型强化学习GRPOFlow Matching生成模型综述https://swordlidev.github.io/blog/hichunk-acl2026-oral/https://swordlidev.github.io/blog/hichunk-acl2026-oral/我在 ACL 2026 的 oral presentation 整理：面向 RAG 的层次化分块框架 HiChunk 与评测基准 HiCBench。逐页给出幻灯片要点，并附上当时的英文演讲稿（讲稿备注）。Tue, 07 Jul 2026 00:00:00 GMTRAGACL 2026HiChunkChunkingLLM演讲https://swordlidev.github.io/blog/verl-06-rl-algorithms/https://swordlidev.github.io/blog/verl-06-rl-algorithms/用 verl 真实代码把 6 个主流 RLHF/RLVR 算法一次讲透：以“算法 = Advantage 估计 × Policy Loss”的统一框架，逐一拆解 PPO、GRPO、Dr.GRPO、GSPO、DAPO、OPD，以及 RLOO/ReMax/REINFORCE++/OPO/GPG 等 Critic-free 变体。Wed, 01 Apr 2026 00:00:00 GMTverl强化学习PPOGRPOGSPODAPO源码解读https://swordlidev.github.io/blog/llm-framework-landscape-2026/https://swordlidev.github.io/blog/llm-framework-landscape-2026/一张面向 2024–2026 的大模型框架地图：训练（Megatron-Core / DeepSpeed / FSDP2）、微调（LLaMA-Factory / Unsloth）、RLHF 后训练（veRL / OpenRLHF / Slime）、推理（vLLM / SGLang / TensorRT-LLM / llama.cpp）四大赛道的核心技术、横向对比与选型建议。Mon, 23 Mar 2026 00:00:00 GMT大模型分布式训练微调RLHF推理框架框架调研https://swordlidev.github.io/blog/verl-05-rollout-hybrid-engine/https://swordlidev.github.io/blog/verl-05-rollout-hybrid-engine/verl 最有工程含量的部分：生成为什么单独用 vLLM/SGLang，BaseRollout 的 resume/generate/release/update_weights 生命周期，以及训练后新权重如何经 ShardingManager 重分片同步回推理引擎、显存如何错峰。Tue, 24 Feb 2026 00:00:00 GMTverlvLLM推理引擎强化学习源码解读https://swordlidev.github.io/blog/verl-04-ppo-grpo-core/https://swordlidev.github.io/blog/verl-04-ppo-grpo-core/把 WorkerGroup、DataProto 串起来读 verl 的“剧本”：RayPPOTrainer.fit() 主循环，以及 core_algos.py 里 GAE 与 GRPO 组内归一化、PPO 裁剪目标、KL 惩罚的具体实现。Wed, 18 Feb 2026 00:00:00 GMTverlPPOGRPO强化学习源码解读https://swordlidev.github.io/blog/verl-03-dataproto/https://swordlidev.github.io/blog/verl-03-dataproto/verl 里贯穿全程的数据总线 DataProto：batch / non_tensor_batch / meta_info 三段式结构，以及 chunk / concat / union / select / repeat 五个核心操作如何支撑分布式分发与 RL 多阶段数据流。Fri, 13 Feb 2026 00:00:00 GMTverl强化学习源码解读LLMhttps://swordlidev.github.io/blog/verl-02-hybridflow-single-controller/https://swordlidev.github.io/blog/verl-02-hybridflow-single-controller/深入 verl 的 single-controller 实现核心：WorkerGroup、@register 装饰器与 Dispatch 分发模式。看它如何把复杂的分布式 RL 数据流封装成 driver 侧几行同步代码。Sun, 08 Feb 2026 00:00:00 GMTverlHybridFlowRay分布式训练源码解读https://swordlidev.github.io/blog/verl-01-architecture/https://swordlidev.github.io/blog/verl-01-architecture/verl 是什么、解决什么问题、核心概念有哪些、一次 RL 训练的数据流长什么样。本系列第 1 篇建立对 HybridFlow、single-controller/multi-controller、DataProto 与 WorkerGroup 的整体认知。Tue, 03 Feb 2026 00:00:00 GMTverl强化学习RLHFHybridFlow源码解读LLMhttps://swordlidev.github.io/blog/deepseek-v3-training-explained/https://swordlidev.github.io/blog/deepseek-v3-training-explained/以 DeepSeek-V3 的真实 Megatron 训练脚本为样本，把每个训练参数对回背后的原理：MLA、细粒度 MoE、MTP、EP+ZeRO-3 的并行哲学；并横向对比 Qwen3-235B（两种 MoE 路线）、给出主流百亿/万亿模型并行地图，以及预训练→SFT→RL 的完整训练链路。Wed, 15 Oct 2025 00:00:00 GMTDeepSeek-V3分布式训练MoEMLAMegatron-LM大模型https://swordlidev.github.io/blog/qwen3-235b-sft-roleplay/https://swordlidev.github.io/blog/qwen3-235b-sft-roleplay/在 64 卡 RoCE 集群上对 Qwen3-235B-A22B（MoE）做角色扮演全参 SFT 的完整复盘：环境、网络、数据、模型、权重转换、训练到踩坑七步链路，附实跑数字与参数。Sun, 05 Oct 2025 00:00:00 GMTQwen3SFT分布式训练MoE角色扮演实战https://swordlidev.github.io/blog/megatron-lm-08-checkpoint-ft/https://swordlidev.github.io/blog/megatron-lm-08-checkpoint-ft/几百卡训几周，硬件一定会出故障。本文讲分布式 Checkpoint 为什么能换并行配置重载（ShardedTensor 的 global_offset）、异步存档、容错（ft_launcher + 心跳 + 分段超时抓“沉默 hang”）与弹性训练的区别，以及落到集群的实战 checklist。Mon, 29 Sep 2025 00:00:00 GMTMegatron-LM分布式训练Checkpoint容错弹性训练https://swordlidev.github.io/blog/megatron-lm-07-perf-tuning/https://swordlidev.github.io/blog/megatron-lm-07-perf-tuning/显存都花在哪、重计算如何用算力换激活显存、BF16 与 FP8 混合精度怎么选、MFU 为什么是训练效率的金标准，以及一份按性价比排序的实战调优清单。Fri, 26 Sep 2025 00:00:00 GMTMegatron-LM分布式训练性能调优混合精度MFUhttps://swordlidev.github.io/blog/megatron-lm-06-moe-ep-cp/https://swordlidev.github.io/blog/megatron-lm-06-moe-ep-cp/把 3D 并行扩展到五维。本文讲 MoE 为什么能解耦参数量与计算量、专家并行 EP 的两次 all-to-all、router 的负载均衡，以及上下文并行 CP 如何用 Ring Attention + zigzag 切法处理超长序列。Tue, 23 Sep 2025 00:00:00 GMTMegatron-LM分布式训练MoE专家并行上下文并行https://swordlidev.github.io/blog/megatron-lm-05-communication/https://swordlidev.github.io/blog/megatron-lm-05-communication/并行策略的上限由物理网络决定。本文介绍 NVLink 与 RoCE、GPUDirect RDMA，讲解 NCCL 在机内 NVLink + 机间多网卡 RoCE 上的跑法、关键调优旋钮、busbw 健康标准，以及带宽如何决定通信能否被计算隐藏。Fri, 19 Sep 2025 00:00:00 GMTMegatron-LM分布式训练NCCLRoCE网络https://swordlidev.github.io/blog/megatron-lm-04-data-parallel-zero/https://swordlidev.github.io/blog/megatron-lm-04-data-parallel-zero/数据并行为什么会重复浪费显存？本文讲清混合精度下的 16 字节/参数构成、ZeRO 思想、Megatron 分布式优化器（reduce-scatter + all-gather）、梯度缓冲区 overlap，并厘清 ZeRO 各档与 Megatron / FSDP / DeepSpeed 的关系。Tue, 16 Sep 2025 00:00:00 GMTMegatron-LM分布式训练数据并行ZeROLLMhttps://swordlidev.github.io/blog/megatron-lm-03-pipeline-parallel/https://swordlidev.github.io/blog/megatron-lm-03-pipeline-parallel/流水线并行把模型的层切到不同卡。本文讲清 microbatch、流水线气泡（bubble），对比朴素 GPipe 与 1F1B 调度，推导 bubble 公式，并给出 64 卡 3D 并行蓝图。Fri, 12 Sep 2025 00:00:00 GMTMegatron-LM分布式训练流水线并行LLMhttps://swordlidev.github.io/blog/megatron-lm-02-tensor-parallel/https://swordlidev.github.io/blog/megatron-lm-02-tensor-parallel/张量并行把单层的权重矩阵切到多张卡。本文从矩阵乘法的行/列切分讲起，解释 Column/Row Parallel Linear、f 与 g 镜像算子，以及为什么 TP 必须绑定 NVLink 同机。Tue, 09 Sep 2025 00:00:00 GMTMegatron-LM分布式训练张量并行LLMhttps://swordlidev.github.io/blog/megatron-lm-01-overview/https://swordlidev.github.io/blog/megatron-lm-01-overview/分布式训练系列开篇：先补齐为什么需要多卡训练、集合通信原语等背景，再讲 Megatron 的 GPU 网格世界观（TP/PP/DP/CP/EP）和一次训练迭代的完整生命周期。Fri, 05 Sep 2025 00:00:00 GMTMegatron-LM分布式训练LLM并行计算https://swordlidev.github.io/blog/hello-world/https://swordlidev.github.io/blog/hello-world/学术主页兼技术博客上线。简单介绍我会在这里分享的内容：论文解读、研究笔记与工程实践。Wed, 01 Jan 2025 00:00:00 GMT随笔LLMAgent