训练优化

大模型分布式训练的全流程优化，从数据并行到模型并行，从显存优化到通信优化。覆盖 DeepSpeed、Megatron、FSDP 等主流框架。

📚 核心文章

DeepSeek-V3 训练成本深度拆解

详解 FP8 混合精度训练、MoE 专家并行、显存优化与通信优化策略。

深度解析 2025-02-16

DeepSpeed ZeRO-3 与 FSDP 深度对比

从源码层面分析两种分布式训练框架的内存管理策略与通信模式差异。

即将发布

FP8 训练实战：Transformer Engine 调优指南

梯度缩放、动态范围调整、数值稳定性保障的完整实践。

即将发布

3D 并行策略设计：TP/PP/DP 最佳实践

张量并行、流水线并行、数据并行的组合配置与性能调优。

即将发布

🎯 核心技术点

DeepSpeed

微软分布式训练框架，ZeRO 优化器，3D 并行，offload 技术。

Megatron-LM

NVIDIA 大模型训练框架，张量并行与流水线并行。

FSDP

PyTorch 原生分布式训练，Fully Sharded Data Parallel。

混合精度训练

FP16/BF16/FP8，梯度缩放，数值稳定性。

显存优化

梯度累积、检查点激活值重计算、CPU Offload。

通信优化

AllReduce、AllGather、ReduceScatter 算法优化。