GPU集群架构 | AI算力 - AI Infrastructure & GPU Computing

📚 核心文章

详解 2048 张 H800 集群的网络拓扑、通信优化与故障处理策略。

大规模 GPU 集群的网络架构选型，IB 与 RoCE 的权衡。

AllReduce、AllGather 算法选择与参数调优，解决通信瓶颈。

Xid 错误码解读、网络丢包定位、训练僵死排查。

GPU 间高速互联，单机 8 卡全互联架构，多机扩展方案。

低延迟 RDMA 网络，Fat-Tree 拓扑设计，拥塞控制策略。

以太网上的 RDMA，成本优化方案，与 IB 的对比选型。

NVIDIA 集合通信库，Ring、Tree、CollNet 算法，调优参数。

GPU 间直接通信，绕过 CPU，降低延迟与 CPU 开销。

GPU 利用率、显存、温度、网络带宽、P2P 带宽监控。