木白's 技术小屋

木白's 技术小屋, 专注于大模型Infra & 分布式通信

  • 博客
  • 关于
  • 订阅
  • 搜索
  • NCCL (3)
  • Source Code Diagram (3)
  • CUDA (4)
  • Distribute (3)
  • Intra Node (1)
  • GPU (1)
  • TOPO (1)
  • AI Infra (6)
  • Basic (1)
  • Memory Optimization (3)
  • DeepSpeed (2)
  • Training (5)
  • Inference (2)
  • Transformer (5)
  • Mixed Precision (1)

节点内GPU互联拓扑

May 3, 2025

本文讲解了NVIDIA不同架构下常见的节点内拓扑结构, 包括DGX和HGX的区别


© 木白 2024 - 2025