allreduce是最常用的集合通信算子, 同时也是primitives类涵盖最全的算子, 搞懂了allreduce的源码, 其他算子的源码就手到擒来了

Primitives类是NCCL中最基本的通信行为, 常用的集合通信原语都是这些行为的组合

NCCL会将通信原语拆分成更细粒度的primitives op的组合,

cuda stream是一个先入先出队列, 用于管理异步操作的并行执行