📄️ NCCL API
以下是集合通信方法和操作的描述。
📄️ 通信器的创建和管理函数
以下函数是NCCL公开的公共API,用于创建和管理集合通信操作。
📄️ 集合通信函数
以下NCCL的API提供了一些常用的集合通信。
📄️ 组调用
组原语定义了当前线程的行为,以避免阻塞。因此,它们可以从多个线程独立使用。
📄️ 点对点通信函数
(自NCCL 2.7起)当rank之间需要相互发送和接收任意数据时,需要使用点对点通信原语,这不能表示为广播或全收集,即所有发送和接收的数据都是不同的。
📄️ 数据类型
NCCL库使用以下类型。
📄️ 用户自定义约简运算符
以下函数是NCCL公共API,用于创建和销毁自定义的约简运算符,用于约简集合通信。