使用NCCL
使用NCCL与使用其他库类似，你需要按照以下步骤在代码中使用：
- 在你的系统上安装NCCL库。
- 修改你的应用程序以链接到该库。
- 在你的应用程序中包含头文件
nccl.h。 - 创建一个通信器。
- 使用NCCL集合通信原语来执行数据通信。你可以通过阅读 api接口 的文档来最大限度地提高使用性能。
集合通信原语是在一组CUDA设备之间常见的数据传输模式。通信算法涉及许多一起通信的处理器。每个CUDA设备在通信组中通过从零开始的索引或等级来标识。每个等级使用一个通信器对象来引用所需一起工作的GPU集合。在启动任何通信操作之前，创建一个通信器是必需的第一步。