NCCL error in: /pytorch/torch/lib/c10d/ProcessGroupNCCL ,unhandled cuda error, NCCLversion 2.7.8
本文采用方法
pytorch 、cudatoolkit、cuda驱动的版本需一致
问题描述
使用多GPU训练 stylegan3 模型时：
python train.py --outdir=training-runs --cfg=stylegan3-r \
--data=datastes/your_data.zip \
--cfg=stylegan3-r --gpus=4 --batch=32 --gamma=8 --kimg=1800 --snap=50 --tick=2
报错信息
torch.multiprocessing.spawn.ProcessRaisedException:
……
RuntimeError: NCCL error in: /opt/conda/conda-bld/pytorch_1631630841592/work/torch/lib/c10d/ProcessGroupNCCL.cpp:911, unhandled cuda error, NCCL version 2.7.8
ncclUnhandledCudaError: Call to CUDA function failed.
本地环境
- 4xTeslaV100 显卡驱动及CUDA版本为11.0
stylegan3 默认环境
解决方法
去pytorch官网，搜索对应的 Cudatookit版本
conda install pytorch==1.7.0 torchvision==0.8.0 torchaudio==0.7.0 cudatoolkit=11.0 -c pytorch
探索过程
思路1 ：安装nccl （本文没用）
- NCCL下载及安装教程
- https://developer.nvidia.com/nccl/nccl-legacy-downloads
- https://docs.nvidia.com/deeplearning/nccl/install-guide/index.html#usingnccl
