[Pytorch] CUDA error: CUBLAS_STATUS_INVALID_VALUE when calling `cublasSgemm

cublasSgemm에 대한 오류가 발생하였을 경우

Pytorch 프레임워크로 코드를 학습하던 중 갑자기 다음과 같은 오류가 발생했다.

CUDA error: CUBLAS_STATUS_INVALID_VALUE when calling `cublasSgemm

 

 

cublasSgemm에 대한 오류 해결 방법

google에 검색을 해보면 내 문제처럼 loss를 backward()할 때 발생하는 문제에 대한 해결 글은 없었고, 

 

기존에 돌아가던 코드였는데 갑자기 실행이 안돼서 원인은 정확히 모르지만 pytorch version을 내렸더니 해결되었다.

# 기존 version
cudatoolkit==11.3.1
pytorch==1.13.0
torchvision==0.14.0

# 변경한 version
cudatoolkit==11.3.1
pytorch==1.12.0
torchvision==0.13.0