[Triton Inference Server] CUDA driver version is insufficient or CUDA runtime version

CUDA driver version is insufficient or CUDA runtime version

Problem

tensorrt 모델로 변환하고 tritonserver를 load 하는데 다음과 같은 오류가 발생했다.

 

solution

내 경우에는 docker 설정을 건드리니까 해결이 됐다.

 

/etc/docker/의 폴더에 가면 deamon.json이라는 폴더가 있는데 열어보면 다음과 같이 적혀 있다.

 

kubernetes설치하고 그러느라 적혀 있는건 다를 수도 있다.

{
        "exec-opts": ["native.cgroupdriver=systemd"],
        "log-driver": "json-file",
        "log-opts": {
                "max-size": "100m"
        },
        "storage-driver": "overlay2"
}

 

위의 부분만 적혀있다면 docker를 실행할 때 --gpus 옵션을 추가해 줘야지 아니면 nvidia-driver를 불러오지 못한다.

 

해당 문제를 해결하기 위해 밑에 다음과 같이 추가해준다.

{
        "exec-opts": ["native.cgroupdriver=systemd"],
        "log-driver": "json-file",
        "log-opts": {
                "max-size": "100m"
        },
        "storage-driver": "overlay2",

        "default-runtime": "nvidia",
        "runtimes": {
        "nvidia": {
            "path": "nvidia-container-runtime",
            "runtimeArgs": []
            }
        }
}

 

밑에 저렇게 추가하고 나면 docker container를 생성할 때 별도의 --gpus 옵션을 설정하지 않아도 nvidia-driver를 불러오게 된다.

 

위와 같이 수정했으면 docker를 재실행해준다.

 

sudo systemctl daemon-reload
sudo systemctl restart docker