[Pytorch]docker container에서 pytorch memory error

docker에서 발생하는 memory error

local에서 잘 돌아가던 pytorch 코드를 docker의 container를 생성하여 pytorch 코드를 실행하면 가끔 메모리가 부족하다는 오류를 확인할 경우가 있다.

 

Unexpected bus error encountered in worker. This might be caused by insufficient shared memory(shm)

 

 

Memory Error을 해결하기 위한 방법

이러한 오류가 떴을 경우 내 경우에는 docker의 container 생성할 때 optiojn 하나를 추가해 주면 해결이 됐다.

--ipc string                     IPC mode to use

 

--ipc라는 option이 있는데 option을 밑에와 같이 host로 설정해 주변 해결이 된다.

--ipc=host

 

docker option에서 ipc란

--ipc에 대한 설명은 docker docs를 보면 다음과 같이 적혀 있다.

IPC (POSIX/SysV IPC) namespace provides separation of named shared memory segments, semaphores and message queues.

 

https://docs.docker.com/engine/reference/run/#ipc-settings---ipc

Docker run reference