Development/TensorRT5 [TensorRT] trtexec dumpProfile / profilingVerbosity / dumpLayerInfo option trtexec에서 dumpProfile / profilingVerbosity / dumpLayerInfo option tensorrt에서 trtexec --help를 보면 많은 option들이 있는데 그중 "--dumpProfile --profilingVerbosity=detailed ---dumpLayerInfo"이라는 세 개의 option이 있다. 해당 option들에 대해서는 다음과 같이 설명이 되어 있다. dumpProfile option을 추가해서 실행하였을 경우 --dumpProfile Print profile information per layer (default = disabled) dumpProfile 옵션은 tensorrt 형식으로 변환된 모델에 대해 profile 정보를 출력해 준다고.. 2022. 4. 21. [TensorRT] Ubuntu docker container를 이용한 TensorRT 사용 1. nvidia-docker 설치 docker에 대한 설치는 밑의 링크에 잘 성명되어 있어서 따라 설치하면 된다. https://nodoudt.tistory.com/50 [Linux] nvidia-docker 2 설치하기 1. 준비 사항 GNU/Linux x86_64 with kernel version > 3.10 Docker >= 1.12 NVIDIA GPU with Architecture > Fermi (2.1) NVIDIA drivers ~= 361.93 (untested on older versions) 드라이버 버전에 따라 사용할.. nodoudt.tistory.com 만약 terminal에서 nvidia-docker 명령어를 실행하였을 때 권한 거부가 발생하면 밑의 usermod명령어를 사용.. 2021. 9. 17. [TensoRT] SM version not supported in this NVRTC version 오류 해결 Tensorrt 사용 시 NVRTC version 오류 보통 tesnrort를 docker image를 다운로드 받던지 library파일을 다운로드 받을 때 현재 사용하고 있는 desktop pc에 대해 어떤 운영체제를 사용하고 있는지, Cuda는 어떤 버전이고, 또 cudnn은 어떤 버전인지만 확인하고 다운로드를 받아서 사용을 했다. 그래서, 나는 주로 TensorRT-7.2.1, Ubuntu16.04, CUDA-10.2인 tensorrt의 version을 사용해 왔기 때문에 다른 gpu 그래픽 카드가 꽂혀 있는 pc에서도 같은 버전의 tensorrt version을 사용하기 위해 다운로드를 받았었다. tensorrt library를 다운로드하고, 기존에 제대로 실행되던 코드까지 복사한 다음 실행을 하.. 2021. 8. 30. [TensorRT]Onnx모델을 tensorrt모델로 변환 TensorRT란? TensorRT는 NVIDIA gpu를 사용하여 onnx나 tensorflow와 같은 deep learning 모델들을 최적화시켜 모델의 처리 속도를 향상시켜주는 엔진으로, 밑에 tensorrt홈페이지와 블로그에 가면 설명이 잘 되어 있다. https://developer.nvidia.com/tensorrt NVIDIA TensorRT NVIDIA TensorRT NVIDIA® TensorRT™ is an SDK for high-performance deep learning inference. It includes a deep learning inference optimizer and runtime that delivers low latency and high throughput fo.. 2021. 8. 19. [TensorRT] architecture 별 호환성 TensorRT란? TensorRT는 NVIDIA gpu를 사용하여 onnx나 tensorflow와 같은 deep learning 모델들을 최적화시켜 모델의 처리 속도를 향상시켜주는 엔진으로 요즘 nvidia gpu에서 deep learning model을 추론하기 위해 많이 사용되고 있다. 밑의 링크는 tensorrt홈페이지와 tensorrt에 대한 설명이 되어 있는 블로그로 들어가 보면 tensorrt에 대해 설명이 잘 되어 있다. https://developer.nvidia.com/tensorrt NVIDIA TensorRT An SDK with an optimizer for high-performance deep learning inference. developer.nvidia.com https:.. 2021. 8. 10. 이전 1 다음 728x90
