Development/Onnx5 onnxruntime-gpu: Failed to create CUDAExecutionProvider onnxruntime-gpu: Failed to create CUDAExecutionProvider 경고 onnxruntime-gpu를 설치하고 onnx 모델을 테스트 하는데 다음과 같이 'Failed to create CUDAExecutionProvider'했다는 경고가 뜨면서 cpu로 model이 inference되는 상황이 발생했다. [W:onnxruntime:Default, onnxruntime_pybind_state.cc:566 CreateExecutionProviderInstance] Failed to create CUDAExecutionProvider. Please reference https://onnxruntime.ai/docs/reference/execution-providers/ CU.. 2023. 5. 11. [ONNX] Convert TorchScript model to Onnx model pytorch 모델을 onnx모델로 변환하는 방법 pytorch 모델을 onnx모델로 변환하는 방법은 아래의 링크를 보면 설명이 되어 있다. https://shuka.tistory.com/26 [Pytorch] pytorch모델을 onnx모델로 변환 방법 pytorch 모델을 tensorrt로 변환하기 위해서는 pytorch 모델을 onnx로 변환을 해야 하는 단계를 거쳐야 하는데, 변환을 할 때 batch를 원하는 size로 고정을 할 수도 있고 dynamic batch로 설정해 줄 수도 있다. shuka.tistory.com TorchScript모델을 onnx모델로 변환 중 발생한 Errror TorchScript모델을 onnx모델로 변환하기 위해서는 위의 링크에서 얘기한 내용과 같이 export를 .. 2022. 10. 25. [ONNX] Onnx-modifier Onnx-modifier란 모델의 구조를 visualize하기 위해 주로 사용하는 사이트가 netron.app이다. onnx-modifier는 netron을 기반으로 개발됐고, onnx model을 visualization뿐만 아니라 editting까지 가능하다. Onnx-modifier가 지원하는 기능 현재 지원하는 기능들은 다음과 같다. Delete/recover nodes Delete a single node. Delete a node and all the nodes rooted on it. Recover a deleted node. Rename the node inputs/outputs Rename the model inputs/outputs Add new model outputs Edit the.. 2022. 10. 21. [Onnx] onnx-simplifier dynamic batch 모델 사용 방법 onnx-simplifier란 onnx-simplifier은 onnx model의 구조를 간소화해주는 작업을 진행한다. onnx-simplifier는 밑의 링크에 가면 간단한 사용법을 알 수 있다. https://shuka.tistory.com/7?category=1224641 [Onnx] onnx-simplifier를 이용한 onnx 모델 간소화 onnx-simplifier를 이용한 onnx모델 간소화 1. onnx-simplifier란? onnx-simplifier은 복잡한 구조의 onnx 모델을 간소화하는 작업을 진행해 준다. 모델에 따라 복잡한 모델의 구조라고 하더라도 간소화되는 부분 shuka.tistory.com dynamic batch에 대한 onnx-simplifier 오류 그런데 만약 p.. 2022. 2. 4. [Onnx] onnx-simplifier를 이용한 onnx 모델 간소화 onnx-simplifier란? onnx-simplifier은 복잡한 구조의 onnx 모델을 간소화하는 작업을 진행해 준다. 모델에 따라 복잡한 모델의 구조라고 하더라도 간소화되는 부분이 많을 수도 있고 적을 수도 있다. onnx-simplifier에 대한 git 주소를 들어가보면 3.4M모델을 1.9M모델로 간소화 시켰는데, 내가 가지고 있는 모델들은 저정도 까지는 아니지만 보통 사용하면 적으면 0.1M, 보통은 0.5M정도는 모델이 간소화 되었다. 그리고, onnx를 tensorrt로 변환할 때 오류가 발생하는 모델에 대해 onnx-simplifier을 한번 해주면 가끔 오류 없이 변환이 완료될 때도 있다. (해당 오류의 경우에 대해서는 연구하다가 다시 발생하면 추가할 예정) https://githu.. 2021. 8. 23. 이전 1 다음 728x90
