딥러닝관련/TensorRT2 TensorRT 활용해보기 (Pytorch example) TensorRT를 막상 써보려니 뭔가 잘 정리되어 있는 내용들이 없어서 따로 업데이트 해보려고 한다. 우선 내가 자주 쓰는 framework는 pytorch지만 tensorflow에서 또한 사용을 해야하기 때문에 두 케이스 모두에 대해서 알아보려고 한다. [pytorch]는 TRT [tensorflow]는 TF-TRT 로 나뉜다고 한다 (pytorch에 대해서 먼저 tensorRT를 만들고 tensorflow를 나중에 적용해서 앞에만 TF가 붙은건가??) Documentation은 아래와 같은 듯 보인다. [TRT] https://developer.nvidia.com/tensorrt#what-is NVIDIA TensorRT An SDK with an optimizer for high-performanc.. 2022. 7. 25. TensorRT 개념 정리 [TensorRT] 학습된 Deep Learning 모델을 최적화하여 NVIDIA GPU 상에서의 Inference 속도를 수배 ~ 수십배 까지 향상시켜 Deep Learning 서비스 TCO (Total Cost of Ownership) 를 개선하는데 도움을 줄 수 있는 모델 최적화 엔진 1. Introduction 아래 두 개를 포함 1) Optimizer : NVIDIA GPU 연산에 적합한 최적화 기법들을 이용하여 모델을 최적화 2) Runtime Engine : 다양한 GPU에서 모델연산을 수행 - 다양한 Framework 등에서 학습된 모델을 지원 → Deep Learning model Inference 가속을 지원 TensorRT Introduction 2. TensorRT developme.. 2022. 7. 25. 이전 1 다음
