TensorRT1 TensorRT 개념 정리 [TensorRT] 학습된 Deep Learning 모델을 최적화하여 NVIDIA GPU 상에서의 Inference 속도를 수배 ~ 수십배 까지 향상시켜 Deep Learning 서비스 TCO (Total Cost of Ownership) 를 개선하는데 도움을 줄 수 있는 모델 최적화 엔진 1. Introduction 아래 두 개를 포함 1) Optimizer : NVIDIA GPU 연산에 적합한 최적화 기법들을 이용하여 모델을 최적화 2) Runtime Engine : 다양한 GPU에서 모델연산을 수행 - 다양한 Framework 등에서 학습된 모델을 지원 → Deep Learning model Inference 가속을 지원 TensorRT Introduction 2. TensorRT developme.. 2022. 7. 25. 이전 1 다음
