引言

最近在做一个项目，需要使用TensorRT去加速神经网络模型运行。TensorRT支持FP16、 INT8等数据类型，在运用后，发现模型推理速度大大提高，英伟达的TensorRT实在太强了。只可惜这个工具没有开源，不然真要好好研究。

由于我原本使用了PyTorch来训练我的模型，而TensorRT无法直接加载PyTorch的模型，需要使用ONNX作为中间媒介。中间踩了些坑，不过后面都解决了。根据此写了个小教程，分享给大家

教程

代码已经上传到GitHub啦，请移步传送门

结语

听说TensorRT已经出INT4类型的加速了，真是可怕，后续会跟进的。
喜欢的话请加星点赞哟

[TensorRT] 使用TensorRT加速深度模型入门
引言最近在做一个项目，需要使用TensorRT去加速神经网络模型运行。TensorRT支持FP16、 INT8等...
Jetson TX2开发全纪录2-图像识别&摄像头目标识
工程 jetson-inference是基于Caffe模型；使用了TensorRT2.1做加速，识别单张图片是50...
使用TensorRT集成加速TensorFlow推理
摘要：本文讲述了TensorRT集成如何加速TensorFlow推理，以及实例演示帮助入门 NVIDIA宣布完成了...
NV软件 - 1 TensorRT
1、TensorRT TensorRT：高性能的深度学习Inference Lib , 应用于产品真实环境的Inf...
Jetson Nano搭建人脸检测系统: （三）TensorRT
目录一、TensorRT简介二、利用TensorRT优化人脸检测模型三、在Jetson Nano上部署TRT文件...
TensorRT使用说明
一、TensorRT简介 TensorRT 是Nvidia 提出的深度学习推理平台，能够在GPU 上实现低延迟、高...
glog中的CHECK和cuda中的CHECK冲突
一、问题描述项目中用到TensorRT进行模型的推理同时项目中用到了glog作为日志管理的工具。TensorRT...
模型部署之 TensorRT 初步入门
TensorRT 是 NVIDIA 提出的用于统一模型部署的加速器，可以应用于 NVIDIA 自家设计的硬件平台比...
TensorRT Developer Guide
TensorRT Developer Guide Overview NVIDIA TensorRT™是一个C ++...
NVIDIA TensorRT模型压缩加速原理
介绍 TensorRT是一个高性能的深度学习推理优化器，可以为深度学习应用提供低延迟、高吞吐率的部署推理。Tens...