Model Quantization

模型量化加速

概述

提供模型量化加速的完整方案，包括 FP16 半精度推理、INT8 量化、TensorRT 引擎转换、ONNX Runtime 部署优化。在保证精度的前提下最大化推理吞吐。

使用场景

• 推理延迟优化：从 50ms 降到 10ms
• 显存占用缩减：16GB 模型压缩到 4GB
• 边缘设备部署：Jetson/树莓派 等资源受限设备
• 高吞吐批量推理：利用大 Batch Size 提升总吞吐
• 多模型共存：显存内同时加载多个量化模型
• 成本优化：用更少的 GPU 处理相同的负载

操作指南

1. FP16 半精度推理

from ultralytics import YOLO
model = YOLO("yolo11n.pt")
results = model.predict(source="video.mp4", half=True, device=0)

FP16 将显存占用减半，推理速度提升 30-50%，精度损失通常小于 0.5%。NVIDIA T4 和 MTT S4000 均原生支持。

2. INT8 量化

训练后量化（PTQ）：使用校准数据集统计激活分布，将 FP32 权重和激活量化为 INT8。量化感知训练（QAT）：在训练中模拟量化误差，精度更高但需重新训练。INT8 可将模型体积减小 4 倍，推理速度提升 2-3 倍。

3. TensorRT 引擎转换

from ultralytics import YOLO
model = YOLO("yolo11n.pt")
model.export(format="onnx", half=True, simplify=True)
model.export(format="engine", half=True, workspace=4)