Скорость тестирования

В данном руководстве объясняется, как воспроизвести результаты скорости YOLOv6. Для честного сравнения результаты скорости не содержат затрат времени на предварительную обработку данных и постобработку NMS.

0. Подготовка модели

Скачайте модели, которые вы хотите протестировать, из последнего релиза.

1. Подготовка среды тестирования

Обратитесь к файлу README, установите пакеты, соответствующие версиям CUDA, CUDNN и TensorRT.

Здесь мы используем Torch 1.8.0 для логического вывода на V100 и TensorRT 7.2 Cuda 10.2 Cudnn 8.0.2 на T4.

2. Воспроизведение скорости

2.1 Логический вывод Torch на V100

Чтобы получить скорость логического вывода без TensorRT на V100, вы можете выполнить следующую команду:

python tools/eval.py --data data/coco.yaml --batch 32 --weights yolov6n.pt --task speed [--half]

• Результаты скорости с batchsize = 1 нестабильны при многократных запусках, поэтому мы не предоставляем результаты скорости bs1.

2.2 Логический вывод TensorRT на T4

Чтобы получить результаты скорости логического вывода с TensorRT в режиме FP16 на T4, вы можете следовать нижеприведённым шагам:

Сначала экспортируйте модель pytorch в формате onnx, используя следующую команду:

python deploy/ONNX/export_onnx.py --weights yolov6n.pt --device 0 --simplify --batch [1 или 32]

Затем создайте механизм логического вывода trt и протестируйте скорость с помощью trtexec:

trtexec --explicitBatch --fp16 --inputIOFormats=fp16:chw --outputIOFormats=fp16:chw --buildOnly --workspace=1024 --onnx=yolov6n.onnx --saveEngine=yolov6n.trt

trtexec --fp16 --avgRuns=1000 --workspace=1024 --loadEngine=yolov6n.trt