Детектор курения YOLOv5

Реализация на C++ модели YOLOv5 для обнаружения курящих людей, работающая на Jetson Xavier NX и Jetson Nano. На Jetson Xavier NX достигается производительность в 33 кадра в секунду.

Для просмотра видео перейдите на BILIBILI или YOUTUBE.

Если вы хотите обучить свою собственную модель, обратитесь к yolov5-smoke-detection-python. Следуйте инструкциям в README для получения своей собственной модели.

Требования

1. Jetson Nano или Jetson Xavier NX
2. JetPack 4.5.1
3. Python3 с установленной библиотекой TensorRT 7.1.3.0 (Jetson Nano или Jetson Xavier NX имеют по умолчанию Python3 с TensorRT 7.1.3.0)
4. TensorRT 7.1.3.0
5. Torch 1.8.0
6. TorchVision 0.9.0
7. Torch2Trt 0.3.0
8. ONNX 1.4.1
9. OpenCV-Python 4.5.3.56
10. Protobuf 3.17.3
11. SciPy 1.5.4

Если у вас возникли проблемы при работе с этим проектом, прочтите эту CSDN статью.

Достижения и эксперименты

• Int8.
• yolov5-s
• yolov5-m

В планах

• Более быстрая версия, использующая меньше памяти.

Производительность

Общее время выполнения от чтения изображения до завершения процесса (включает все этапы предобработки и постобработки каждого изображения). Все результаты можно получить на Jetson Xavier NX. Для моделей и кода на Python перейдите к этому yolov5-smoke-detection-python| Архитектура | До применения TensorRT | TensorRT (детекция) | FPS (детекция) | | :----------------: | :--------------------: | :------------------: | :-------------: | | Yolov5s-640-float16 | 100 мс | 60-70 мс | 14 - 18 | | Yolov5m-640-float16 | 120 мс | 70-75 мс | 13 - 14 | | Yolov5s-640-int8 | | 30-40 мс | 25 - 33 | | Yolov5m-640-int8 | | 50-60 мс | 16 - 20 |---

Клонирование и запуск

git clone https://github.com/RichardoMrMu/yolov5-smoking-detect
cd yolov5-smoking-detect
mkdir build 
cmake ..
make 

Если вы столкнулись с ошибками при использовании cmake и make, прочтите эту статью или обратитесь к разделу "Внимание".

Модели

Вы должны иметь две модели: одну для детекции (генерируется из tensorrtx), другую — для классификации.### Генерация модели yolov5 Для модели детекции yolov5 я выбрал yolov5s, и выбрал преобразование yolov5s.pt -> yolov5s.wts -> yolov5s.engine. Обратите внимание, что используемые модели можно получить с yolov5 и использовать этот yolov5-smoke-detection-python для получения вашей модели. Вы также можете просмотреть официальную документацию tensorrtx.

1. Получение репозитория yolov5

Обратите внимание, здесь используется официально обученная модель. Я использую yolov5 версии 5.0. Поэтому если вы тренируете свою собственную модель, убедитесь, что ваш код yolov5 версии 5.0.

git clone -b v5.0 https://github.com/ultralytics/yolov5.git
cd yolov5
mkdir weights
cd weights
# скачайте https://github.com/ultralytics/yolov5/releases/download/v5.0/yolov5s.pt
wget https://github.com/ultralytics/yolov5/releases/download/v5.0/yolov5s.pt

2. Получение tensorrtx.

git clone https://github.com/wang-xinyu/tensorrtx

3. Получение файла xxx.wts модели

cp tensorrtx/gen_wts.py yolov5/
cd yolov5 
python3 gen_wts.py -w ./weights/yolov5s.pt -o ./weights/yolov5s.wts
# будет создан файл 'yolov5s.wts'

Вы можете получить файл yolov5s.wts в папке yolov5/weights/.4. Создание tensorrtx/yolov5 и получение файла TensorRT engine

cd tensorrtx/yolov5
# Обновите CLASS_NUM до 2 в yololayer.h 
# nc: 1  # Количество классов
# names: ['smoke']  # Названия классов

mkdir build
cd build
cp {ultralytics}/yolov5/yolov5s.wts {tensorrtx}/yolov5/build
cmake ..
make
# yolov5s
sudo ./yolov5 -s yolov5s.wts yolov5s.engine s
# Тест вашего файла engine
sudo ./yolov5 -d yolov5s.engine ../samples

Затем вы получите файл yolov5s.engine, который можно поместить в проект My project. Например:

cd {yolov5-smoking-detect}
mkdir resources
cp {tensorrtx}/yolov5/build/yolov5s.engine {yolov5-smoking-detect}/resources

Вы можете столкнуться с некоторыми проблемами при получении файла yolov5s.engine, вы можете загрузить свои проблемы на GitHub или в статью csdn.

git clone -b v5.0 https://github.com/ultralytics/yolov5.git
git clone https://github.com/wang-xinyu/tensorrtx.git

git clone -b v4.0 https://github.com/ultralytics/yolov5.git
git clone -b yolov5-v4.0 https://github.com/wang-xinyu/tensorrtx.git

git clone -b v3.1 https://github.com/ultralytics/yolov5.git
git clone -b yolov5-v3.1 https://github.com/wang-xinyu/tensorrtx.git

git clone -b v3.0 https://github.com/ultralytics/yolov5.git
git clone -b yolov5-v3.0 https://github.com/wang-xinyu/tensorrtx.git

git clone -b v2.0 https://github.com/ultralytics/yolov5.git
git clone -b yolov5-v2.0 https://github.com/wang-xinyu/tensorrtx.git

```shell
cd {tensorrtx}/yolov5/
# обновите CLASS_NUM в yololayer.h, если ваша модель была обучена на собственном наборе данных

```Таким образом, вы можете получить свой собственный модель TensorRT YOLOv5. Приятного использования!

## Квантификация INT8
У этого метода есть некоторые отличия от файла движка TensorRT с типом данных float16 и int8. Как и в [README tensorrtx](https://github.com/wang-xinyu/tensorrtx/tree/master/yolov5), файл движка Int8 требует калибровочных изображений.
```Для официальной модели YOLOv5 вам нужно скачать `coco_calid.zip` с этой [страницы Google Drive](https://drive.google.com/drive/folders/1s7jE9DtOngZMzJC1uL307J2MiaGwdRSI) или [BAIDUYUN](https://pan.baidu.com/s/1GOm_-JobpyLMAqZWCDUhKg) --- `a9wh`. И распаковать в папку `{project}/build/`.

Затем измените 10-ю строку в файле `yolov5.cpp` с `USE_FLOAT16` на `USE_INT8`, а затем выполните следующие команды:

```shell
cmake ..
make 
// yolov5s
sudo ./yolov5 -s yolov5s.wts yolov5s-int8.engine s
// тестовый файл движка
sudo ./yolov5 -d yolov5s-int8.engine ../samples