Вот перевод текста на русский язык:

С точностью 55,7% mAP на наборе данных COCO; недавно добавлена модель многообъектного отслеживания [OC-SORT] (configs/mot/ocsort); недавно добавлена магистральная сеть [ConvNeXt] (configs/convnext).

— Промышленные приложения: Недавно добавлены Smart Fitness, распознавание драк и анализ посетителей.

— 2022.3.24: Выпущена PaddleDetection версии release/2.4. — Выпущена высокопроизводительная модель обнаружения объектов SOTA [PP-YOLOE] (configs/ppyoloe). Она объединяет облачные и периферийные устройства и предоставляет версии S/M/L/X. В частности, версия L имеет точность 51,4% на тестовом наборе данных COCO 2017, скорость вывода 78,1 FPS на одном Test V100. Поддерживает смешанное обучение точности, на 33% быстрее, чем PP-YOLOv2. Её полный спектр моделей разных размеров может удовлетворить различные требования к арифметике оборудования и адаптироваться к серверам, периферийным устройствам GPU и другим картам ускорителей ИИ на серверах. — Выпущена сверхлёгкая модель обнаружения объектов SOTA [PP-PicoDet Plus] с улучшением точности на 2% и улучшением скорости вывода на CPU на 63%. Добавлена модель PicoDet-XS с параметрами 0,7M, предоставляющая функции разрежения и квантования модели для ускорения модели. Для всего оборудования не требуется специальный модуль постобработки, что упрощает развёртывание. — Выпущен инструмент анализа пешеходов в реальном времени [PP-Human] (deploy/pphuman). Он имеет четыре основные функции: отслеживание пешеходов, статистика потока посетителей, распознавание человеческих атрибутов и обнаружение падений. Для обнаружения падений он оптимизирован на основе реальных данных с точным распознаванием различных типов падений. Может адаптироваться к различным условиям окружающей среды, освещению и углу камеры. — Добавлена модель обнаружения объектов YOLOX с nano/tiny/S/M/L/X. Версия X имеет точность 51,8% на наборе данных Val2017 COCO.

— Больше выпусков.

Краткое введение

PaddleDetection — это комплексный набор инструментов для разработки обнаружения объектов на базе PaddlePaddle. Предоставляя более 30 алгоритмов моделей и более 300 предварительно обученных моделей, он охватывает обнаружение объектов, сегментацию экземпляров, обнаружение ключевых точек, многообъектное отслеживание. В частности, PaddleDetection предлагает высокопроизводительные и лёгкие промышленные модели SOTA на серверах и мобильных устройствах, чемпионские решения и передовые алгоритмы. PaddleDetection предоставляет различные методы увеличения данных, настраиваемые сетевые компоненты, функции потерь и другие передовые схемы оптимизации и развёртывания. Помимо выполнения всего процесса обработки данных, разработки моделей, обучения, сжатия и развёртывания, PaddlePaddle также предоставляет множество примеров и руководств для ускорения промышленного применения алгоритма.

Особенности

• Богатая библиотека моделей: PaddleDetection предоставляет более 250 предварительно обученных моделей, включая обнаружение объектов, сегментацию экземпляров и распознавание лиц. Он охватывает множество схем чемпионов глобальных соревнований.
• Простота использования: Модульный дизайн, развязка каждого сетевого компонента, простота для разработчиков в создании и опробовании различных моделей обнаружения и стратегий оптимизации, быстрый доступ к высокопроизводительным, настроенным алгоритмам.
• Сквозной процесс: PaddlePaddle проходит через весь процесс от увеличения данных до построения моделей, обучения, сжатия, развёртывания. Также поддерживает... Мультиархитектурное мультиустройственное развёртывание для облачных и граничных устройств.

Высокая производительность: благодаря высокопроизводительному ядру PaddlePaddle имеет явные преимущества в скорости обучения и использовании памяти. Также поддерживает обучение FP16 и многомашинное обучение.

Обмены

Если у вас есть вопросы или предложения, пожалуйста, поделитесь с нами своими ценными идеями через GitHub Issues.

Добро пожаловать в группы пользователей PaddleDetection на WeChat (сканируйте QR-код, добавьте и ответьте «D» помощнику).

Структура комплекта

Таблица с данными приведена ниже:

В тексте запроса не удалось перевести часть информации из таблицы. В частности, это касается названий архитектур и компонентов. Это связано с тем, что некоторые названия представляют собой аббревиатуры или сокращения, которые не имеют общепринятых переводов на русский язык. Вижн трансформер

Коммон:

— Sync-BN;

— Group Norm;

— DCNv2;

— EMA.

Кейпоинт:

— DarkPose.

ФПН:

— BiFPN;

— CSP-PAN;

— Custom-PAN;

— ES-PAN;

— HRFPN.

Лосс:

— Smooth-L1;

— GIoU/DIoU/CIoU;

— IoUAware;

— Focal Loss;

— CT Focal Loss;

— VariFocal Loss.

Пост-процессинг:

— SoftNMS;

— MatrixNMS.

Спид:

— FP16 training;

— Multi-machine training.

Детали:

— Resize;

— Lighting;

— Flipping;

— Expand;

— Crop;

— Color Distort;

— Random Erasing;

— Mixup;

— AugmentHSV;

— Mosaic;

— CutMix;

— Grid Mask;

— Auto Augment;

— Random Perspective.

Модель перформанс

Сравнение производительности облачных моделей.

Сравнение COCO mAP и FPS на Tesla V100 для репрезентативных моделей каждой архитектуры и бэкендов.

ViT — это ViT-Cascade-Faster-RCNN, который имеет наивысший показатель mAP на COCO — 55,7 %.

Cascade-Faster-RCNN — это Cascade-Faster-RCNN-ResNet50vd-DCN, оптимизированный до скорости вывода 20 FPS при показателе mAP 47,8 % в моделях PaddleDetection.

PP-YOLOE оптимизированы PP-YOLO v2. Они достигли точности 51,4 % на наборе данных COCO, скорость вывода — 78,1 FPS на Tesla V100.

PP-YOLOE+ оптимизированы PP-YOLOE. Они достигли точности 53,3 % на наборе данных COCO, скорость вывода — 78,1 FPS на Tesla V100.

Модели на рисунке доступны в библиотеке моделей.

Сравнение производительности на мобильных устройствах.

Сравнение между COCO mAP и FPS на процессоре Qualcomm Snapdragon 865 для моделей на мобильных устройствах.

Тесты проводились на процессоре Qualcomm Snapdragon 865 (4 *A77 + 4 *A55) batch_size=1, 4 thread и библиотеке выводов NCNN. Сценарий тестирования см. в MobileDetBenchmark.

PP-PicoDet и PP-YOLO-Tiny — это саморазвитые модели PaddleDetection, другие модели ещё не тестировались.

Библиотеки моделей

1. Общие рекомендации по обнаружению.

Серия PP-YOLOE рекомендуется для использования на облачных GPU, таких как Nvidia V100, T4, и на периферийных устройствах, таких как Jetson series.

| Модель | Точность COCO (mAP) | Скорость V100 TensorRT FP16 (FPS) | Конфигурация | Скачать | | --- | --- | --- | --- | --- | | PP-YOLOE+_s | 43,9 | 333,3 | link | download | | --- | --- | --- | --- | --- | | PP-YOLOE+_m | 50,0 | 208,3 | link | download | | PP-YOLOE+_l | 53,3 | 149,2 | link | download | | PP-YOLOE+_x | 54,9 | 95,2 | link | download |

PP-PicoDet series Recommended scenarios: Mobile chips and x86 CPU devices, such as ARM CPU (RK3399, Raspberry Pi) and NPU (BITMAIN)

Алгоритм обнаружения границ Frontier

Другие модели общего назначения doc | 182M |

| Пешеходное отслеживание (облегчённое) | 21,0 мс | Многообъектное отслеживание | 27M | | Распознавание атрибутов (высокая точность) | Один человек 8,5 мс | Обнаружение объектов
Распознавание атрибутов | Обнаружение объектов: 182М
Распознавание атрибутов: 86М | | Распознавание атрибутов (облегчённое) | Один человек 7,1 мс | Обнаружение объектов
Распознавание атрибутов | Обнаружение объектов: 182М
Распознавание атрибутов: 86М | | Обнаружение падения | Один человек 10 мс | Многообъектное отслеживание
Обнаружение ключевых точек
Поведенческое обнаружение на основе ключевых точек | Многообъектное отслеживание: 182М
Обнаружение ключевых точек: 101М
Поведенческое обнаружение на основе ключевых точек: 21,8М | | Интрузионное обнаружение | 31,8 мс | Многообъектное отслеживание | 182M | | Детектирование драки | 19,7 мс | Классификация видео | 90M | | Детектирование курения | Один человек 15,1 мс | Обнаружение объектов
Обнаружение объектов на основе идентификации человека | Обнаружение объектов: 182М
Обнаружение объектов на основе идентификации человека: 27М | | Детектирование разговора по телефону | Один человек мс | Обнаружение объектов
Классификация изображений на основе идентификации человека | Обнаружение объектов: 182М
Классификация изображений на основе идентификации человека: 45М | Учебные пособия

Вводные учебные пособия

• Установка (docs/tutorials/INSTALL_cn.md).
• Быстрый старт (docs/tutorials/QUICK_STARTED_cn.md).
• Подготовка данных (docs/tutorials/data/README.md).
• Начало работы с PaddleDetection (docs/tutorials/GETTING_STARTED_cn.md).
• FAQ (docs/tutorials/FAQ).

Расширенные учебные пособия

Конфигурация

• RCNN Конфигурация (docs/tutorials/config_annotation/faster_rcnn_r50_fpn_1x_coco_annotation.md).
• PP-YOLO Конфигурация (docs/tutorials/config_annotation/ppyolo_r50vd_dcn_1x_coco_annotation.md).

Сжатие на основе PaddleSlim

• Учебник по прореживанию, квантизации и дистилляции (configs/slim).

Развёртывание вывода

• Экспорт модели для вывода (deploy/EXPORT_MODEL.md).
• Развёртывание Paddle Inference (deploy/README.md):
  • развёртывание с помощью Python (deploy/python);
  • развёртывание с использованием C++ (deploy/cpp).
• Paddle-Lite развёртывание (deploy/lite).
• Paddle Serving развёртывание (deploy/serving).
• Экспорт моделей ONNX (deploy/EXPORT_ONNX_MODEL.md).
• Бенчмарк вывода (deploy/BENCHMARK_INFER.md).

Расширенное развитие

• Модуль обработки данных (docs/advanced_tutorials/READER.md).
• Новые модели обнаружения объектов (docs/advanced_tutorials/MODEL_TECHNICAL.md).
• Кастомизация:
  • обнаружение объектов (docs/advanced_tutorials/customization/detection.md);
  • определение ключевых точек (docs/advanced_tutorials/customization/keypoint_detection.md);
  • отслеживание нескольких объектов (docs/advanced_tutorials/customization/pphuman_mot.md);
  • распознавание действий (docs/advanced_tutorials/customization/action_recognotion/);
  • атрибутивное распознавание (docs/advanced_tutorials/customization/pphuman_attribute.md).

Курсы

[Теоретические основы] [7-дневный лагерь по обнаружению объектов] (https://aistudio.baidu.com/aistudio/education/group/info/1617): обзор задач обнаружения объектов, детали алгоритма обнаружения объектов серии RCNN и алгоритма обнаружения объектов YOLO, стратегия оптимизации PP-YOLO и обмен опытом, введение и практика алгоритма AnchorFree.

[Промышленное применение] [Технология и применение быстрого отслеживания объектов AI в промышленности] (https://aistudio.baidu.com/aistudio/education/group/info/23670): супер алгоритмы обнаружения объектов, система анализа пешеходов в реальном времени PP-Human, разбивка и практика промышленного применения обнаружения объектов.

[Промышленные особенности] 2022.3.26 [Семидневный класс Smart City Industry] (https://aistudio.baidu.com/aistudio/education/group/info/25620): городское планирование, управление городским хозяйством, интеллектуальное управление, управление дорожным движением, общественное управление.

[Академический обмен] 2022.9.27 [Событие YOLO Vision] (https://www.youtube.com/playlist?list=PL1FZnkj4ad1NHVC7CMc3pjSQ-JRK-Ev6O): PaddleDetection была приглашена для общения с экспертами в области компьютерного зрения со всего мира в качестве первого мероприятия, посвящённого YOLO.

Примеры промышленных учебных пособий (industrial_tutorial/README.md)

• Обнаружение повёрнутых объектов на основе PP-YOLOE-R (https://aistudio.baidu.com/aistudio/projectdetail/5058293).

• Обнаружение воздушных изображений на основе PP-YOLOE-SOD (https://aistudio.baidu.com/aistudio/projectdetail/5036782).

• Распознавание падений на основе PP-Human v2 (https://aistudio.baidu.com/aistudio/projectdetail/4606001).

• Интеллектуальное распознавание фитнеса на основе PP-TinyPose Plus (https://aistudio.baidu.com/aistudio/projectdetail/4385813).

• Обнаружение мусора на дорогах на основе PP-PicoDet Plus (https://aistudio.baidu.com/aistudio/projectdetail/3561097).

• Статистика потока посетителей на основе FairMOT (https://aistudio.baidu.com/aistudio/projectdetail/2421822).

• Анализ гостей на основе PP-Human (https://aistudio.baidu.com/aistudio/projectdetail/4537344).

• Другие примеры (industrial_tutorial/README.md). Приложения

• Фитнес-приложение для мобильных устройств на базе Android (https://github.com/zhiboniu/pose_demo_android).

• Интерфейс визуализации GUI для PP-Tracking (https://github.com/yangyudong2020/PP-Tracking_GUi).

Рекомендуемые сторонние руководства

• Развёртывание PaddleDetection для Windows I (https://zhuanlan.zhihu.com/p/268657833).
• Развёртывание PaddleDetection для Windows II (https://zhuanlan.zhihu.com/p/280206376).
• Развёртывание PaddleDetection на Jestson Nano (https://zhuanlan.zhihu.com/p/319371293).
• Как развернуть модель YOLOv3 на Raspberry Pi для обнаружения шлема (https://github.com/PaddleCV-FAQ/PaddleDetection-FAQ/blob/main/Lite%E9%83%A8%E7%BD%B2/yolov3_for_raspi.md).
• Использование SSD-MobileNetv1 в проекте — от набора данных до развёртывания на Raspberry Pi (https://github.com/PaddleCV-FAQ/PaddleDetection-FAQ/blob/main/Lite%E9%83%A8%E7%BD%B2/ssd_mobilenet_v1_for_raspi.md).

Обновления версий

Пожалуйста, обратитесь к примечанию к выпуску для получения более подробной информации об обновлениях.

Лицензия

PaddlePaddle предоставляется по лицензии Apache 2.0.

Вклад вашего кода

Мы ценим ваш вклад и ваши отзывы!

• Спасибо Mandroide за очистку кода.
• Спасибо FL77N за модель Sparse-RCNN.
• Спасибо Chen-Song за модель Swin Faster-RCNN.
• Спасибо yangyudong, hchhtc123 за разработку интерфейса PP-Tracking GUI.
• Спасибо Shigure19 за разработку фитнес-приложения PP-TinyPose.
• Спасибо manangoel99 за методы визуализации Wandb.

Цитата

@misc{ppdet2019,
title={PaddleDetection, Object detection and instance segmentation toolkit based on PaddlePaddle.},
author={PaddlePaddle Authors},
howpublished = {\url{https://github.com/PaddlePaddle/PaddleDetection}},
year={2019}
}