Введение

MMTracking — это набор инструментов для компьютерного зрения с открытым исходным кодом, созданный на основе PyTorch. Он является частью проекта OpenMMLab.

Основная ветвь работает с PyTorch 1.5+.

Основные функции

• Первая унифицированная платформа для видеоаналитики: MMTracking — первый открытый набор инструментов, объединяющий разнообразные задачи видеоаналитики, включая обнаружение объектов в видео, отслеживание нескольких и одного объекта, а также сегментацию экземпляров видео.

• Модульная структура: мы разделяем структуру видеоаналитической системы на различные компоненты, что позволяет легко создавать индивидуальные методы путём комбинирования разных модулей.

• Просто, быстро и эффективно:

  • просто: MMTracking взаимодействует с другими проектами OpenMMLab. Он построен на базе MMDetection, благодаря чему можно использовать любой детектор, просто изменив конфигурацию.
  • быстро: все операции выполняются на графических процессорах. Скорость обучения и вывода результатов быстрее или сопоставима с другими реализациями.
  • эффективно: мы воспроизводим передовые модели, некоторые из которых даже превосходят официальные реализации.

Что нового?

Мы выпускаем MMTracking 1.0.0rc0, первую версию MMTracking версии 1.x.

На основе нового тренировочного движка (https://github.com/open-mmlab/mmengine) MMTracking 1.x унифицирует интерфейсы наборов данных, моделей, оценки и визуализации.

В MMTracking 1.x также поддерживается больше методов, таких как StrongSORT для MOT, Mask2Former для VIS и PrDiMP для SOT.

Пожалуйста, обратитесь к ветке dev-1.x (https://github.com/open-mmlab/mmtracking/tree/dev-1.x) для использования MMTracking версии 1.x.

Установка

Инструкции по установке см. в файле install.md (docs/en/install.md).

Начало работы

См. файлы dataset.md (docs/en/dataset.md) и quick_run.md (docs/en/quick_run.md), чтобы узнать, как использовать MMTracking.

Предоставляется учебник Colab. Вы можете предварительно просмотреть ноутбук здесь (./demo/MMTracking_Tutorial.ipynb) или запустить его напрямую. MMTracking: OpenMMLab — набор инструментов и эталонный тест для восприятия видео

Также существуют обучающие материалы, такие как:

• изучение конфигов;
• пример подробного описания конфигурации vid;
• пример подробного описания конфигурации mot;
• пример подробного описания конфигурации sot;
• настройка датасета;
• настройка пайплайна данных;
• настройка модели vid;
• настройка модели mot;
• настройка модели sot;
• настройка параметров выполнения и полезные инструменты.

Эталонный тест и модельный зоопарк

Результаты и модели доступны в модельном зоопарке.

Обнаружение объектов на видео

Поддерживаемые методы:

• DFF (CVPR 2017);
• FGFA (ICCV 2017);
• SELSA (ICCV 2019);
• Temporal RoI Align (AAAI 2021).

Поддерживаются следующие датасеты:

• ILSVRC (http://image-net.org/challenges/LSVRC/2017/).

Отслеживание одиночных объектов

Поддерживаемые методы:

• SiameseRPN++ (CVPR 2019);
• STARK (ICCV 2021);
• MixFormer (CVPR 2022);
• PrDiMP (WIP) (CVPR2020).

Поддерживаются следующие датасеты:

• LaSOT (http://vision.cs.stonybrook.edu/~lasot/);
• UAV123 (https://cemse.kaust.edu.sa/ivul/uav123/);
• TrackingNet (https://tracking-net.org/);
• OTB100 (http://www.visual-tracking.net/);
• GOT10k (http://got-10k.aitestunion.com/);
• VOT2018 (https://www.votchallenge.net/vot2018/).

Многообъектное отслеживание

Поддерживаемые методы:

• SORT/DeepSORT (ICIP 2016/2017);
• Tracktor (ICCV 2019);
• QDTrack (CVPR 2021);
• ByteTrack (ECCV 2022);
• OC-SORT (arXiv 2022).

Поддерживаются следующие датасеты:

• MOT Challenge (https://motchallenge.net/);
• CrowdHuman (https://www.crowdhuman.org/);
• LVIS (https://www.lvisdataset.org/);
• TAO (https://taodataset.org/);
• DanceTrack (https://arxiv.org/abs/2111.14690).

Сегментация экземпляров видеообъектов

Поддерживается метод MaskTrack R-CNN (ICCV 2019).

Поддерживается датасет YouTube-VIS (https://youtube-vos.org/dataset/vis/).

Вклад

Мы ценим любой вклад в улучшение MMTracking. Пожалуйста, обратитесь к CONTRIBUTING.md для ознакомления с руководством по внесению вклада и к этой дискуссии для ознакомления с планом развития.

Признание

MMTracking — это проект с открытым исходным кодом, который приветствует любые вклады и отзывы. Мы надеемся, что набор инструментов и эталонные тесты помогут растущему исследовательскому сообществу, предоставляя гибкий и стандартизированный инструментарий для реализации существующих методов и разработки новых методов восприятия видео.

Цитирование

Если вы считаете этот проект полезным в своих исследованиях, пожалуйста, рассмотрите возможность цитирования:

@misc{mmtrack2020,
    title={{MMTracking: OpenMMLab} video perception toolbox and benchmark},
    author={MMTracking Contributors},
    howpublished = {\url{https://github.com/open-mmlab/mmtracking}},
    year={2020}
}

Лицензия

Этот проект выпущен под лицензией Apache 2.0.

Проекты в OpenMMLab

• MMCV (https://github.com/open-mmlab/mmcv): основополагающая библиотека OpenMMLab для компьютерного зрения.
• MIM (https://github.com/open-mmlab/mim): MIM устанавливает пакеты OpenMMLab.
• MMClassification (https://github.com/open-mmlab/mmclassification): набор инструментов для классификации изображений и эталонный тест от OpenMMLab. MMDetection — набор инструментов и тестов для обнаружения объектов от OpenMMLab.

MMDetection3D — платформа нового поколения от OpenMMLab для общего обнаружения трёхмерных объектов.

MMYOLO — набор инструментов серии YOLO и тесты от OpenMMLab.

MMRotate — набор инструментов для обнаружения повёрнутых объектов и тесты от OpenMMLab.

MMSegmentation — набор семантической сегментации и тесты от OpenMMLab.

MMOCR — набор для обнаружения, распознавания и понимания текста от OpenMMLab.

MMPose — набор оценки позы и тесты от OpenMMLab.

MMHuman3D — набор параметрической модели человека и тесты от OpenMMLab.

MMSelfSup — набор самообучающихся алгоритмов и тесты от OpenMMLab.

MMRazor — набор алгоритмов сжатия моделей и тесты от OpenMMLab.

MMFewShot — набор алгоритмов обучения на малом количестве данных и тесты от OpenMMLab.

MMAction2 — набор алгоритмов понимания действий и тесты от OpenMMLab нового поколения.

MMTracking — набор видеовосприятия и тесты от OpenMMLab.

MMFlow — набор оптических потоков и тесты от OpenMMLab.

MMEditing — набор редактирования изображений и видео от OpenMMLab.

MMGeneration — набор генеративных моделей и тесты от OpenMMLab.

MMDeploy — набор средств развёртывания моделей глубокого обучения от OpenMMlab.