OSCHINA-MIRROR/openvinotoolkit-prc-mmaction2

Введение

OpenVINO™ Training Extensions MMAction2 — это инструмент с открытым исходным кодом для понимания действий на основе PyTorch, который является частью OpenVINO™ Training Extensions (https://github.com/openvinotoolkit/training_extensions).

Проект основан на MMAction2 от open-mmlab (https://github.com/open-mmlab/mmaction2).

В основной ветке работает с PyTorch 1.3+.

Основные функции

Модульный дизайн Мы разделяем структуру понимания действий на разные компоненты, и можно легко создать индивидуальную структуру понимания действий, комбинируя различные модули.
Поддержка различных наборов данных Инструмент напрямую поддерживает несколько наборов данных: UCF101, Kinetics-400, Something-Something V1&V2, Moments in Time, Multi-Moments in Time, THUMOS14 и др.
Поддержка нескольких структур понимания действий MMAction2 реализует популярные структуры для понимания действий:

Для распознавания действий реализованы различные алгоритмы, включая TSN, TSM, TIN, R(2+1)D, I3D, SlowOnly, SlowFast, CSN, Non-local и др.
Для временной локализации действий мы реализуем BSN, BMN, SSN.

Хорошо протестировано и задокументировано Предоставляем подробную документацию и справочную информацию по API, а также модульные тесты.

Лицензия

Этот проект выпущен под лицензией Apache 2.0 (LICENSE).

Журнал изменений

Версия v0.6.0 была выпущена 9 февраля 2020 года. Пожалуйста, обратитесь к changelog.md для получения подробной информации и истории выпусков.

Сравнение производительности

Модель	Ввод	IO-бэкэнд	Размер пакета x количество GPU	MMAction2 (с/итерация)	MMAction (с/итерация)	Модуль временного сдвига (с/итерация)	PySlowFast (с/итерация)
TSN (https://openmmlab.oss-accelerate.aliyuncs.com/mmaction/benchmark/recognition/tsn/tsn_r50_1x1x3_100e_kinetics400_rgb.py)	256p rawframes	Memcached	32x8	0,32	0,38	0,42	x
TSN (https://openmmlab.oss-accelerate.aliyuncs.com/mmaction/benchmark/recognition/tsn/tsn_r50_video_1x1x3_100e_kinetics400_rgb.py)	256p dense-encoded video	Диск	32x8	0,61	x	x	TODO
I3D heavy (https://openmmlab.oss-accelerate.aliyuncs.com/mmaction/benchmark/recognition/i3d/i3d_r50_video_heavy_8x8x1_100e_kinetics400_rgb.py)	256p videos	Диск	8x8	0,34	x	x	0,44
0.43 (https://openmmlab.oss-accelerate.aliyuncs.com/mmaction/benchmark/recognition/mmaction2/i3d_256p_rawframes_memcahed_8x8.zip)	0.56 (https://openmmlab.oss-accelerate.aliyuncs.com/mmaction/benchmark/recognition/mmaction/i3d_256p_rawframes_memcached_8x8.zip).

TSM: 256p rawframes | Memcached | 8x8 | 0,31 (https://openmmlab.oss-accelerate.aliyuncs.com/mmaction/benchmark/recognition/mmaction2/tsm_256p_rawframes_memcahed_8x8.zip).

Slowonly: 256p videos | Disk | 8x8 | 0,32 (https://openmmlab.oss-accelerate.aliyuncs.com/mmaction/benchmark/recognition/mmaction2/slowonly_256p_videos_disk_8x8.zip).

Slowfast: 256p videos | Disk | 8x8 | 0,69 (https://openmmlab.oss-accelerate.aliyuncs.com/mmaction/benchmark/recognition/mmaction2/slowfast_256p_videos_disk_8x8.zip).

R(2+1)D: 256p videos | Disk | 8x8 | 0,45 (https://openmmlab.oss-accelerate.aliyuncs.com/mmaction/benchmark/recognition/mmaction2/r2plus1d_256p_videos_disk_8x8.zip).