OpenMMLab: Оптический поток в инструментах и тестах

MMFlow — это набор инструментов для оптического потока на основе PyTorch, который является одним из проектов OpenMMLab.

Основной код текущей ветки поддерживает версии PyTorch 1.5 и выше.

Введение

MMFlow представляет собой первый набор инструментов, обеспечивающий унифицированную реализацию и оценку оптических потоков. Он предлагает модульную структуру, которая позволяет пользователям легко создавать собственные модели оптических потоков путём комбинирования различных модулей. Кроме того, MMFlow предоставляет множество готовых алгоритмов и наборов данных, таких как FlowNet, PWC-Net, RAFT и другие.

Основные характеристики

• Унифицированная структура для первого алгоритма оптического потока: MMFlow обеспечивает единую платформу для реализации и оценки различных методов оптического потока.
• Модульная конструкция: MMFlow разделяет процесс оценки оптического потока на отдельные модули, что позволяет легко комбинировать их для создания пользовательских моделей.
• Богатый выбор готовых алгоритмов и данных: MMFlow включает множество популярных алгоритмов оптического потока, таких как FlowNet, PWC-Net и RAFT, а также предоставляет инструменты для работы с различными наборами данных, такими как FlyingChairs, FlyingThings3D, Sintel и KITTI.

Обновление журнала

Последняя версия v0.5.2 была выпущена 10 января 2023 года и включает поддержку механизма внимания в flow1d. Для получения более подробной информации об обновлениях рекомендуется обратиться к файлу changelog.md.

Установка

Для установки и настройки рекомендуется ознакомиться с инструкциями в файле install.md и документе по подготовке данных dataset_prepare.md.

Быстрое начало работы

Если вы новичок в области оптического потока, рекомендуется начать с изучения основ в разделе intro.md. Если у вас уже есть опыт работы с оптическим потоком, обратитесь к разделу getting_started для начала работы с MMFlow. Также доступны дополнительные руководства по настройке файлов конфигурации, моделированию, тонкой настройке моделей, предварительной обработке данных и добавлению новых модулей.

В разделе model_zoo можно найти результаты тестов и модели.

Поддерживаются следующие алгоритмы:

• FlowNet (ICCV'2015);
• FlowNet2 (CVPR'2017);
• PWC-Net (CVPR'2018);
• LiteFlowNet (CVPR'2018);
• LiteFlowNet2 (TPAMI'2020);
• IRR (CVPR'2019);
• MaskFlownet (CVPR'2020);
• RAFT (ECCV'2020);
• GMA (ICCV' 2021).

Руководство по вкладу

Мы ценим вклад всех участников в улучшение MMFlow. Подробные инструкции по участию в проекте можно найти в CONTRIBUTING.md.

Цитирование

Если проект оказался полезным для вашего исследования, рассмотрите возможность его цитирования:

@misc{2021mmflow,
    title={{MMFlow}: OpenMMLab Optical Flow Toolbox and Benchmark},
    author={MMFlow Contributors},
    howpublished = {\url{https://github.com/open-mmlab/mmflow}},
    year={2021}
}

Лицензия

Проект использует лицензию Apache 2.0.

Другие проекты OpenMMLab

OpenMMLab также предлагает другие проекты, такие как MMCV (вычислительная библиотека для компьютерного зрения), MIM (унифицированный вход для проектов, алгоритмов и моделей), MMClassification (набор инструментов для классификации изображений) и MMDetection (инструменты для обнаружения объектов). Инструменты для обнаружения целей

• MMDetection3D: новая универсальная платформа OpenMMLab для 3D обнаружения целей.
• MMRotate: набор инструментов и тестов для обнаружения вращающихся рамок от OpenMMLab.
• MMsegmentation: набор инструментов для семантической сегментации от OpenMMLab.
• MMOCR: пакет инструментов для полного процесса обнаружения, распознавания и понимания текста от OpenMMLab.
• MMPose: набор инструментов от OpenMMLab для оценки позы.
• MMHuman3D: набор инструментов с тестами для параметризации моделей человеческого тела от OpenMMLab.
• MMSelfSup: набор инструментов и тесты для самоконтролируемого обучения от OpenMMLab.
• MMRazor: набор инструментов и тесты для сжатия моделей от OpenMMLab.
• MMFewShot: набор инструментов и тесты для обучения на малом количестве данных от OpenMMLab.
• MMAction2: новый набор инструментов для понимания видео от OpenMMLab.
• MMTracking: интегрированная платформа для восприятия видеоцелей от OpenMMLab.
• MMFlow: набор инструментов и тесты для оценки оптического потока от OpenMMLab.
• MMEditing: набор инструментов для редактирования изображений и видео от OpenMMLab.
• MMGeneration: набор инструментов для создания изображений и видеомоделей от OpenMMLab.
• MMDeploy: фреймворк для развёртывания моделей от OpenMMLab.

Добро пожаловать в сообщество OpenMMLab

Сканируйте QR-коды ниже, чтобы подписаться на официальный аккаунт команды OpenMMLab на Zhihu, присоединиться к официальной группе общения QQ или связаться с официальным помощником по WeChat.

В сообществе OpenMMLab мы будем:

• 📢 делиться передовыми технологиями основных AI-фреймворков;
• 💻 объяснять исходный код популярных модулей PyTorch;
• 📰 публиковать новости об OpenMMLab;
• 🚀 представлять передовые алгоритмы, разработанные OpenMMLab;
• 🏃 получать более эффективные ответы на вопросы и обратную связь;
• 🔥 предоставлять платформу для полноценного общения с разработчиками из разных отраслей.

Вас ждёт множество полезной информации 📘. Присоединяйтесь к нам, OpenMMLab ждёт вас 👬.