OSCHINA-MIRROR/open-mmlab-mmpose

Сайт OpenMMLab ^{НОВОСТИ} Платформа OpenMMLab ^{ПОПРОБУЙТЕ}

## ВведениеEnglish | [Основные возможности](README_CN.md)

MMPose — это открытая библиотека для оценки поз на основе PyTorch. Это часть проекта OpenMMLab.

Основная ветка работает с PyTorch 1.6+.

https://user-images.githubusercontent.com/15977946/124654387-0fd3c500-ded1-11eb-84f6-24eeddbf4d91.mp4

Основные возможности

Поддержка различных задач

Мы поддерживаем широкий спектр популярных задач анализа поз в текущем исследовательском сообществе, включая 2D-оценку поз для нескольких человек, 2D-оценку поз рук, 2D-определение ключевых точек лица, 133-точечную оценку поз всего тела, восстановление Yö3D-сетки человеческого тела, определение ключевых точек для одежды и оценку поз животных. Подробнее см. Демо.
Высокая эффективность и точность

MMPose реализует несколько передовых (SOTA) моделей глубокого обучения, включая как верхнеуровневые, так и нижнеуровневые подходы. Мы достигаем более высокой скорости обучения и точности по сравнению с другими популярными кодбейсами, такими как HRNet. Подробнее см. benchmark.md.
Поддержка различных датасетов

Библиотека напрямую поддерживает несколько популярных и представительных датасетов, включая COCO, AIC, MPII, MPII-TRB, OCHuman и другие. Подробнее см. dataset_zoo.
Хорошо спроектированная, протестированная и документированная Мы разбиваем MMPose на различные компоненты, и пользователь может легко создать кастомизированную систему оценки поз, объединяя различные модули. Мы предоставляем подробную документацию и справку по API, а также тесты.

Что нового

Мы рады представить YOLOX-Pose, одноэтапную модель оценки поз для нескольких человек на основе YOLOX. Подробнее см. наш проект.

yolox-pose_intro

Добро пожаловать на проекты MMPose, где вы можете получить доступ к последним функциям MMPose, а также поделиться своими идеями и кодом с сообществом сразу. Вклад в MMPose будет простым и гладким:
- Предоставьте простой и гибкий способ интеграции алгоритмов, функций и приложений в MMPose
- Разрешите гибкую структуру кода и стиль; требуется только краткий процесс проверки кода
- Создайте отдельные проекты с полной мощностью MMPose, но не привязанные к тяжелым фреймворкам
- Просмотр новых проектов:
- Ставьте себя в ряд вкладчиков и делайте MMPose еще лучше. Начните свой путь с примерного проекта

2022-04-06: MMPose v1.0.0 официально выпущен, основные обновления включают: - Выпуск YOLOX-Pose, одноэлементной модели оценки многочеловеческих поз на основе YOLOX
- Разработка MMPose для AIGC на основе RTMPose, генерирующей высококачественные изображения скелета для проектов AIGC, управляемых позами
- Поддержка визуализации скелета в стиле OpenPose
- Более полная и удобная для пользователя документация и руководства Для получения дополнительной информации о новых обновлениях, внесенных MMPose v1.0.0, обратитесь к заметкам о выпуске!

Установка

Для получения более подробной информации об установке и подготовке набора данных обратитесь к installation.md.

Начало работы

Мы предоставили серию руководств по базовому использованию MMPose для новых пользователей:

Для базового использования MMPose:
- 20-минутное путешествие по MMPose
- Демо
- Инференс
- Конфигурации
- Подготовка наборов данных
- Обучение и тестирование2. Для разработчиков, желающих разрабатывать на основе MMPose:
- Узнайте о кодеках
- Диаграмма потока данных в MMPose
- Реализация новых моделей
- Настройка наборов данных
- Настройка трансформаций данных
- Настройка оптимизатора
- Настройка журналирования
- Как развернуть
- Анализ моделей
- Руководство по миграции
Для исследователей и разработчиков, желающих внести свой вклад в MMPose: - Руководство по вкладу
Для некоторых распространенных проблем мы предоставляем список часто задаваемых вопросов:
- FAQ

Модельный зоопарк

Результаты и модели доступны в файле README.md конфигурационной директории каждого метода. Обзор можно найти на странице Модельный зоопарк.

Поддерживаемые алгоритмы:

- [x] [DeepPose](https://mmpose. readthedocs. io/en/latest/model_zoo_papers/algorithms. html#deeppose-cvpr-2014) (CVPR'2014) - [x] [CPM](https://mmpose. readthedocs. io/en/latest/model_zoo_papers/backbones. html#cpm-cvpr-2016) (CVPR'2016) - [x] [Hourglass](https://mmpose. readthedocs. io/en/latest/model_zoo_papers/backbones. html#hourglass-eccv-2016) (ECCV'2016) - [ ] [SimpleBaseline3D](https://mmpose. readthedocs. io/en/latest/model_zoo_papers/algorithms. html#simplebaseline3d-iccv-2017) (ICCV'2017) - [ ] [Associative Embedding](https://mmpose. readthedocs. io/en/latest/model_zoo_papers/algorithms. html#associative-embedding-nips-2017) (NeurIPS'2017) - [x] [SimpleBaseline2D](https://mmpose. readthedocs. io/en/latest/model_zoo_papers/algorithms. html#simplebaseline2d-eccv-2018) (ECCV'2018) - [x] [DSNT](https://mmpose. readthedocs. io/en/latest/model_zoo_papers/algorithms. html#dsnt-2018) (ArXiv'2021) - [x] [HRNet](https://mmpose. readthedocs. io/en/latest/model_zoo_papers/backbones. html#hrnet-cvpr-2019) (CVPR'2019) - [x] [IPR](https://mmpose. readthedocs. io/en/latest/model_zoo_papers/algorithms. html#ipr-eccv-2018) (ECCV'2018) - [ ] [VideoPose3D](https://mmpose. readthedocs. io/en/latest/model_zoo_papers/algorithms. html#videopose3d-cvpr-2019) (CVPR'2019) - [x] [HRNetv2](https://mmpose. readthedocs. io/en/latest/model_zoo_papers/backbones. html#hrnetv2-tpami-2019) (TPAMI'2019) - [x] [MSPN](https://mmpose. readthedocs. io/en/latest/model_zoo_papers/backbones. html#mspn-arxiv-2019) (ArXiv'2019) - [x] [SCNet](https://mmpose. readthedocs. io/en/latest/model_zoo_papers/backbones. html#scnet-cvpr-2020) (CVPR'2020) - [ ] [HigherHRNet](https://mmpose. readthedocs. io/en/latest/model_zoo_papers/backbones. html#higherhrnet-cvpr-2020) (CVPR'2020) - [x] [RSN](https://mmpose. readthedocs. io/en/latest/model_zoo_papers/backbones. html#rsn-eccv-2020) (ECCV'2020) - [ ] [InterNet](https://mmpose. readthedocs. io/en/latest/model_zoo_papers/algorithms. html#internet-eccv-2020) (ECCV'2020) - [ ] [VoxelPose](https://mmpose. readthedocs. io/en/latest/model_zoo_papers/algorithms. html#voxelpose-eccv-2020) (ECCV'2020) - [x] [LiteHRNet](https://mmpose. readthedocs. io/en/latest/model_zoo_papers/backbones. html#litehrnet-cvpr-2021) (CVPR'2021) - [x] [ViPNAS](https://mmpose. readthedocs. io/en/latest/model_zoo_papers/backbones. html#vipmapnas-arxiv-2021) (ArXiv'2021)io/en/latest/model_zoo_papers/backbones.html#vipnas-cvpr-2021) (CVPR'2021) - [x] [Debias-IPR](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/algorithms.html#debias-ipr) (ICCV'2021) - [x] [SimCC](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/algorithms.html#simcc-eccv-2022) (ECCV'2022)

Поддерживаемые техники:

Поддерживаемые датасеты:

- [x] [AFLW](https://mmpose. readthedocs. io/en/latest/model_zoo_papers/datasets. html#aflw-iccvw-2011) \[[homepage](https://www. tugraz. at/institute/icg/research/team-bischof/lrs/downloads/aflw/)\] (ICCVW'2011) - [x] [sub-JHMDB](https://mmpose. readthedocs. io/en/latest/model_zoo_papers/datasets. html#jhmdb-iccv-2013) \[[homepage](http://jhmdb. is. tue. mpg. de/dataset)\] (ICCV'2013) - [x] [COFW](https://mmpose. readthedocs. io/en/latest/model_zoo_papers/datasets. html#cofw-iccv-2013) \[[homepage](http://www. vision. caltech. edu/xpburgos/ICCV13/)\] (ICCV'2013) - [x] [MPII](https://mmpose. readthedocs. io/en/latest/model_zoo_papers/datasets. html#mpii-cvpr-2014) \[[homepage](http://human-pose. mpi-inf. mpg. de/)\] (CVPR'2014) - [x] [Human3. 6M](https://mmpose. readthedocs. io/en/latest/model_zoo_papers/datasets. html#human3-6m-tpami-2014) \[[homepage](http://vision. imar. ro/human3. 6m/description. php)\] (TPAMI'2014) - [x] [COCO](https://mmpose. readthedocs. io/en/latest/model_zoo_papers/datasets. html#coco-eccv-2014) \[[homepage](http://cocodataset. org/)\] (ECCV'2014) - [x] [CMU Panoptic](https://mmpose. readthedocs. io/en/latest/model_zoo_papers/datasets. html#cmu-panoptic-iccv-2015) \[[homepage](http://domedb. perception. cs. cmu. edu/)\] (ICCV'2015) - [x] [DeepFashion](https://mmpose. readthedocs. io/en/latest/model_zoo_papers/datasets. html#deepfashion-cvpr-2016) \[[homepage](http://mmlab. ie. cuhk. edu. hk/projects/DeepFashion/LandmarkDetection. html)\] (CVPR'2016) - [x] [300W](https://mmpose. readthedocs. io/en/latest/model_zoo_papers/datasets. html#300w-imavis-2016) \[[homepage](https://ibug. doc. ic. ac. uk/resources/300-W/)\] (IMAVIS'2016) - [x] [RHD](https://mmpose. readthedocs. io/en/latest/model_zoo_papers/datasets. html#rhd-iccv-2017) \[[homepage](https://lmb. informatik. uni-freiburg. de/resources/datasets/RenderedHandposeDataset. en. html)\] (ICCV'2017) - [x] [CMU Panoptic HandDB](https://mmpose. readthedocs. io/en/latest/model_zoo_papers/datasets. html#cmu-panoptic-handdb-cvpr-2017) \[[homepage](http://domedb. perception. cs. cmu. edu/handdb. html)\] (CVPR'2017) - [x] [AI Challenger](https://mmpose. readthedocs. io/en/latest/model_zoo_papers/datasets. html#ai-challenger-arxiv-2017) \[[homepage](https://github. com/AIChallenger/AI_Challenger_2017)\] (ArXiv'2017) - [x] [MHP](https://mmpose. readthedocs. io/en/latest/model_zoo_papers/datasets. html#mhp-cvpr-2018) \[[homepage](https://github. com/Microsoft/MHP)\] (CVPR'2018)io/en/latest/model_zoo_papers/datasets.html#mhp-acm-mm-2018) \[[homepage](https://lv-mhp.github.io/)\] (ACM MM'2018) - [x] [WFLW](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#wflw-cvpr-2018) \[[homepage](https://wywu.github.io/projects/LAB/WFLW.html)\] (CVPR'2018) - [x] [PoseTrack18](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#posetrack18-cvpr- Yöntem'2018) \[[homepage](https://posetrack.net/users/download.php)\] (CVPR'2018) - [x] [OCHuman](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#ochuman-cvpr-2019) \[[homepage](https://github.com/liruilong940607/OCHumanApi)\] (CVPR'2019) - [x] [CrowdPose](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#crowdpose-cvpr-2019) \[[homepage](https://github.com/Jeff-sjtu/CrowdPose)\] (CVPR'2019) - [x] [MPII-TRB](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#mpii-trb-iccv-2019) \[[homepage](https://github.com/kennymckormick/Triplet-Representation-of-human-Body)\] (ICCV'2019) - [x] [FreiHand](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#freihand-iccv-2019) \[[homepage](https://lmb.informatik.uni-freiburg.de/projects/freihand/)\] (ICCV'2019) - [x] [Animal-Pose](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#animal-pose-iccv-2019) \[[homepage](https://sites.google.com/view/animal-pose/)\] (ICCV'2019) - [x] [OneHand10K](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#onehand10k-tcsvt-2019) \[[homepage](https://www.yangangwang.com/papers/WANG-MCC-2018-10.html)\] (TCSVT'2019) - [x] [Vinegar Fly](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#vinegar-fly-nature-methods-2019) \[[homepage](https://github.com/jgraving/DeepPoseKit-Data)\] (Nature Methods'2019) - [x] [Desert Locust](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#desert-locust-elife-2019) \[[homepage](https://github.com/jgraving/DeepPoseKit-Data)\] (eLife'2019) - [x] [Grévy’s Zebra](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#grevys-zebra-elife-2019) \[[homepage](https://github.com/jgraving/DeepPoseKit-Data)\] (eLife'2019) - [x] [ATRW](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#atrw-acm-mm-2020) \[[homepage](https://cvwc2019.github.io/challenge.html)\] (ACM MM'2020) - [x] [Halpe](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#halpe-cvpr-2020) \[[homepage](https://github.com/raqueluchavez/HALPE)\] (CVPR'2020) - [x] [COCO-WholeBody](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#coco-wholebody-eccv-2020) \[[homepage](https://github.com/jin-s13/COCO-WholeBody/)\] (ECCV'2020) - [x] [MacaquePose](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#macaquepose-biorxiv-2020) \[[homepage](http://www.pri.kyoto-u.ac.jp/datasets/macaquepose/index.html)\] (bioRxiv'2020) - [x] [InterHand2.6M](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#interhand2-6m-eccv-2020) \[[homepage](https://mks0601.github.io/InterHand2.6M/)\] (ECCV'2020) - [x] [AP-10K](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#ap-10k-neurips-2021) \[[homepage](https://github.com/AlexTheBad/AP-10K)\] (NeurIPS'2021) - [x] [Horse-10](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#horse-10-wacv-2021) \[[homepage](http://www.mackenziemathislab.org/horse10)\] (WACV'2021)

Поддерживаемые backbones:

Запрос модели

Мы будем следить за последними достижениями сообщества и поддерживать более популярные алгоритмы и фреймворки. Если у вас есть какие-либо запросы на функциональность, пожалуйста, оставьте комментарий в Roadmap MMPose.

ВкладМы ценим все вклады, направленные на улучшение MMPose. Пожалуйста, обратитесь к CONTRIBUTING.md для руководства по вкладу.

Отзывы

MMPose — это открытый проект, внесённый исследователями и инженерами из различных университетов и компаний. Мы благодарим всех вкладчиков, которые реализуют свои методы или добавляют новые функции, а также пользователей, которые предоставляют ценные отзывы. Мы желаем, чтобы этот инструментарий и бенчмарк служили растущему исследовательскому сообществу, предоставляя гибкий инструментарий для переимплементации существующих методов и разработки собственных новых моделей.

Цитирование

Если вы находите этот проект полезным в вашем исследовании, пожалуйста, рассмотрите возможность цитирования:

@misc{mmpose2020,
    title={OpenMMLab Инструментарий и Бенчмарк для Оценки Поз},
    author={Вкладчики MMPose},
    howpublished = {\url{https://github.com/open-mmlab/mmpose}},
    year={2020}
}

Лицензия

Этот проект распространяется под лицензией Apache 2.0.## Проекты в OpenMMLab- MMEngine: Основная библиотека OpenMMLab для обучения глубоких моделей машинного обучения.

MMCV: Основная библиотека OpenMMLab для компьютерного зрения.
MIM: MIM устанавливает пакеты OpenMMLab.
MMClassification: Инструментарий и метрики OpenMMLab для классификации изображений.
MMDetection: Инструментарий и метрики OpenMMLab для детекции.
MMDetection3D: Платформа следующего поколения OpenMMLab для общей детекции 3D-объектов.
MMRotate: Инструментарий и метрики OpenMMLab для детекции поворачивающихся объектов.
MMSegmentation: Инструментарий и метрики OpenMMLab для сегментации.
MMOCR: Инструментарий и метрики OpenMMLab для детекции, распознавания и понимания текста.
MMPose: Инструментарий и метрики OpenMMLab для оценки поз.
MMHuman3D: Инструментарий и метрики OpenMMLab для 3D-моделей человека.
MMSelfSup: Инструментарий и метрики OpenMMLab для самонаучения.
MMRazor: Инструментарий и метрики OpenMMLab для сжатия моделей.
MMFewShot: Инструментарий и метрики OpenMMLab для обучения с малым количеством данных.
MMAction2: Инструментарий и метрики OpenMMLab для анализа видео.com/open-mmlab/mmaction2): Инструментарий и метрики следующего поколения OpenMMLab для понимания действий.
MMTracking: Инструментарий и метрики OpenMMLab для видео-распознавания.
MMFlow: Инструментарий и метрики OpenMMLab для оптического потока.
MMEditing: Инструментарий OpenMMLab для редактирования изображений и видео.
MMGeneration: Инструментарий OpenMMLab для генеративных моделей изображений и видео.
MMDeploy: Фреймворк для развертывания моделей OpenMMLab.