## ВведениеАнглийский | [Китайский](README_CN.md)
MMPose — это открытый набор инструментов для распознавания поз с использованием PyTorch.
Это часть проекта OpenMMLab.
Основной ветвью поддерживаются версии PyTorch 1.6+.
https://user-images.githubusercontent.com/15977946/124654387-0fd3c500-ded1-11eb-84f6-24eeddbf4d91.mp4
Основные возможности
-
Поддержка различных задач
Мы поддерживаем широкий спектр актуальных задач анализа поз, включая двухмерное многопользовательское распознавание поз человека, двухмерное распознавание поз рук, двухмерное распознавание ключевых точек лица, распознавание 133 ключевых точек всего тела человека, восстановление трёхмерной сетки человеческого тела, распознавание ключевых точек одежды и распознавание поз животных.
Подробнее см. Демо.
-
Высокая эффективность и точность
MMPose реализует несколько передовых моделей глубинного обучения, включая как верхнеуровневые, так и нижнеуровневые подходы. Мы достигаем более высокой скорости обучения и точности по сравнению с другими популярными библиотеками, такими как HRNet.
Подробнее см. benchmark.md.
-
Поддержка различных данных
Набор инструментов непосредственно поддерживает множество популярных и представительских баз данных, такие как COCO, AIC, MPII, MPII-TRB, OCHuman и другие.
Подробнее см. dataset_zoo.- Хорошо спроектирован, протестирован и документирован
Мы разбили MMPose на различные компоненты, что позволяет легко создавать пользовательскую систему распознавания поз путём объединения различных модулей.
Мы предоставляем подробную документацию и справочник по API, а также тесты.
Что нового
- Мы рады представить YOLOX-Pose, одноэлементную модель для многопользовательского распознавания поз на основе YOLOX. Подробнее см. наш проект.

-
2022-04-06: MMPose v1.0.0 официально выпущена, основные обновления включают: - Выпуск YOLOX-Pose, одноэлементной модели многочеловеческой оценки поз на основе YOLOX
- Разработка MMPose для AIGC на основе RTMPose, создающей высококачественные изображения скелета для проектов AIGC, управляемых позами
- Поддержка визуализации скелета в стиле OpenPose
- Более полная и удобная для пользователя документация и руководства
Для получения более подробной информации о новых возможностях MMPose v1.0.0 обратитесь к заметкам о выпуске.
Установка
Для получения более подробной информации об установке и подготовке данных обратитесь к инструкциям по установке.
Начало работы
Мы предоставили серию учебников о базовом использовании MMPose для новых пользователей:
-
Для базового использования MMPose:
-
Для исследователей и разработчиков, желающих внести свой вклад в MMPose: - Руководство по внесению вклада
-
Для решения некоторых распространенных проблем мы предоставляем список часто задаваемых вопросов:
Клуб моделей
Результаты и модели доступны в файле README.md каждой директории конфигураций метода.
Обзор можно найти на странице Клуб моделей.
Поддерживаемые алгоритмы:
- [x] [DeepPose](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/algorithms.html#deeppose-cvpr-2014) (CVPR'2014)
- [x] [CPM](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/backbones.html#cpm-cvpr-2016) (CVPR'2016)
- [x] [Hourglass](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/backbones.html#hourglass-eccv-2016) (ECCV'2016)
- [ ] [SimpleBaseline3D](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/algorithms.html#simplebaseline3d-iccv-2017) (ICCV'2017)
- [ ] [Associative Embedding](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/algorithms.html#associative-embedding-nips-2017) (NeurIPS'2017)
- [x] [SimpleBaseline2D](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/algorithms.html#simplebaseline2d-eccv-2018) (ECCV'2018)
- [x] [DSNT](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/algorithms.html#dsnt-2018) (ArXiv'2021)
- [x] [HRNet](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/backbones.html#hrnet-cvpr-2019) (CVPR'2019)
- [x] [IPR](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/algorithms.html#ipr-eccv-2018) (ECCV'2018)
- [ ] [VideoPose3D](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/algorithms.html#videopose3d-cvpr-2019) (CVPR'2019)
- [x] [HRNetv2](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/backbones.html#hrnetv2-tpami-2019) (TPAMI'2019)
- [x] [MSPN](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/backbones.html#mspn-arxiv-2019) (ArXiv'2019)
- [x] [SCNet](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/backbones.html#scnet-cvpr-2020) (CVPR'2020)
- [ ] [HigherHRNet](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/backbones.html#higherhrnet-cvpr-2020) (CVPR'2020)
- [x] [RSN](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/backbones.html#rsn-eccv-2020) (ECCV'2020)
- [ ] [InterNet](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/algorithms.html#internet-eccv-2020) (ECCV'2020)
- [ ] [VoxelPose](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/algorithms.html#voxelpose-eccv-2020) (ECCV'2020)
- [x] [LiteHRNet](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/backbones.html#litehrnet-cvpr-2021) (CVPR'2021)
- [x] [ViPNAS](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/backbones.html#vipnas-cvpr-2021) (CVPR'2021)
- [x] [Debias-IPR](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/algorithms.html#debias-ipr-iccv-2021) (ICCV'2021)
- [x] [SimCC](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/algorithms.html#simcc-eccv-2022) (ECCV'2022)
Поддерживаемые техники:
Поддерживаемые наборы данных:
- [x] [AFLW](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#aflw-iccvw-2011) \[[страница проекта](https://www.tugraz.at/institute/icg/research/team-bischof/lrs/downloads/aflw/)\] (ICCVW'2011)
- [x] [sub-JHMDB](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#jhmdb-iccv-2013) \[[страница проекта](http://jhmdb.is.tue.mpg.de/dataset)\] (ICCV'2013)
- [x] [COFW](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#cofw-iccv-2013) \[[страница проекта](http://www.vision.caltech.edu/xpburgos/ICCV13/)\] (ICCV'2013)
- [x] [MPII](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#mpii-cvpr-2014) \[[страница проекта](http://human-pose.mpi-inf.mpg.de/)\] (CVPR'2014)
- [x] [Human3.6M](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#human3-6m-tpami-2014) \[[страница проекта](http://vision.imar.ro/human3.6m/description.php)\] (TPAMI'2014)
- [x] [COCO](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#coco-eccv-2014) \[[страница проекта](http://cocodataset.org/)\] (ECCV'2014)
- [x] [CMU Panoptic](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#cmu-panoptic-iccv-2015) \[[страница проекта](http://domedb.perception.cs.cmu.edu/)\] (ICCV'2015)
- [x] [DeepFashion](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#deepfashion-cvpr-2016) \[[страница проекта](http://mmlab.ie.cuhk.edu.hk/projects/DeepFashion/LandmarkDetection.html)\] (CVPR'2016)
- [x] [300W](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#300w-imavis-2016) \[[страница проекта](https://ibug.doc.ic.ac.uk/resources/300-W/)\] (IMAVIS'2016)
- [x] [RHD](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#rhd-iccv-2017) \[[страница проекта](https://lmb.informatik.uni-freiburg.de/resources/datasets/RenderedHandposeDataset.en.html)\] (ICCV'2017)
- [x] [CMU Panoptic HandDB](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#cmu-panoptic-handdb-cvpr-2017) \[[страница проекта](http://domedb.perception.cs.cmu.edu/handdb.html)\] (CVPR'2017)- [x] [AI Challenger](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#ai-challenger-arxiv-2017) \[[страница проекта](https://github.com/AIChallenger/AI_Challenger_2017)\] (ArXiv'2017)
- [x] [MHP](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#mhp-acm-mm-2018) \[[страница проекта](https://lv-mhp.github.io/dataset)\] (ACM MM'2018)
- [x] [WFLW](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#wflw-cvpr-2018) \[[страница проекта](https://wywu.github.io/projects/LAB/WFLW.html)\] (CVPR'2018)
- [x] [PoseTrack18](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#posetrack18-cvpr-2018) \[[страница проекта](https://posetrack.net/users/download.php)\] (CVPR'2018)
- [x] [OCHuman](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#ochuman-cvpr-2019) \[[страница проекта](https://github.com/liruilong940607/OCHumanApi)\] (CVPR'2019)
- [x] [CrowdPose](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#crowdpose-cvpr-2019) \[[страница проекта](https://github.com/Jeff-sjtu/CrowdPose)\] (CVPR'2019)
- [x] [MPII-TRB](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#mpii-trb-iccv-2019) \[[страница проекта](https://github.com/kennymckormick/Triplet-Representation-of-human-Body)\] (ICCV'2019)
- [x] [FreiHand](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#freihand-iccv-2019) \[[страница проекта](https://lmb.informatik.uni-freiburg.de/projects/freihand/)\] (ICCV'2019)
- [x] [Animal-Pose](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#animal-pose-iccv-2019) \[[страница проекта](https://sites.google.com/view/animal-pose/)\] (ICCV'2019)
- [x] [OneHand10K](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#onehand10k-tcsvt-2019) \[[страница проекта](https://www.yangangwang.com/papers/WANG-MCC-2018-10.html)\] (TCSVT'2019)
- [x] [Vinegar Fly](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#vinegar-fly-nature-methods-2019) \[[страница проекта](https://github.com/jgraving/DeepPoseKit-Data)\] (Nature Methods'2019)
- [x] [Desert Locust](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#desert-locust-nature-communications-2020) \[[страница проекта](https://github.com/jgraving/DeepPoseKit-Data)\] (Nature Communications'2020)html#desert-locust-elife-2019) \[[страница проекта](https://github.com/jgraving/DeepPoseKit-Data)\] (eLife'2019)
- [x] [Grévy’s Zebra](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#grevys-zebra-elife-2019) \[[страница проекта](https://github.com/jgraving/DeepPoseKit-Data)\] (eLife'2019)
- [x] [ATRW](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#atrw-acm-mm-2020) \[[страница проекта](https://cvwc2019.github.io/challenge.html)\] (ACM MM'2020)
- [x] [Halpe](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#halpe-cvpr-2020) \[[страница проекта](https://github.com/Fang-Haoshu/Halpe-FullBody/)\] (CVPR'2020)
- [x] [COCO-WholeBody](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#coco-wholebody-eccv-2020) \[[страница проекта](https://github.com/jin-s13/COCO-WholeBody/)\] (ECCV'2020)
- [x] [MacaquePose](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#macaquepose-biorxiv-2020) \[[страница проекта](http://www.pri.kyoto-u.ac.jp/datasets/macaquepose/index.html)\] (bioRxiv'2020)
- [x] [InterHand2.6M](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#interhand2-6m-eccv-2020) \[[страница проекта](https://mks0601.github.io/InterHand2.6M/)\] (ECCV'2020)
- [x] [AP-10K](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#ap-10k-neurips-2021) \[[страница проекта](https://github.com/AlexTheBad/AP-10K)\] (NeurIPS'2021)
- [x] [Horse-10](https://mmpose.readthedocs.io/en/latest/model_zoo_papers/datasets.html#horse-10-wacv-2021) \[[страница проекта](http://www.mackenziemathislab.org/horse10)\] (WACV'2021)
Поддерживаемые основные архитектуры:
Запрос модели
Мы будем следить за последними достижениями сообщества и поддерживать более популярные алгоритмы и фреймворки. Если у вас есть запросы на новые возможности, пожалуйста, оставьте комментарий в Roadmap MMPose.## Вклад
Мы ценим все вклады, направленные на улучшение MMPose. Пожалуйста, обратитесь к CONTRIBUTING.md для руководства по вкладу.
Отзывы
MMPose — это открытый проект, внесённый исследователями и инженерами из различных университетов и компаний. Мы благодарим всех участников, которые реализуют свои методы или добавляют новые возможности, а также пользователей, предоставляющих ценные отзывы. Мы желаем, чтобы этот набор инструментов и бенчмарк служил растущему сообществу исследователей, предлагая гибкий набор инструментов для переimplementации существующих методов и создания новых моделей.
Цитирование
Если вы находите этот проект полезным в вашем исследовании, пожалуйста, рассмотрите возможность цитирования:
@misc{mmpose2020,
title={OpenMMLab Инструмент для Оценки Поз и Бенчмарк},
author={Конtribутory MMPose},
howpublished = {\url{https://github.com/open-mmlab/mmpose}},
year={2020}
}
Лицензия
Этот проект распространяется под лицензией Apache 2.0.## Проекты в OpenMMLab- MMEngine: Основная библиотека OpenMMLab для обучения глубоких моделей машинного обучения.
-
MMCV: Основная библиотека OpenMMLab для компьютерного зрения.
-
MIM: MIM устанавливает пакеты OpenMMLab.
-
MMClassification: Инструментальная панель и метрика OpenMMLab для классификации изображений.
-
MMDetection: Инструментальная панель и метрика OpenMMLab для детектирования объектов.
-
MMDetection3D: Новое поколение платформы OpenMMLab для общего детектирования трёхмерных объектов.
-
MMRotate: Инструментальная панель и метрика OpenMMLab для детектирования вращённых объектов.
-
MMSegmentation: Инструментальная панель и метрика OpenMMLab для сегментации изображений.
-
MMOCR: Инструментальная панель и метрика OpenMMLab для распознавания текста.
-
MMPose: Инструментальная панель и метрика OpenMMLab для оценки поз.
-
MMHuman3D: Инструментальная панель и метрика OpenMMLab для трёхмерной модели человека.
-
MMSelfSup: Инструментальная панель и метрика OpenMMLab для самообучающихся моделей.
-
MMRazor: Инструментальная панель и метрика OpenMMLab для сжатия моделей.
-
MMFewShotcom/open-mmlab/mmfewshot)): Инструментальная панель и метрика OpenMMLab для малошотового обучения.
-
MMAction2): Новое поколение инструментальной панели и метрики OpenMMLab для понимания движений.
-
MMTracking): Инструментальная панель и метрика OpenMMLab для анализа видео.
-
MMFlow): Инструментальная панель и метрика OpenMMLab для оптического потока.
-
MMEditing): Инструментальная панель и метрика OpenMMLab для редактирования изображений и видео.
-
MMGeneration): Инструментальная панель и метрика OpenMMLab для генеративных моделей изображений и видео.
-
MMDeploy): Фреймворк развертывания моделей OpenMMLab.
Комментарии ( 0 )