Слияние кода завершено, страница обновится автоматически
Результаты на тестовой выборке COCO 2015:
| Метод | AP @0.5:0.95 | AP @0.5 | AP @0.75 | AP средний | AP большой |
|---|---|---|---|---|---|
| OpenPose (CMU-Pose) | 61.8 | 84.9 | 67.5 | 57.1 | 68.2 |
| Detectron (Mask R-CNN) | 67.0 | 88.0 | 73.1 | 62.2 | 75.6 |
| AlphaPose | 73.3 | 89.2 | 79.1 | 69.0 | 78.6 |
Результаты на полной тестовой выборке MPII:
| Метод | Голова | Лопатки | Локоть | Кисть | Бедро | Колено | Стопа | Среднее |
|---|---|---|---|---|---|---|---|---|
| OpenPose (CMU-Pose) | 91.2 | 87.6 | 77.7 | 66.8 | 75.4 | 68.9 | 61.7 | 75.6 |
| Newell & Deng | 92.1 | 89.3 | 78.9 | 69.8 | 76.2 | 71.6 | 64.7 | 77.5 |
| AlphaPose | 91.3 | 90.5 | 84.0 | 76.4 | 80.3 | 79.9 | 72.4 | 82.1 |
Более подробные результаты и модели доступны в docs/MODEL_ZOO.md.
Для получения более подробной информации прочитайте trackers/README.md.
Для получения более подробной информации прочитайте docs/CrowdPose.md.
Пожалуйста, проверьте docs/INSTALL.md
Пожалуйста, проверьте docs/MODEL_ZOO.md
./scripts/inference.sh ${CONFIG} ${CHECKPOINT} ${VIDEO_NAME} # ${OUTPUT_DIR}, необязательный аргумент
```Интерполяция SMPL (скачайте модель SMPL `basicModel_neutral_lbs_10_207_0_v1.0.0.pkl` с [этой страницы](https://smpl.is.tue.mpg.de/) и поместите её в папку `model_files/`).
```bash
./scripts/inference_3d.sh ./configs/smpl/256x192_adam_lr1e-3-res34_smpl_24_3d_base_2x_mix.yaml ${CHECKPOINT} ${VIDEO_NAME} # ${OUTPUT_DIR}, необязательный аргумент
Для использования высокоуровневого API обратитесь к файлу ./scripts/demo_api.py. Для активации отслеживания обратитесь к этому разделу.- Обучение: Обучение модели с нуля
./scripts/train.sh ${CONFIG} ${EXP_ID}
./scripts/validate.sh ${CONFIG} ${CHECKPOINT}
Примеры:
Демо с использованием модели FastPose.
./scripts/inference.sh configs/coco/resnet/256x192_res50_lr1e-3_1x.yaml pretrained_models/fast_res50_256x192.pth ${VIDEO_NAME}
# или
python scripts/demo_inference.py --cfg configs/coco/resnet/256x192_res50_lr1e-3_1x.yaml --checkpoint pretrained_models/fast_res50_256x192.pth --indir examples/demo/
# или если вы хотите использовать yolox-x как детектор
python scripts/demo_inference.py --detector yolox-x --cfg configs/coco/resnet/256x192_res50_lr1e-3_1x.yaml --checkpoint pretrained_models/fast_res50_256x192.pth --indir examples/demo/
Обучение FastPose на наборе данных MSCOCO.
./scripts/train.sh ./configs/coco/resnet/256x192_res50_lr1e-3_1x.yaml exp_fastpose
Более подробные варианты интерполяции и примеры можно найти в GETTING_STARTED.md.
См. faq.md для часто задаваемых вопросов. Если ваши проблемы не решены или если вы нашли ошибки, не стесняйтесь сообщить об этом на GitHub или отправить pull request!
AlphaPose основана на работе RMPE (ICCV'17), авторами которой являются Hao-Shu Fang, Shuchin Tsai, Yu-Wing Tai и Tiew Lu, Tiew Lu является соавтором. В настоящее время проект поддерживается Jeff Li*, Hao-Shu Fang*, Haoyi Zhu, Yulian Xiu и Zhao Xu. Основные вкладчики указаны в doc/contributors.md.## TODO
Мы будем очень признательны, если вы сможете оказать помощь и стать вкладчиком проекта AlphaPose.
Пожалуйста, цитируйте следующие работы в ваших публикациях, если они были полезны для вашего исследования:
@article{alphapose,
author = {Фанг, Хаошу и Ли, Жэфэнжин и Тан, Гонгьянг и Шу, Чжао и Цзу, Хаойи и Сюй, Юлиянг и Ли, Янглу и Лю, Цзеу},
journal = {IEEE Transactions on Pattern Analysis and Machine Intelligence},
title = {AlphaPose: Временная оценка и отслеживание многочеловеческих позовых областей в реальном времени},
year = {2022}
}
@inproceedings{fang2017rmpe,
title={{RMPE}: Областная оценка многочеловеческих поз},
author={Фанг, Хаошу и Сие, Шуцин и Тай, Ю-Уинг и Лю, Цзеу},
booktitle={ICCV},
year={2017}
}
@inproceedings{li2019crowdpose,
title={Crowdpose: Эффективная оценка поз в плотных сценах и новый бенчмарк},
author={Ли, Жэфэнжин и Ван, Кан и Цзу, Хао и Мао, Йихуань и Фанг, Хаошу и Лю, Цзеу},
booktitle={Proceedings of the IEEE/CVF conference on computer vision and pattern recognition},
pages={10863--10872},
year={2019}
}
```Если вы использовали модуль реконструкции 3D сетки, пожалуйста, также цитируйте:
```latex
@inproceedings{li2021hybrik,
title={Hybrik: Гибридное аналитическое-нейронное решение обратной кинематики для оценки 3D человеческих поз и формы},
author={Ли, Жэфэнжин и Шу, Чжао и Чен, Жичун и Бьян, Суюань и Янг, Лишэн и Лю, Цзеу},
booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
pages={3383--3393},
year={2021}
}
Если вы использовали модуль отслеживания PoseFlow, пожалуйста, также цитируйте:
@inproceedings{xiu2018poseflow,
author = {Сюй, Юлиянг и Ли, Жэфэнжин и Ван, Хаоянь и Фанг, Ингхонг и Лю, Цзеу},
title = {{Pose Flow}: Эффективное онлайн-отслеживание поз},
booktitle={BMVC},
year = {2018}
}
AlphaPose доступен бесплатно для некоммерческого использования и может быть redistribute под следующими условиями. Для коммерческих запросов, пожалуйста, отправьте электронное письмо на адрес mvig.alphapose[at]gmail[dot]com и приложите lucewu[[at]sjtu[dot]edu[dot]cn. Мы отправим вам детальное соглашение.
Вы можете оставить комментарий после Вход в систему
Неприемлемый контент может быть отображен здесь и не будет показан на странице. Вы можете проверить и изменить его с помощью соответствующей функции редактирования.
Если вы подтверждаете, что содержание не содержит непристойной лексики/перенаправления на рекламу/насилия/вульгарной порнографии/нарушений/пиратства/ложного/незначительного или незаконного контента, связанного с национальными законами и предписаниями, вы можете нажать «Отправить» для подачи апелляции, и мы обработаем ее как можно скорее.
Комментарии ( 0 )