1 В избранное 0 Ответвления 0

OSCHINA-MIRROR/mirrors-AlphaPose

Присоединиться к Gitlife
Откройте для себя и примите участие в публичных проектах с открытым исходным кодом с участием более 10 миллионов разработчиков. Приватные репозитории также полностью бесплатны :)
Присоединиться бесплатно
Клонировать/Скачать
MODEL_ZOO.md 19 КБ
Копировать Редактировать Web IDE Исходные данные Просмотреть построчно История
Отправлено 04.03.2025 12:58 27a5c7e

КОЛЛЕКЦИЯ МОДЕЛЕЙ

Датасет MSCOCO| Модель | Основной блок | Детектор | Размер входа | AP | Скорость | Скачать | Конфиг | Журнал обучения |

|--------------------------|----------|----------|------------|------------|-------|-----------|--------|--------------| |Простой базовый | ResNet50 | YOLOv3 | 256x192 | 70.6 | 2.94 iter/s | модель | конфиг | журнал | |Быстрый поз | ResNet50 | YOLOv3 | 256x192 | 72.0 | 3.54 iter/s | модель | конфиг | журнал | |Быстрый поз (DUC) | ResNet50 - unshuffle | YOLOv3 | 256x192 | 72.4 | 2.91 iter/s | модель | конфиг | журнал | |HRNet | HRNet-W32 | YOLOv3 | 256x192 | 72.5 | 2.13 iter/s | модель | конфиг | журнал | |Быстрый поз (DCN) | ResNet50 - dcn | YOLOv3 | 256x192 | 72.8 | 2.94 iter/s | модель | конфиг | журнал | |Быстрый поз (DUC) | ResNet152 | YOLOv3 | 256x192 | 73.3 | 1.62 iter/s | модельcom/open? id=1kfyedqyn8exjbbNmYq8XGd2EooQjPtF9) | конфиг | журнал

Примечания

  • Все модели обучены на изображениях набора данных keypoints train 2017, содержащих как минимум одного человека с аннотациями ключевых точек (64 115 изображений).
  • Оценка производится на COCO keypoints val 2017 (5 000 изображений).
  • По умолчанию используется тестирование с отражением.
  • Для тестирования скорости используется одна видеокарта TITAN XP, с batch_size=64 в каждом проходе.
  • В тестировании скорости используются результаты офлайн-детекции людей.
  • FastPose — это наш собственный дизайн сети. Статья скоро будет доступна!## Датасет Halpe (26 ключевых точек)
Модель Оболочка Детектор Размер входа AP Скорость Скачивание Конфиг
Fast Pose ResNet50 YOLOv3 256x192 - 13.12 итераций/с Google Baidu cfg

Пример запуска:

python scripts/demo_inference.py --cfg configs/halpe_26/resnet/256x192_res50_lr1e-3_1x.yaml --checkpoint pretrained_models/halpe26_fast_res50_256x192.pth --indir examples/demo/ --save_img
```#### Примечания
 - Эта модель была обучена на основе первых 26 ключевых точек набора данных Halpe Full-body (без точек лица и рук).
 - Скорость тестировалась на COCO val2017 на одной видеокарте NVIDIA GeForce RTX 3090, с `batch_size=64` в каждом проходе и офлайн-результатами детекции людей с помощью YOLOv3. ## Множественные домены модели **(Рекомендовано)** 
 | Модель                    | Основной архитектурный блок | Детектор | Размер входа | Тип потерь |     AP     | Скорость |  Скачать | Конфиг | #точек |
 |--------------------------|----------|----------|------------|------------|------------|-------|-----------|--------|--------------|
 |[Fast Pose](. . /configs/halpe_coco_wholebody_136/resnet/256x192_res50_lr1e-3_2x-regression.yaml)    | ResNet50           | YOLOv3 | 256x192            | Симметричная интегральная | 50. 1       | 16. 28 iter/s | [Google](https://drive.google.com/file/d/1Bb3kPoFFt-M0Y3ceqNO8DTXi1iNDd4gI/view?usp=sharing) [Baidu(code: d0wi)](https://pan.baidu.com/s/1GaHzMHTqYze2rVn7u1sjVg) | [cfg](. . /configs/halpe_coco_wholebody_136/resnet/256x192_res50_lr1e-3_2x-regression.yaml)    | 136 |
 |[Fast Pose (DCN)](. . /configs/halpe_coco_wholebody_136/resnet/256x192_res50_lr1e-3_2x-dcn-combined.yaml)    | ResNet50 - dcn           | YOLOv3 | 256x192            | Объединённая (вес рук 10) | 49. 8        | 10. 35 iter/s | [Google](https://drive.google.com/file/d/1wX1Z2ZOoysgSNovlgiEtJKpbR8tUBWYR/view?usp=sharing) [Baidu(code: app1)](https://pan.baidu.com/s/1bIro0XfYj0FIVf84QzdDoQ) | [cfg](. . /configs/halpe_coco_wholebody_136/resnet/256x192_res50_lr1e-3_2x-dcn-combined.yaml)    | 136 |
 |[Fast Pose (DCN)](. . /configs/halpe_68_noface/resnet/256x192_res50_lr1e-3_2x-dcn-combined.yaml)    | ResNet50 - dcn           | YOLOv3 | 256x192            | Объединённая | -        | 13. 88 iter/s | [Google](https://drive.google.com/file/d/14Qn9gxm-EVzqFi7v25Y5TqKIvrFLy_BR/view?usp=sharing) [Baidu(code: 6kwr)](https://pan.baidu.com/s/1GLNxN3gfekUVY0HZu41fJQ) | [cfg](. . /configs/halpe_68_noface/resnet/256x192_res50_lr1e-3_2x-dcn-combined.yaml)    | 68 (без лица) |
 |[Fast Pose (DCN)](. ./configs/single_hand/resnet/256x192_res50_lr1e-3_2x-dcn-regression.yaml)    | ResNet50 - dcn           | - | 256x192            | Симметричная интегральная | -        | 30.20 iter/s | [Google](https://drive.google.com/file/d/1MntndimlUP5Hxef1UN9ZDMBVglfA606J/view?usp=sharing) [Baidu(code: nwxx)](https://pan.baidu.com/s/1OR-uH25MFQ7kY8Gt_aJfbw) | [cfg](./configs/single_hand/resnet/256x192_res50_lr1e-3_2x-dcn-regression.yaml)    | 21 (одиночная рука) | Для наиболее точной оценки поз тела можно запустить с помощью:
```bash
python scripts/demo_inference.py --cfg configs/halpe_coco_wholebody_136/resnet/256x192_res50_lr1e-3_2x-dcn-combined.yaml --checkpoint pretrained_models/multi_domain_fast50_dcn_combined_256x192.pth --indir examples/demo/ --save_img

или, вы можете запустить с помощью (этот вариант немного быстрее и точнее в отношении ключевых точек тела, но его производительность в отношении ключевых точек рук хуже):

python scripts/demo_inference.py --cfg configs/halpe_coco_wholebody_136/resnet/256x192_res50_lr1e-3_2x-regression.yaml --checkpoint pretrained_models/multi_domain_fast50_regression_256x192.pth --indir examples/demo/ --save_img
```#### Примечания
- Вышеупомянутые модели обучены на нескольких наборах данных, поэтому они могут хорошо работать с реальными изображениями.
- "Объединённая (10 штучных весовых)" означает, что мы используем различные потери для ключевых точек рук и тела.## [Halpe dataset](https://github.com/Fang-Haoshu/Halpe-FullBody) (136 ключевых точек)| Модель                    | Основной блок | Детектор | Размер входа | Тип потерь |     AP     | Скорость |  Скачать | Конфиг |
  |--------------------------|----------|----------|------------|------------|------------|-------|-----------|--------|
  |[Fast Pose](.  .  /configs/halpe_136/resnet/256x192_res50_lr1e-3_2x. yaml)    | ResNet50           | YOLOv3 | 256x192            | Heatmap | 41. 7      | 4. 37 iter/s | [Google](https://drive.google.com/file/d/1LbKM2TOxKdpIZoDxCo6ldmOf62pw6z8A/view?usp=sharing) [Baidu(code: y8a0)](https://pan.baidu.com/s/1z1xKIyyet5y-rr7ZQSNX_A) | [cfg](.  .  /configs/halpe_136/resnet/256x192_res50_lr1e-3_2x-regression. yaml)    |
  |[Fast Pose](.  .  /configs/halpe_136/resnet/256x192_res50_lr1e-3_2x-regression. yaml)    | ResNet50           | YOLOv3 | 256x192            | Симметричная интегральная | 44. 1  | 16. 50 iter/s | [Google](https://drive.google.com/file/d/1_10JYI3O-VbrAiONfL36UxLf9UXMoUYA/view?usp=sharing) [Baidu(code: 9e4z)](https://pan.baidu.com/s/1lakMQbqIWdNV_Khm8Hfcpw) | [cfg](.  .  /configs/halpe_136/resnet/256x192_res50_lr1e-3_2x-regression. yaml)    |
  |[Fast Pose (DCN)](.  .  /configs/halpe_136/resnet/256x192_res50_lr1e-3_2x-dcn-regression. yaml)    | ResNet50 - dcn           | YOLOv3 | 256x192            | Симметричная интегральная | 46. 2      | 16. 58 iter/s | [Google](https://drive.google.com/file/d/1S49aDYGVjEJpx4MnFu7TFzzsbp7Si6h_/view?usp=sharing) [Baidu(code: 0yyf)](https://pan.baidu.com/s/1Xx2XJLrds80tp9QEQclR_A) | [cfg](.  .  /configs/halpe_136/resnet/256x192_res50_lr1e-3_2x-dcn-regression. yaml)    |
  |[Fast Pose (DCN)](.  .  /configs/halpe_136/resnet/256x192_res50_lr1e-3_2x-dcn-combined. yaml)    | ResNet50 - dcn           | YOLOv3 | 256x192            | Объединённая | 45. 4        | 10. 07 iter/s | [Google](https://drive.google.com/file/d/1jt-V1Zh-eYgX_-2mrBTV9Ip6z7JjApEC/view?usp=sharing) [Baidu(code: hln3)](https://pan.baidu.com/s/1yZNora5LhH-6eeTEw2S15w) | [cfg](.  .  /configs/halpe_136/resnet/256x192_res50_lr1e-3_2x-dcn-combined. yaml)    |
  |[Fast Pose (DCN)](.  .  /configs/halpe_136/resnet/256x192_res50_lr1e-3_2x-dcn-combined. yaml)yaml)    | ResNet50 - dcn           | YOLOv3 | 256x192            | Объединённая (вес рук 10) | 47.2         | 10.07 iter/s  | [Google](https://drive.google.com/file/d/1nL2KYqxSnSZH8c7PRr_d9KEFxCEiyjAR/view?usp=sharing) [Baidu(code: jkyc)](https://pan.baidu.com/s/1RdldnKY93xsh0eWzz8nmgg) | [cfg](../configs/halpe_136/resnet/256x192_res50_lr1e-3_2x-dcn-combined.yaml)
||
[Быстрая поза (DUC)](../configs/halpe_136/resnet/256x192_res152_lr1e-3_1x-duc.yaml)| ResNet152           | YOLOv3 | 256x192            | Симметричное интегральное  | 45.1        | 16.17 iter/s  | [Google](https://drive.google.com/file/d/1zZotfE3WsBe1BxKimlK56wwJuK9E4EDs/view?usp=sharing) [Baidu(code: gaxj)](https://pan.baidu.com/s/1Tm_pV88kFkfqmw2Rzov8xg) | [cfg](../configs/halpe_136/resnet/256x192_res152_lr1e-3_1x-duc.yaml)
|
Например, вы можете запустить с помощью:
```bash
python scripts/demo_inference.py --cfg configs/halpe_136/resnet/256x192_res50_lr1e-3_2x-regression.yaml --checkpoint pretrained_models/halpe136_fast50_regression_256x192.pth --indir examples/demo/ --save_img
```#### Примечания
- Все указанные выше модели обучены только на наборе данных Halpe Full-body.
- APs проверяются в соответствии с критерием Halpe, с тестированием на отражение.
- Объединенная функция потерь означает использование тепловой карты потерь (mse потерь) для ключевых точек тела и ног и использование симметричной интегральной потери (l1 потерь регрессии ключевых точек) для ключевых точек лица и рук.
- Есть две модели FastPose-DCN с объединенной функцией потерь. Вторая модель использует десять раз больший вес для ключевых точек рук, поэтому она более точно определяет ключевые точки рук, но менее точно — остальные ключевые точки.
- Скорость тестировалась на COCO val2017 на одном GPU NVIDIA GeForce RTX 3090, с `batch_size=64` в каждом шаге и офлайн результатами детектирования людей yolov3.## [Набор данных COCO WholeBody](https://github.com/jin-s13/COCO-WholeBody) (133 ключевых точки)| Модель                    | Основной блок | Детектор | Размер входа | Тип потерь |     AP     | Скорость |  Скачать | Конфиг |
 |--------------------------|----------|----------|------------|------------|------------|-------|-----------|--------|
 |[Fast Pose](../configs/coco_wholebody/resnet/256x192_res50_lr1e-3_2x-regression.yaml)    | ResNet50           | YOLOv3 | 256x192            | Симметричный интеграл | 55. 4      | 17. 42 iter/s | [Google](https://drive.google.com/file/d/1WQlwRw7KiKBI2Wyb-lvnQX29R29NbhLz/view?usp=sharing) [Baidu(code: nw03)](https://pan.baidu.com/s/1I1yXJXgKQEag5IUhc3xFGQ) | [cfg](../configs/coco_wholebody/resnet/256x192_res50_lr1e-3_2x-regression.yaml)    |
 |[Fast Pose (DCN)](../configs/coco_wholebody/resnet/256x192_res50_lr1e-3_2x-dcn-regression.yaml)    | ResNet50 - dcn           | YOLOv3 | 256x192            | Симметричный интеграл | 57. 7  | 16. 70 iter/s | [Google](https://drive.google.com/file/d/10MgWM4rMORVaHNPyswal7RtrsehVV79X/view?usp=sharing) [Baidu(code: dq9k)](https://pan.baidu.com/s/1cz6lB-xIuwzBBFc1d7p67A) | [cfg](../configs/coco_wholebody/resnet/256x192_res50_lr1e-3_2x-combined.yaml)    |
 |[Fast Pose](../configs/coco_wholebody/resnet/256x192_res50_lr1e-3_2x-combined.yaml)    | ResNet50           | YOLOv3 | 256x192            | Объединённый | 57. 8       | 10. 28 iter/s | [Google](https://drive.google.com/file/d/14wrc9q96bYqUc2efT8p8XzdTvLm-LwUT/view?usp=sharing) [Baidu(code: 7a56)](https://pan.baidu.com/s/1nML2nHn91-9n5B59axeYwA) | [cfg](../configs/coco_wholebody/resnet/256x192_res50_lr1e-3_2x-combined.yaml)    |
 |[Fast Pose (DCN)](../configs/coco_wholebody/resnet/256x192_res50_lr1e-3_2x-dcn-combined.yaml)    | ResNet50 - dcn           | YOLOv3 | 256x192            | Объединённый | 58. 2       | 10. 22 iter/s | [Google](https://drive.google.com/file/d/1aP0nYujw32H-VoJBVsXS-DsBBY-UwI8Y/view?usp=sharing) [Baidu(code: 99ee)](https://pan.baidu.com/s/1dbY6rELFy-ZTJptN5fsUqg) | [cfg](../configs/coco_wholebody/resnet/256x192_res50_lr1e-3_2x-dcn-combined.yaml)    |
 |[Fast Pose (DUC)](../configs/coco_wholebody/resnet/256x192_res152_lr1e-3_1x-duc.```markdown
yaml)    | ResNet152           | YOLOv3 | 256x192            | Симметричный интеграл | 56.9        | 15.72 iter/s | [Google](https://drive.google.com/file/d/1ktBwkG1KL3_iFbPXAh5gua0zX92p-1KV/view?usp=sharing) [Baidu(code: jw3u)](https://pan.baidu.com/s/1TSI2JLk0o5lFPwGf216tNg) | [cfg](../configs/coco_wholebody/resnet/256x192_res152_lr1e-3_1x-duc.yaml)    |
#### Примечания
- Все вышеуказанные модели обучены только на наборе данных COCO WholeBody.
- Оценка метрик AP выполнена в соответствии с критериями COCO WholeBody, с тестированием на отзеркаленности.
- Скорость работы была проверена на COCO val2017 на одном GPU NVIDIA GeForce RTX 3090, при размере батча `batch_size=64` в каждом шаге и использовании заранее вычисленных результатов детекции людей методом YOLOv3.

Примечания

  • Эти модели рекомендуются как наиболее точные и гибкие.
  • Обучение моделей проводилось с использованием многополярной передачи знаний (MDKD, см. наш статью для более подробной информации).
  • Оценка метрик AP выполнена в соответствии с критериями HAPLE, с тестированием на отзеркаленности.
  • При использовании модели для одного рукава следует указывать приближённый прямоугольник ограничивающей рамки одной руки, а не всего человека.
  • Скорость работы была проверена на COCO val2017 на одном GPU NVIDIA GeForce RTX 3090, при размере батча batch_size=64 в каждом шаге и использовании заранее вычисленных результатов детекции людей методом YOLOv3.

Оценка 3D позы и формы человека

Модель Бэкбон Размер входа PA-MPJPE (3DPW) PA-MPJPE (Human3.6M) Скачивание Конфиг
HybrIK ResNet34 256x256 45.3 36.3 модель cfg

Опубликовать ( 0 )

Вы можете оставить комментарий после Вход в систему

1
https://api.gitlife.ru/oschina-mirror/mirrors-AlphaPose.git
git@api.gitlife.ru:oschina-mirror/mirrors-AlphaPose.git
oschina-mirror
mirrors-AlphaPose
mirrors-AlphaPose
master