Слияние кода завершено, страница обновится автоматически
|--------------------------|----------|----------|------------|------------|-------|-----------|--------|--------------| |Простой базовый | ResNet50 | YOLOv3 | 256x192 | 70.6 | 2.94 iter/s | модель | конфиг | журнал | |Быстрый поз | ResNet50 | YOLOv3 | 256x192 | 72.0 | 3.54 iter/s | модель | конфиг | журнал | |Быстрый поз (DUC) | ResNet50 - unshuffle | YOLOv3 | 256x192 | 72.4 | 2.91 iter/s | модель | конфиг | журнал | |HRNet | HRNet-W32 | YOLOv3 | 256x192 | 72.5 | 2.13 iter/s | модель | конфиг | журнал | |Быстрый поз (DCN) | ResNet50 - dcn | YOLOv3 | 256x192 | 72.8 | 2.94 iter/s | модель | конфиг | журнал | |Быстрый поз (DUC) | ResNet152 | YOLOv3 | 256x192 | 73.3 | 1.62 iter/s | модельcom/open? id=1kfyedqyn8exjbbNmYq8XGd2EooQjPtF9) | конфиг | журнал
batch_size=64 в каждом проходе.FastPose — это наш собственный дизайн сети. Статья скоро будет доступна!## Датасет Halpe (26 ключевых точек)| Модель | Оболочка | Детектор | Размер входа | AP | Скорость | Скачивание | Конфиг |
|---|---|---|---|---|---|---|---|
| Fast Pose | ResNet50 | YOLOv3 | 256x192 | - | 13.12 итераций/с | Google Baidu | cfg |
Пример запуска:
python scripts/demo_inference.py --cfg configs/halpe_26/resnet/256x192_res50_lr1e-3_1x.yaml --checkpoint pretrained_models/halpe26_fast_res50_256x192.pth --indir examples/demo/ --save_img
```#### Примечания
- Эта модель была обучена на основе первых 26 ключевых точек набора данных Halpe Full-body (без точек лица и рук).
- Скорость тестировалась на COCO val2017 на одной видеокарте NVIDIA GeForce RTX 3090, с `batch_size=64` в каждом проходе и офлайн-результатами детекции людей с помощью YOLOv3. ## Множественные домены модели **(Рекомендовано)**
| Модель | Основной архитектурный блок | Детектор | Размер входа | Тип потерь | AP | Скорость | Скачать | Конфиг | #точек |
|--------------------------|----------|----------|------------|------------|------------|-------|-----------|--------|--------------|
|[Fast Pose](. . /configs/halpe_coco_wholebody_136/resnet/256x192_res50_lr1e-3_2x-regression.yaml) | ResNet50 | YOLOv3 | 256x192 | Симметричная интегральная | 50. 1 | 16. 28 iter/s | [Google](https://drive.google.com/file/d/1Bb3kPoFFt-M0Y3ceqNO8DTXi1iNDd4gI/view?usp=sharing) [Baidu(code: d0wi)](https://pan.baidu.com/s/1GaHzMHTqYze2rVn7u1sjVg) | [cfg](. . /configs/halpe_coco_wholebody_136/resnet/256x192_res50_lr1e-3_2x-regression.yaml) | 136 |
|[Fast Pose (DCN)](. . /configs/halpe_coco_wholebody_136/resnet/256x192_res50_lr1e-3_2x-dcn-combined.yaml) | ResNet50 - dcn | YOLOv3 | 256x192 | Объединённая (вес рук 10) | 49. 8 | 10. 35 iter/s | [Google](https://drive.google.com/file/d/1wX1Z2ZOoysgSNovlgiEtJKpbR8tUBWYR/view?usp=sharing) [Baidu(code: app1)](https://pan.baidu.com/s/1bIro0XfYj0FIVf84QzdDoQ) | [cfg](. . /configs/halpe_coco_wholebody_136/resnet/256x192_res50_lr1e-3_2x-dcn-combined.yaml) | 136 |
|[Fast Pose (DCN)](. . /configs/halpe_68_noface/resnet/256x192_res50_lr1e-3_2x-dcn-combined.yaml) | ResNet50 - dcn | YOLOv3 | 256x192 | Объединённая | - | 13. 88 iter/s | [Google](https://drive.google.com/file/d/14Qn9gxm-EVzqFi7v25Y5TqKIvrFLy_BR/view?usp=sharing) [Baidu(code: 6kwr)](https://pan.baidu.com/s/1GLNxN3gfekUVY0HZu41fJQ) | [cfg](. . /configs/halpe_68_noface/resnet/256x192_res50_lr1e-3_2x-dcn-combined.yaml) | 68 (без лица) |
|[Fast Pose (DCN)](. ./configs/single_hand/resnet/256x192_res50_lr1e-3_2x-dcn-regression.yaml) | ResNet50 - dcn | - | 256x192 | Симметричная интегральная | - | 30.20 iter/s | [Google](https://drive.google.com/file/d/1MntndimlUP5Hxef1UN9ZDMBVglfA606J/view?usp=sharing) [Baidu(code: nwxx)](https://pan.baidu.com/s/1OR-uH25MFQ7kY8Gt_aJfbw) | [cfg](./configs/single_hand/resnet/256x192_res50_lr1e-3_2x-dcn-regression.yaml) | 21 (одиночная рука) | Для наиболее точной оценки поз тела можно запустить с помощью:
```bash
python scripts/demo_inference.py --cfg configs/halpe_coco_wholebody_136/resnet/256x192_res50_lr1e-3_2x-dcn-combined.yaml --checkpoint pretrained_models/multi_domain_fast50_dcn_combined_256x192.pth --indir examples/demo/ --save_img
или, вы можете запустить с помощью (этот вариант немного быстрее и точнее в отношении ключевых точек тела, но его производительность в отношении ключевых точек рук хуже):
python scripts/demo_inference.py --cfg configs/halpe_coco_wholebody_136/resnet/256x192_res50_lr1e-3_2x-regression.yaml --checkpoint pretrained_models/multi_domain_fast50_regression_256x192.pth --indir examples/demo/ --save_img
```#### Примечания
- Вышеупомянутые модели обучены на нескольких наборах данных, поэтому они могут хорошо работать с реальными изображениями.
- "Объединённая (10 штучных весовых)" означает, что мы используем различные потери для ключевых точек рук и тела.## [Halpe dataset](https://github.com/Fang-Haoshu/Halpe-FullBody) (136 ключевых точек)| Модель | Основной блок | Детектор | Размер входа | Тип потерь | AP | Скорость | Скачать | Конфиг |
|--------------------------|----------|----------|------------|------------|------------|-------|-----------|--------|
|[Fast Pose](. . /configs/halpe_136/resnet/256x192_res50_lr1e-3_2x. yaml) | ResNet50 | YOLOv3 | 256x192 | Heatmap | 41. 7 | 4. 37 iter/s | [Google](https://drive.google.com/file/d/1LbKM2TOxKdpIZoDxCo6ldmOf62pw6z8A/view?usp=sharing) [Baidu(code: y8a0)](https://pan.baidu.com/s/1z1xKIyyet5y-rr7ZQSNX_A) | [cfg](. . /configs/halpe_136/resnet/256x192_res50_lr1e-3_2x-regression. yaml) |
|[Fast Pose](. . /configs/halpe_136/resnet/256x192_res50_lr1e-3_2x-regression. yaml) | ResNet50 | YOLOv3 | 256x192 | Симметричная интегральная | 44. 1 | 16. 50 iter/s | [Google](https://drive.google.com/file/d/1_10JYI3O-VbrAiONfL36UxLf9UXMoUYA/view?usp=sharing) [Baidu(code: 9e4z)](https://pan.baidu.com/s/1lakMQbqIWdNV_Khm8Hfcpw) | [cfg](. . /configs/halpe_136/resnet/256x192_res50_lr1e-3_2x-regression. yaml) |
|[Fast Pose (DCN)](. . /configs/halpe_136/resnet/256x192_res50_lr1e-3_2x-dcn-regression. yaml) | ResNet50 - dcn | YOLOv3 | 256x192 | Симметричная интегральная | 46. 2 | 16. 58 iter/s | [Google](https://drive.google.com/file/d/1S49aDYGVjEJpx4MnFu7TFzzsbp7Si6h_/view?usp=sharing) [Baidu(code: 0yyf)](https://pan.baidu.com/s/1Xx2XJLrds80tp9QEQclR_A) | [cfg](. . /configs/halpe_136/resnet/256x192_res50_lr1e-3_2x-dcn-regression. yaml) |
|[Fast Pose (DCN)](. . /configs/halpe_136/resnet/256x192_res50_lr1e-3_2x-dcn-combined. yaml) | ResNet50 - dcn | YOLOv3 | 256x192 | Объединённая | 45. 4 | 10. 07 iter/s | [Google](https://drive.google.com/file/d/1jt-V1Zh-eYgX_-2mrBTV9Ip6z7JjApEC/view?usp=sharing) [Baidu(code: hln3)](https://pan.baidu.com/s/1yZNora5LhH-6eeTEw2S15w) | [cfg](. . /configs/halpe_136/resnet/256x192_res50_lr1e-3_2x-dcn-combined. yaml) |
|[Fast Pose (DCN)](. . /configs/halpe_136/resnet/256x192_res50_lr1e-3_2x-dcn-combined. yaml)yaml) | ResNet50 - dcn | YOLOv3 | 256x192 | Объединённая (вес рук 10) | 47.2 | 10.07 iter/s | [Google](https://drive.google.com/file/d/1nL2KYqxSnSZH8c7PRr_d9KEFxCEiyjAR/view?usp=sharing) [Baidu(code: jkyc)](https://pan.baidu.com/s/1RdldnKY93xsh0eWzz8nmgg) | [cfg](../configs/halpe_136/resnet/256x192_res50_lr1e-3_2x-dcn-combined.yaml)
||
[Быстрая поза (DUC)](../configs/halpe_136/resnet/256x192_res152_lr1e-3_1x-duc.yaml)| ResNet152 | YOLOv3 | 256x192 | Симметричное интегральное | 45.1 | 16.17 iter/s | [Google](https://drive.google.com/file/d/1zZotfE3WsBe1BxKimlK56wwJuK9E4EDs/view?usp=sharing) [Baidu(code: gaxj)](https://pan.baidu.com/s/1Tm_pV88kFkfqmw2Rzov8xg) | [cfg](../configs/halpe_136/resnet/256x192_res152_lr1e-3_1x-duc.yaml)
|
Например, вы можете запустить с помощью:
```bash
python scripts/demo_inference.py --cfg configs/halpe_136/resnet/256x192_res50_lr1e-3_2x-regression.yaml --checkpoint pretrained_models/halpe136_fast50_regression_256x192.pth --indir examples/demo/ --save_img
```#### Примечания
- Все указанные выше модели обучены только на наборе данных Halpe Full-body.
- APs проверяются в соответствии с критерием Halpe, с тестированием на отражение.
- Объединенная функция потерь означает использование тепловой карты потерь (mse потерь) для ключевых точек тела и ног и использование симметричной интегральной потери (l1 потерь регрессии ключевых точек) для ключевых точек лица и рук.
- Есть две модели FastPose-DCN с объединенной функцией потерь. Вторая модель использует десять раз больший вес для ключевых точек рук, поэтому она более точно определяет ключевые точки рук, но менее точно — остальные ключевые точки.
- Скорость тестировалась на COCO val2017 на одном GPU NVIDIA GeForce RTX 3090, с `batch_size=64` в каждом шаге и офлайн результатами детектирования людей yolov3.## [Набор данных COCO WholeBody](https://github.com/jin-s13/COCO-WholeBody) (133 ключевых точки)| Модель | Основной блок | Детектор | Размер входа | Тип потерь | AP | Скорость | Скачать | Конфиг |
|--------------------------|----------|----------|------------|------------|------------|-------|-----------|--------|
|[Fast Pose](../configs/coco_wholebody/resnet/256x192_res50_lr1e-3_2x-regression.yaml) | ResNet50 | YOLOv3 | 256x192 | Симметричный интеграл | 55. 4 | 17. 42 iter/s | [Google](https://drive.google.com/file/d/1WQlwRw7KiKBI2Wyb-lvnQX29R29NbhLz/view?usp=sharing) [Baidu(code: nw03)](https://pan.baidu.com/s/1I1yXJXgKQEag5IUhc3xFGQ) | [cfg](../configs/coco_wholebody/resnet/256x192_res50_lr1e-3_2x-regression.yaml) |
|[Fast Pose (DCN)](../configs/coco_wholebody/resnet/256x192_res50_lr1e-3_2x-dcn-regression.yaml) | ResNet50 - dcn | YOLOv3 | 256x192 | Симметричный интеграл | 57. 7 | 16. 70 iter/s | [Google](https://drive.google.com/file/d/10MgWM4rMORVaHNPyswal7RtrsehVV79X/view?usp=sharing) [Baidu(code: dq9k)](https://pan.baidu.com/s/1cz6lB-xIuwzBBFc1d7p67A) | [cfg](../configs/coco_wholebody/resnet/256x192_res50_lr1e-3_2x-combined.yaml) |
|[Fast Pose](../configs/coco_wholebody/resnet/256x192_res50_lr1e-3_2x-combined.yaml) | ResNet50 | YOLOv3 | 256x192 | Объединённый | 57. 8 | 10. 28 iter/s | [Google](https://drive.google.com/file/d/14wrc9q96bYqUc2efT8p8XzdTvLm-LwUT/view?usp=sharing) [Baidu(code: 7a56)](https://pan.baidu.com/s/1nML2nHn91-9n5B59axeYwA) | [cfg](../configs/coco_wholebody/resnet/256x192_res50_lr1e-3_2x-combined.yaml) |
|[Fast Pose (DCN)](../configs/coco_wholebody/resnet/256x192_res50_lr1e-3_2x-dcn-combined.yaml) | ResNet50 - dcn | YOLOv3 | 256x192 | Объединённый | 58. 2 | 10. 22 iter/s | [Google](https://drive.google.com/file/d/1aP0nYujw32H-VoJBVsXS-DsBBY-UwI8Y/view?usp=sharing) [Baidu(code: 99ee)](https://pan.baidu.com/s/1dbY6rELFy-ZTJptN5fsUqg) | [cfg](../configs/coco_wholebody/resnet/256x192_res50_lr1e-3_2x-dcn-combined.yaml) |
|[Fast Pose (DUC)](../configs/coco_wholebody/resnet/256x192_res152_lr1e-3_1x-duc.```markdown
yaml) | ResNet152 | YOLOv3 | 256x192 | Симметричный интеграл | 56.9 | 15.72 iter/s | [Google](https://drive.google.com/file/d/1ktBwkG1KL3_iFbPXAh5gua0zX92p-1KV/view?usp=sharing) [Baidu(code: jw3u)](https://pan.baidu.com/s/1TSI2JLk0o5lFPwGf216tNg) | [cfg](../configs/coco_wholebody/resnet/256x192_res152_lr1e-3_1x-duc.yaml) |
#### Примечания
- Все вышеуказанные модели обучены только на наборе данных COCO WholeBody.
- Оценка метрик AP выполнена в соответствии с критериями COCO WholeBody, с тестированием на отзеркаленности.
- Скорость работы была проверена на COCO val2017 на одном GPU NVIDIA GeForce RTX 3090, при размере батча `batch_size=64` в каждом шаге и использовании заранее вычисленных результатов детекции людей методом YOLOv3.
batch_size=64 в каждом шаге и использовании заранее вычисленных результатов детекции людей методом YOLOv3.| Модель | Бэкбон | Размер входа | PA-MPJPE (3DPW) | PA-MPJPE (Human3.6M) | Скачивание | Конфиг |
|---|---|---|---|---|---|---|
| HybrIK | ResNet34 | 256x256 | 45.3 | 36.3 | модель | cfg |
Вы можете оставить комментарий после Вход в систему
Неприемлемый контент может быть отображен здесь и не будет показан на странице. Вы можете проверить и изменить его с помощью соответствующей функции редактирования.
Если вы подтверждаете, что содержание не содержит непристойной лексики/перенаправления на рекламу/насилия/вульгарной порнографии/нарушений/пиратства/ложного/незначительного или незаконного контента, связанного с национальными законами и предписаниями, вы можете нажать «Отправить» для подачи апелляции, и мы обработаем ее как можно скорее.
Опубликовать ( 0 )