Введение

XRMoCap — это открытый исходный код на основе PyTorch для использования мультивидового захвата движения. Это часть проекта OpenXRLab.

Если вас интересует захват движения с одной точки обзора, пожалуйста, обратитесь к mmhuman3d для получения более подробной информации.

https://user-images.githubusercontent.com/26729379/187710195-ba4660ce-c736-4820-8450-104f82e5cc99.mp4

Подробное введение можно найти в introduction.md.

Основные функции

— Поддержка популярных методов мультивидового захвата движения для одного человека и нескольких людей.

XRMoCap реализует передовые методы мультивидового захвата движения, от одного человека до нескольких. Он поддерживает произвольное количество откалиброванных камер больше двух и предоставляет эффективные стратегии автоматического выбора камер.

— Поддержка алгоритмов захвата движения на основе ключевых точек и параметрических моделей человека на основе SMPL(-X).

XRMoCap поддерживает два основных представления движения: ключевые точки 3D и модель SMPL(-X), а также предоставляет инструменты для преобразования и оптимизации между ними.

— Интеграция методов на основе оптимизации и обучения в одну модульную структуру.

XRMoCap разбивает структуру на несколько компонентов, на основе которых методы на основе оптимизации и методы обучения интегрируются в единую структуру. Пользователи могут легко создать собственный конвейер мультивидового mocap, выбирая различные компоненты в конфигурациях.

Новости

• 2022-12-21: Выпущена версия XRMoCap v0.7.0. Основные обновления включают:

  • Добавлен mview_mperson_end2end_estimator для метода на основе обучения.
  • Добавлена поддержка SMPLX и разрешено инициирование данных smpl в mview_sperson_smpl_estimator.
  • Добавлено несколько оптимизаторов, подробные веса и приоритеты соединений, обрезка градиента для улучшения результатов SMPLify.
  • Добавлен mediapipe_estimator для восприятия человеческих ключевых точек 2D.

• 2022-10-14: Выпущена версия XRMoCap v0.6.0. Основные обновления включают:

  • Добавлен 4D Association Graph, первая реализация этого алгоритма на Python.
  • Добавлены оценка сверху вниз для мультивидового мультиперсонального SMPL и селектор точек ошибки репроекции.

• 2022-09-01: Выпущена версия XRMoCap v0.5.0. Основные обновления включают:

  • Поддержка инструментария HuMMan Mocap для мультивидовой оценки SMPL для одного человека.
  • Воспроизведение MvP, метода глубокого обучения для мультивидового многочеловеческого 3D-захвата позы.
  • Воспроизведение MVPose (оценка одиночного кадра) и MVPose (временное отслеживание и фильтрация), двух методов оптимизации для мультивидового многочеловеческого 3D-захвата позы.
  • Поддерживаются SMPLify, SMPLifyX, SMPLifyD и SMPLifyXD.

Бенчмарк

Более подробную информацию можно найти в benchmark.md. Начало работы

Пожалуйста, ознакомьтесь с getting_started.md для базового использования XRMoCap.

Лицензия

Лицензия нашего исходного кода — Apache-2.0. Обратите внимание, что эта лицензия применяется только к коду в нашей библиотеке, зависимости которого отделены и лицензированы индивидуально. Мы хотели бы отдать должное реализациям с открытым исходным кодом, на которые мы полагаемся. Пожалуйста, имейте в виду, что использование содержимого зависимостей может повлиять на лицензию нашего исходного кода. Обратитесь к файлу LICENSE, чтобы просмотреть полную лицензию.

Цитирование

Если вы считаете этот проект полезным в своих исследованиях, пожалуйста, рассмотрите возможность цитирования:

@misc{xrmocap,
    title={OpenXRLab Multi-view Motion Capture Toolbox and Benchmark},
    author={XRMoCap Contributors},
    howpublished = {\url{https://github.com/openxrlab/xrmocap}},
    year={2022}
}

Вклад

Мы ценим все вклады в улучшение XRMoCap. Пожалуйста, обратитесь к CONTRIBUTING.md за рекомендациями по внесению вклада.

Признание

XRMoCap — это проект с открытым исходным кодом, который поддерживается исследователями и инженерами как из академических кругов, так и из промышленности. Мы признательны всем участникам, которые реализуют свои методы или добавляют новые функции, а также пользователям, которые дают ценные отзывы. Мы надеемся, что набор инструментов и тестов поможет растущему исследовательскому сообществу, предоставив гибкий инструментарий для повторной реализации существующих методов и разработки собственных новых моделей.

Проекты в OpenXRLab

• XRPrimer (https://github.com/openxrlab/xrprimer): основополагающая библиотека OpenXRLab для алгоритмов, связанных с XR.
• XRSLAM (https://github.com/openxrlab/xrslam): набор инструментов и тестов для визуальной инерциальной SLAM от OpenXRLab.
• XRSfM (https://github.com/openxrlab/xrsfm): набор инструментов и тестов Structure-from-Motion от OpenXRLab.
• XRLocalization (https://github.com/openxrlab/xrlocalization): набор инструментов и сервер визуальной локализации от OpenXRLab.
• XRMoCap (https://github.com/openxrlab/xrmocap): набор инструментов и тестов Multi-view Motion Capture от OpenXRLab.
• XRMoGen (https://github.com/openxrlab/xrmogen): набор инструментов и тестов Human Motion Generation от OpenXRLab.
• XRNeRF (https://github.com/openxrlab/xrnerf): набор инструментов и тестов Neural Radiance Field (NeRF) от OpenXRLab.
• XRFeitoria (https://github.com/openxrlab/xrfeitoria): набор инструментов для рендеринга синтетических данных от OpenXRLab.