Проект по обнаружению постуральных особенностей человека

Визуальное направление

Наставник: Пань Чжань

Введение

Обнаружение постуральных особенностей человека заключается в исследовании и описании постуральных особенностей человека и прогнозировании поведения человека. Процесс идентификации осуществляется на основе изменения положения ключевых точек на заданном изображении или видео.

В области обнаружения постуральных особенностей человека существуют небольшие трудноразличимые ключевые точки, а также скрытые ключевые точки, которые сложно идентифицировать, но с использованием глубокого обучения можно определить ключевые точки на основе контекста.

Постуральные особенности человека в различных областях:

(1) В области домашней умной безопасности, технология обнаружения постуральных особенностей человека в фиксированной среде может быть использована для домашнего мониторинга. Например, для предотвращения падений у одиноких пожилых людей, можно установить умное оборудование для мониторинга, которое распознает позу падения, и своевременно реагировать на экстренные ситуации.(2) В области человеко-машинного взаимодействия, обнаружение постуральных особенностей человека позволяет в реальном времени идентифицировать ключевые части тела, такие как локоть, запястье, колено и т.д., для обеспечения бесконтактного взаимодействия человека с машиной. Цель состоит в том, чтобы обеспечить более сложное бесконтактное взаимодействие человека с машиной и улучшить пользовательский опыт.(3) В области игровых приложений, используя технологию обнаружения постуральных особенностей человека через VR, AR, MR и другие устройства, можно обеспечить лучший игровой опыт, делая его более реалистичным.

(4) В образовательной области, например, при удалённом обучении игре на фортепиано, можно использовать обнаружение постуральных особенностей человека для распознавания жестов и корректировки позы рук, чтобы ученики могли приобрести хорошие привычки.

В рамках курса студенты уже овладели основами традиционной изображения обработки и базами глубокого обучения, а также методами классификации, обнаружения и идентификации изображений, а также имеют представление о некоторых моделях и различных методах вычисления потерь.

В рамках данного проекта студентам необходимо использовать полученные знания и открытые алгоритмы и модели из интернета для создания системы обнаружения постуральных особенностей человека.

Проект

Студентам необходимо использовать Python, TensorFlow, Anaconda и другие библиотеки и фреймворки, а также модели глубокого обучения и алгоритмы предварительной обработки изображений для создания системы обнаружения постуральных особенностей человека.

Критерии оценкиРезультат 1: работающая система, включающая код и подробную документацию. Документация должна быть выполнимой, чтобы можно было собрать и запустить систему в соответствии с описанием. Недостающая документация будет учитываться при оценке.Требования к документации: описание структуры всех компонентов системы и взаимосвязей между ними. Описание трудностей, с которыми столкнулись студенты, и их выводов. Анализ результатов системы. Система должна быть способна выполнять семантическое сегментирование объектов на изображениях и предоставлять рациональные выходные данные. Система должна иметь рациональные метрики оценки, такие как ROC, mAP и т.д.

Результат 2: Предоставить демонстрационное видео, которое включает в себя загрузку видео с движением человека с веб-сайта или запись собственного видео, которое затем подаётся в систему для вычисления. Видео должно выводить и отображать ключевые точки и движения человека.

Результат 3: После завершения обучения модели необходимо провести сравнительный анализ с моделью из оригинальной статьи и оформить результаты в документе, описав свои наблюдения. (Студенты, обладающие достаточными навыками, могут также задуматься о том, как улучшить проект.)

Описание данных:MSCOCO: Этот набор данных включает более 328,000 изображений и более 2,500,000 меток. Это крупнейший и наиболее разнообразный набор данных для обнаружения объектов, сегментации и субтитров. В наборе данных представлено 91 класс объектов, а количество отмеченных объектов превышает 1,500,000. В настоящее время это самый большой набор данных для семантической сегментации, содержащий 80 классов объектов и более 330,000 изображений, из которых 200,000 имеют метки.LSP: Этот набор данных содержит 2000 изображений с аннотациями движений человека, собранных с помощью Flickr. Каждое изображение содержит 14 аннотированных суставов. В наборе данных представлены 2000 изображений, 14 суставов и полное тело одного человека.

FLIC: Этот набор данных содержит 20 000 изображений с аннотациями движений человека, собранных с помощью Flickr. Каждое изображение содержит 9 аннотированных суставов.

MPII: Этот набор данных содержит 25 000 изображений с аннотациями движений человека, собранных с помощью Flickr. Каждое изображение содержит 16 аннотированных суставов. В наборе данных представлены 25 000 изображений, 16 суставов и полное тело одного или нескольких человек.

PoseTrack: Этот набор данных содержит 114,26 ГБ данных, включая 25 000 изображений с аннотациями движений человека, собранных с помощью Flickr. Каждое изображение содержит 16 аннотированных суставов. В наборе данных представлены 25 000 изображений, 16 суставов и полное тело одного или нескольких человек.

Примечание: Рекомендуется использовать набор данных MSCOCO и MPII; можно выбрать набор данных для загрузки самостоятельно или обратиться к менеджерам курса для получения данных для обучения.

Ключевые моменты проекта:Разработка проекта должна проводиться на Linux-системе. Не рекомендуется пытаться разрабатывать проект на Windows, так как это может привести к различным ненужным проблемам. Входные и выходные данные системы не ограничиваются; главное, чтобы система могла корректно демонстрировать результаты.

Указания:1. Сначала ознакомьтесь с алгоритмами и материалами по модели распознавания человеческого тела, затем создайте модель и программу, и наконец проведите обучение.

2. В отношении набора данных не ограничивайтесь только набором данных COCO, можно использовать и другие наборы данных. Связанные материалы по наборам данных можно самостоятельно собрать и найти.

3. Что касается модели, студенты могут самостоятельно найти и выбрать модель, а также определить, какую структуру модели использовать.

Примечание: Студенты с хорошими техническими условиями могут выполнить работу с несколькими моделями, сделать сравнение и заключение. Связанные материалы и открытые коды студенты могут самостоятельно найти и использовать в качестве примера. Если вам требуется помощь, свяжитесь с администратором курса.

Этот проект представляет собой систему распознавания человеческого тела с использованием глубокого обучения. В проекте предоставлены некоторые тренировочные данные.

Примечание: Набор данных является открытым и организованным набором данных, который можно получить у администратора курса. Связанные научные статьи и дополнительные материалы студенты могут самостоятельно найти.