Web-rmbody - Удаление частей тела на вебе

Удаление частей тела с сложного фона с помощью машинного обучения с использованием TensorFlow.js на JavaScript.

中文 Русский

Введение

Недавно Google выпустил модель машинного обучения для распознавания частей тела под названием BodyPix, которая может помечать все части тела на изображении и генерировать маску в реальном времени. Если очистить пиксели под маской, части тела будут удалены.

В этом программе машина будет записывать пиксели, не принадлежащие к частям тела, в буфер, и использовать содержимое буфера для закрытия пикселей, принадлежащих к частям тела. Поэтому требуется, чтобы фон видео был статичным (лучше всего использовать фиксированную веб-камеру), и каждый пиксель на изображении должен быть раскрыт хотя бы один раз.

Экспериментальная часть зависит от производительности вашего устройства. Я пробовал это на своем мобильном устройстве Redmi K20 Pro (Mi 9T Pro) с процессором Snapdragon 855 и 6 ГБ ОЗУ, и опыт был не плохим (более 20 fps). Однако, когда я пытался запустить это на своем iPad mini 2 с процессором Apple A7 и 1 ГБ ОЗУ, оно почти не работало правильно. Кстати, это может работать хорошо на большинстве современных ПК.

Программа в настоящее время экспериментальная, и её производительность может не устраивать.

Если вам нравится этот проект, пожалуйста, добавьте звёздочку и форкните его!

Режим только-лица

Скрывает каждую часть тела, кроме лица.

Онлайн-демонстрация

Просто нажмите на ссылки ниже, чтобы увидеть онлайн-демонстрацию.

FSYZ.online: https://fsyz.online/demo/Web-rmbody/

Gitee Pages: https://futrime.gitee.io/web-rmbody/

Как использовать локально

Просто клонируйте этот репозиторий и начните с ./index.html в вашем браузере.

Локальное выполнение может быть ограничено некоторыми браузерами, поэтому вам может потребоваться арендовать веб-сервер. Эта программа не содержит кода, выполняемого на сервере (кроме загрузчика моделей, но вы можете запустить его на своем ПК и загрузить модели на свой сервер), что означает, что вы можете использовать статический веб-сервер.

Если вы хотите загрузить модели на свой собственный сервер, вы можете легко выполнить ./model-downloader/main.py в Python 3. Модели будут автоматически загружены и сохранены в ./model-downloader/bodypix/ .

Дополнительные заявления

Этот репозиторий основан на jasonmayes/Real-Time-Person-Removal. Я оптимизировал его и добавил некоторые полезные функции. Для получения дополнительной информации о мне, пожалуйста, перейдите на мой персональный блог и сайт моей коллекции.