InsightFace: проект анализа лиц в 2D и 3D

Проект InsightFace поддерживается в основном Цзя Го и Цзянкан Дэном.

Полный список основных участников можно найти в разделе вклад.

Лицензия

Код InsightFace выпущен под лицензией MIT. Ограничений для академического и коммерческого использования нет.

Обучающие данные с аннотациями (и модели, обученные на этих данных) доступны только для некоммерческих исследовательских целей.

Обе модели, загружаемые вручную из нашего репозитория GitHub, и модели, автоматически загружаемые с помощью нашей python-библиотеки, следуют указанной выше политике лицензии (которая предназначена только для некоммерческого исследования).

Главные новости

2024-05-04 Мы добавили InspireFace, кроссплатформенный SDK для распознавания лиц, разработанный на C/C++, поддерживающий несколько операционных систем и различные бэкенды.

2024-04-17: Монокулярная реконструкция отражательной способности лица с учётом идентичности принята на CVPR-2024.

2023-04-01: Мы перенесли демонстрацию замены на Discord-бота, который поддерживает редактирование изображений, созданных Midjourney, подробности см. на web-demos/swapping_discord.

2022-08-12: Мы заняли первое место в конкурсе Перспективная проекция на основе монокулярной реконструкции лица в 3D на ECCV-2022 WCPA Workshop, статья и код.

2021-11-30: Запущен конкурс MFR-Ongoing (совместно с IFRT), который является расширенной версией iccv21-mfr.

2021-10-29: Мы заняли 1-е место на треке VISA NIST-FRVT 1:1, используя Partial FC (Сян Ань, Цзянкан Дэн, Цзя Го).

ChangeLogs

2024-05-04 Мы добавили InspireFace, кроссплатформенный SDK для распознавания лиц, разработанный на C/C++, поддерживающий несколько операционных систем и различные бэкенды.

2024-04-17: Монокулярная реконструкция отражательной способности лица с учётом идентичности принята на CVPR-2024.

2023-08-08: Мы выпустили реализацию Обобщение оценки взгляда с помощью слабого контроля со стороны синтетических видов в reconstruction/gaze.

2023-05-03: Мы запустили текущую версию конкурса по борьбе с подделками лиц в дикой природе. Подробности см. здесь.

2023-04-01: Мы переместили демонстрацию замены на Discord-бот, который поддерживает редактирование изображений, созданных Midjourney, подробнее см. на web-demos/swapping_discord.

2023-02-13: Мы запускаем масштабный конкурс по борьбе с подделками лиц в дикой природе на семинаре CVPR23, подробности см. в challenges/cvpr23-fas-wild.

2022-11-28: Одна строка кода для замены личности в нашем python-пакете версии 0.7, пожалуйста, ознакомьтесь с примером здесь.

2022-10-28: Веб-сайт MFR-Ongoing переработан, при обнаружении ошибок просьба создавать проблемы.

2022-09-22: Теперь у нас есть веб-демонстрации: локализация лица, распознавание лица и замена лица.

2022-08-12: Мы достигли первого места в конкурсе Перспективная проекция на основе монокулярной реконструкции лица в 3D на ECCV-2022 WCPA Workshop, статья и код. Комбинированный маржинальный Caffe (CombinedMargin-caffe)

TensorFlow: InsightFace-tensorflow.

TensorRT: — Wang-xinyu/tensorrtx; — SthPhoenix/InsightFace-REST.

ONNXRuntime C++: DefTruth/lite.ai.toolkit/blob/main/lite/ort/cv/glint_arcface.cpp.

ONNXRuntime Go: jack139/arcface-go.

MNN: DefTruth/lite.ai.toolkit/blob/main/lite/mnn/cv/mnn_glint_arcface.cpp.

TNN: DefTruth/lite.ai.toolkit/blob/main/lite/tnn/cv/tnn_glint_arcface.cpp.

NCNN: DefTruth/lite.ai.toolkit/blob/main/lite/ncnn/cv/ncnn_glint_arcface.cpp.

Face Detection

Введение

В этом модуле мы предоставляем обучающие данные с аннотациями, настройки сети и конструкции потерь для обучения, оценки и вывода обнаружения лиц.

Поддерживаемые методы:

— RetinaFace (CVPR'2020); — SCRFD (Arxiv'2021); — blazeface_paddle.

RetinaFace — это практичный одностадийный детектор лиц, принятый на CVPR 2020. Мы предоставляем обучающий код, обучающий набор данных, предварительно обученные модели и сценарии оценки.

SCRFD — это эффективный подход к обнаружению лиц с высокой точностью, который изначально описан в Arxiv. Мы предлагаем простой в использовании конвейер для обучения высокоэффективных детекторов лиц с поддержкой NAS.

Face Alignment

Введение

В этом модуле мы предоставляем наборы данных и конвейеры для обучения и вывода для выравнивания лиц.

Поддерживаемые методы:

— SDUNets (BMVC'2018); — SimpleRegression.

SDUNets — это метод, основанный на тепловой карте, который был принят на BMVC.

SimpleRegression предоставляет очень лёгкие модели лицевых ориентиров с быстрой регрессией координат. Входом этих моделей является свободно обрезанное изображение лица, а выходом — прямые координаты ориентира.

Цитирование

Если вы считаете InsightFace полезным в своих исследованиях, пожалуйста, рассмотрите возможность цитирования следующих связанных работ:

@inproceedings{ren2023pbidr,
  title={Facial Geometric Detail Recovery via Implicit Representation},
  author={Ren, Xingyu and Lattas, Alexandros and Gecer, Baris and Deng, Jiankang and Ma, Chao and Yang, Xiaokang},
  booktitle={2023 IEEE 17th International Conference on Automatic Face and Gesture Recognition (FG)},  
  year={2023}
 }

@article{guo2021sample,
  title={Sample and Computation Redistribution for Efficient Face Detection},
  author={Guo, Jia and Deng, Jiankang and Lattas, Alexandros and Zafeiriou, Stefanos},
  journal={arXiv preprint arXiv:2105.04714},
  year={2021}
}

@inproceedings{gecer2021ostec,
  title={OSTeC: One-Shot Texture Completion},
  author={Gecer, Baris and Deng, Jiankang and Zafeiriou, Stefanos},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2021}
}

@inproceedings{an2020partical_fc,
  title={Partial FC: Training 10 Million Identities on a Single Machine},
  author={An, Xiang and Zhu, Xuhan and Xiao, Yang and Wu, Lan and Zhang, Ming and Gao, Yuan and Qin, Bin and
  Zhang, Debing and Fu Ying},
  booktitle={Arxiv 2010.05222},
  year={2020}
}

@inproceedings{deng2020subcenter,
  title={Sub-center ArcFace: Boosting Face Recognition by Large-scale Noisy Web Faces},
  author={Deng, Jiankang and Guo, Jia},
  booktitle={Proceedings of the European Conference on Computer Vision (ECCV)},
  year={2020}
}. **Вклад в проект**

Основные участники:

— Цзя Го (Jia Guo) — guojia@gmail.com;  
— Цзянканг Дэн (Jiankang Deng) — jiankangdeng@gmail.com; 
— Сян Ань (Xiang An) — anxiangsir@gmail.com;
— Джек Юй (Jack Yu) — jackyu961127@gmail.com;
— Барис Гечер (Baris Gecer) — barisgecer@msn.com.