Реализация FaceNet в TensorFlow

Это реализация в TensorFlow системы распознавания лиц, описанной в статье "FaceNet: Объединенная эмбеддинговая модель для распознавания лиц и кластеризации". Проект также использует идеи из статьи "Дискриминативный подход к обучению признаков для глубокого распознавания лиц" и статьи "Глубокое распознавание лиц" из группы Visual Geometry (http://www.robots.ox.ac.uk/~vgg/) в Оксфорде.

Точность, измеренная на тестовом наборе LFW, составляет ~0.98 при обучении на комбинации наборов FaceScrub и CASIA-WebFace.

Вдохновение

Код был вдохновлен реализацией OpenFace.

Обучающие данные

Для обучения использовались наборы данных FaceScrub и CASIA-WebFace. Этот обучающий набор состоит из общего числа 536 685 изображений над 11 105 идентификаторами.

Предварительная обработка### Выравнивание лица с использованием MTCNN

Одной из проблем с вышеупомянутым подходом является то, что детектор лиц Dlib пропускает некоторые из трудных примеров (частичная заслонка, силуэты и т. д.). Это делает обучающий набор "слишком простым", что приводит к худшему результату модели на других бенчмарках. Чтобы решить эту проблему, были протестированы другие детекторы ключевых точек лица. Один из таких детекторов, который хорошо работает в этом контексте, это Многоцелевая CNN. Реализация на Matlab/Caffe доступна здесь и была использована для выравнивания лиц с очень хорошими результатами. Экспериментальный код, использованный для выравнивания обучающих наборов данных, доступен здесь. Однако работа продолжается по переработке выравнивания лица MTCNN на Python/Tensorflow. В настоящее время некоторые работы по-прежнему остаются, но реализация доступна здесь. ## Запуск обучения В настоящее время наилучшие результаты достигаются путем обучения модели как классификатора с добавлением Center loss. Подробная информация о том, как обучать модель как классификатор, доступна на странице Обучение классификатора для Inception-ResNet-v1.## Предварительно обученная модель

Модель Inception-ResNet-v1

В настоящее время лучшей моделью является модель Inception-ResNet-v1, обученная на комбинации FaceScrub и CASIA-Webface, выровненная с MTCNN. Этот этап выравнивания требует установки Matlab и Caffe, что требует дополнительных усилий. Это будет проще, когда Python/Tensorflow реализация будет полностью функциональной.## Показатели производительности Точность модели 20161116-234200 на LFW составляет 0.980±0.006. Описание того, как запустить тест, можно найти на странице Validate on LFW.