Набор данных

Набор данных получен по ссылке: http://vision.cs.utexas.edu/projects/finegrained/utzap50k/.

Края определяются детектором краёв HED (https://github.com/s9xie/hed) с последующей постобработкой.

[Цитирование]

• edges2handbags: 137 тыс. изображений сумок Amazon из проекта iGAN (https://github.com/junyanz/iGAN). Края определяются детектором краёв HED (https://github.com/s9xie/hed) с последующей постобработкой. [Цитирование]
• night2day: около 20 тыс. естественных изображений из набора данных Transient Attributes (http://transattr.cs.brown.edu/). Для обучения модели day2night pix2pix необходимо добавить which_direction=BtoA.

Модели

Скачайте предварительно обученные модели с помощью следующего скрипта. После завершения загрузки необходимо переименовать модель (например, facades_label2image в /checkpoints/facades/latest_net_G.t7):

bash ./models/download_model.sh model_name

• facades_label2image (метка → фасад): обучена на наборе данных CMP Facades.
• cityscapes_label2image (метка → сцена улицы): обучена на наборе данных Cityscapes.
• cityscapes_image2label (сцена улицы → метка): обучена на наборе данных Cityscapes.
• edges2shoes (край → фото): обучена на наборе данных UT Zappos50K.
• edges2handbags (край → фото): обучена на изображениях сумок Amazon.
• day2night (дневная сцена → ночная сцена): обучена примерно на 100 веб-камерах (http://transattr.cs.brown.edu/).

Настройка обучения и тестирования данных

Создание пар

Создайте папку /path/to/data с подпапками A и B. В каждой из них должны быть свои собственные подпапки train, val, test и т. д. В /path/to/data/A/train поместите обучающие изображения в стиле A. В /path/to/data/B/train поместите соответствующие изображения в стиле B. Повторите то же самое для других разделов данных (val, test и т.д.).

Соответствующие изображения в паре {A,B} должны иметь одинаковый размер и одинаковое имя файла, например, /path/to/data/A/train/1.jpg считается соответствующим /path/to/data/B/train/1.jpg.

После форматирования данных вызовите:

python scripts/combine_A_and_B.py --fold_A /path/to/data/A --fold_B /path/to/data/B --fold_AB /path/to/data

Это объединит каждую пару изображений (A, B) в один файл изображения, готовый к обучению.

Примечания о раскрашивании

Нет необходимости запускать combine_A_and_B.py для раскрашивания. Вместо этого вам нужно подготовить несколько естественных изображений и установить preprocess=colorization в скрипте. Программа автоматически преобразует каждое изображение RGB в цветовое пространство Lab и создаст во время обучения изображение пары L → ab. Также установите input_nc=1 и output_nc=2.

Извлечение краёв

Мы предоставляем скрипты Python и Matlab для извлечения грубых краёв фотографий. Запустите scripts/edges/batch_hed.py, чтобы вычислить края HED. Запустите PostprocessHED.m, чтобы упростить края с дополнительными этапами постобработки. Дополнительную информацию см. в документации по коду.

Оценка Labels2Photos на Cityscapes

Предоставляются скрипты для запуска оценки задачи Labels2Photos в наборе данных проверки Cityscapes. Мы предполагаем, что вы установили caffe (и pycaffe) в своей системе. Если нет, см. официальный сайт (http://caffe.berkeleyvision.org/installation.html) для инструкций по установке. После успешной установки caffe загрузите предварительно обученную модель семантической сегментации FCN-8s (512 МБ), выполнив:

bash ./scripts/eval_cityscapes/download_fcn8s.sh

Затем убедитесь, что ./scripts/eval_cityspaces/ находится в пути python вашей системы. Если нет, запустите следующую команду, чтобы добавить его:

export PYTHONPATH=${PYTHONPATH}:./scripts/eval_cityscapes/

Теперь вы можете запустить следующую команду для оценки своих прогнозов:

python ./scripts/eval_cityscapes/evaluate.py --cityscapes_dir