Deep-painterly-harmonization

Код и данные для статьи «Deep Painterly Harmonization» (https://arxiv.org/abs/1804.03189)

Disclaimer

Это программное обеспечение опубликовано только для академического и некоммерческого использования.

Настройка

Этот код основан на torch. Он был протестирован на Ubuntu 16.04 LTS.

Зависимости:

• Torch (с loadcaffe) (https://github.com/torch/torch7)
• Matlab или Octave (https://www.mathworks.com/, https://www.gnu.org/software/octave/)

CUDA backend:

• CUDA (https://developer.nvidia.com/cuda-downloads)
• cudnn (https://developer.nvidia.com/cudnn)

Скачайте VGG-19:

sh models/download_models.sh

Скомпилируйте cuda_utils.cu (настройте PREFIX и NVCC_PREFIX в makefile для вашей машины):

make clean && make

Использование

Чтобы сгенерировать все результаты (в data/), просто запустите
python gen_all.py в Python, а затем
run('filt_cnn_artifact.m') в Matlab или Octave. Окончательный вывод будет в results/.

Обратите внимание, что в статье мы обучили CNN на наборе данных из 80 000 картин, собранных с wikiart.org, который оценивает уровень стилизации данной картины и соответствующим образом корректирует веса. Мы выпустим предварительно обученную модель в следующем обновлении. На данный момент пользователям придётся устанавливать эти веса вручную при работе с новыми картинами.

Мы удалили несколько изображений из-за проблем с авторскими правами. Полный набор находится здесь (https://github.com/luanfujun/deep-painterly-harmonization/blob/master/README2.md) для тестирования.

Примеры

Вот некоторые результаты нашего алгоритма (слева направо — оригинальная картина, наивный композит и наш результат):

В запросе представлен текст, который описывает расположение графических файлов.

В нём нет технических терминов или специфической лексики, поэтому определить основной язык текста запроса не представляется возможным. Можно предположить, что это язык разметки HTML.

Текст запроса представляет собой набор инструкций по размещению изображений на веб-странице с использованием HTML-тегов <p align='center'>, <img src> и атрибута width.

Перевод:

И так далее. Подтверждение

• Наша реализация факела основана на коде Джастина Джонсона;
• Потеря гистограммы вдохновлена Риссер и др..

Цитирование Если вы считаете, что эта работа полезна для вашего исследования, пожалуйста, процитируйте:

@article{luan2018deep,
  title={Глубокая живописная гармонизация},
  author={Луан, Фуджун и Пэрис, Сильвен и Шехтман, Эли и Бала, Кавита},
  journal={препринт arXiv arXiv:1804.03189},
  year={2018}
}

Контакт Не стесняйтесь обращаться ко мне, если у вас возникнут вопросы (Фуцзюнь Луан fl356@cornell.edu).