Awesome Deep Vision

Кураторский список ресурсов глубокого обучения для компьютерного зрения, вдохновлённый awesome-php и awesome-computer-vision.

Сопровождающие: Дживон Ким, Хису Мён, Мьюнгсуб Чой, Джун Квон Ли, Тэксу Ким.

Проект не поддерживается активно.

Вклад

Пожалуйста, не стесняйтесь отправлять запросы на вытягивание (pull requests) для добавления статей.

Совместное использование

• [Поделиться в Twitter](http://twitter.com/home?status=http://jiwonkim.org/awesome-deep-vision%0ADeep Learning Resources for Computer Vision)
• Поделиться на Facebook
• Поделиться в Google Plus
• Поделиться в LinkedIn

Содержание

• Статьи
  • Классификация ImageNet
  • Обнаружение объектов
  • Отслеживание объектов
  • Низкоуровневое зрение
    • Суперразрешение
    • Другие приложения
  • Выделение границ
  • Семантическая сегментация
  • Визуальное внимание и выделение
  • Распознавание объектов
  • Оценка позы человека
  • Понимание CNN
  • Изображение и язык
    • Подписи к изображениям
    • Субтитрирование видео
    • Ответы на вопросы
  • Генерация изображений
  • Другие темы
• Курсы
• Книги
• Видео
• Программное обеспечение
  • Фреймворк
  • Приложения
• Учебники
• Блоги

Статьи

Классификация ImageNet

(от Алекса Крижевского, Ильи Суцкевера, Джеффри Э. Хинтона, Классификация ImageNet с глубокими свёрточными нейронными сетями, NIPS, 2012.)

• Microsoft (Глубокое остаточное обучение) [Статья][Слайд]

  • Кайминг Хе, Сянъюй Чжан, Шаоцин Жэнь, Цзянь Сун, Глубокое остаточное обучение для распознавания изображений, arXiv:1512.03385.

• Microsoft (PReLu/Инициализация весов) [Статья]

  • Каймин Хе, Сянъю Чжан, Шаоцин Рен, Цзянь Сун, Углубление в выпрямители: Превосхождение человеческого уровня производительности при классификации ImageNet, arXiv:1502.01852.

• Нормализация партии [Статья]

  • Сергей Иоффе, Кристиан Сегеди, Нормализация партии: Ускорение обучения глубоких сетей путём уменьшения внутреннего сдвига ковариации, arXiv:1502.03167.

• GoogLeNet [Статья]

  • Кристиан Сегеди, Вэй Лю, Янцин Цзя, Пьер Серманте, Скотт Рид, Драгомир Ангелов, Думитру Эрхан, Винсент Ванхоуке, Андрей Рабинович, CVPR, 2015.

• VGG-Net [Веб] [Статья]

  • Карен Симонян и Эндрю Циссерман, Очень глубокие свёрточные сети для крупномасштабного визуального восприятия. Другие приложения

• Оптический поток (FlowNet)

  • Филлип Фишер, Алексей Досовицкий, Эдди Ильг, Филипп Хейссер, Канер Хазирбаш, Владимир Голков, Патрик ван дер Смагт, Даниэль Кремерс, Томас Брокс. FlowNet: обучение оптического потока с помощью свёрточных сетей. arXiv:1504.06852.

• Уменьшение артефактов сжатия

  • Чао Донг, Юбин Дэн, Чен Чанг Лой, Сяоу Тан. Уменьшение артефактов сжатия с помощью глубокой свёрточной сети. arXiv: 1504.06993.

• Удаление размытия

  • Кристиан Дж. Шулер, Майкл Хирш, Стефан Хармелинг, Бернхард Шёлькопф. Обучение удалению размытия. arXiv: 1406.7444.
  • Цзянь Сун, Вэньфэй Цао, Цзунбэн Сюй, Жан Понсе. Изучение свёрточной нейронной сети для удаления неравномерного размытия изображения. CVPR, 2015.

• Деконволюция изображений

  • Ли Сюй, Джимми С.Дж. Рен, Се Лю, Цзяя Цзя. Глубокая свёрточная нейронная сеть для деконволюции изображений. NIPS, 2014.

• Глубокий фильтр, учитывающий края

  • Ли Сюй, Джимми С. Дж. Рен, Цион Янь, Ренцзе Ляо, Цзяя Цзя. Глубокие фильтры, учитывающие края. ICML, 2015.

• Вычисление стоимости стереосогласования с помощью свёрточной нейронной сети

  • Юре Жбонтар, Ян ЛеКун. Вычисление стоимости стереосогласования с помощью свёрточной нейронной сети. CVPR, 2015.

• Красочное окрашивание изображений

  • Ричард Чжан, Филип Изола, Алексей А. Эфрос. Красочное окрашивание изображений. ECCV, 2016.

• Райан Даль. Окрашивание.

• Изучение признаков путём восстановления

  • Дипак Патак, Филипп Крахенбюль, Джефф Донахью, Тревор Даррелл, Алексей А. Эфрос. Кодеры контекста: изучение признаков путём восстановления. CVPR, 2016.

Обнаружение границ

(из Гедаса Бертасиуса, Джанбо Ши, Лоренцо Торресани. DeepEdge: многоуровневая раздвоенная глубокая сеть для обнаружения контуров сверху вниз. CVPR, 2015.)

• Обнаружение глубоких границ

  • Гедас Бертасиус, Джанбо Ши, Лоренцо Торресан. DeepEdge: многоуровневая раздвоенная глубокая сеть для обнаружения контуров сверху вниз. arXiv: 1412.1123.

• Holistically-Nested Edge Detection

  • Санинг Си, Чжуовэнь Ту. Holistically-Nested Edge Detection. arXiv: 1504.06375.

• DeepContour

  • Вэй Шен, Синган Ван, Янь Ван, Сян Бай, Чжицзян Чжан. DeepContour: глубокая свёрточная функция, изученная с помощью потери положительного обмена для обнаружения контура. CVPR, 2015.

Семантическая сегментация

(от Джифенга Дая, Кайминга Хе, Цзяна Суна. BoxSup: использование ограничивающих рамок для управления свёрточными сетями для семантической сегментации. arXiv: 1503.01640.)

PASCAL VOC2012 Challenge Leaderboard (01 сентября 2016 г.)

(по данным PASCAL VOC2012 таблицы лидеров).

SEC: Seed, Expand and Constrain

• Александр Колесников, Кристоф Ламперт. Seed, Expand и... Clement Farabet, Camille Couprie, Laurent Najman, Yann LeCun. Scene Parsing with Multiscale Feature Learning, Purity Trees, and Optimal Covers. ICML, 2012.

Clement Farabet, Camille Couprie, Laurent Najman, Yann LeCun. Learning Hierarchical Features for Scene Labeling. PAMI, 2013.

Vijay Badrinarayanan, Alex Kendall и Roberto Cipolla. SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation. arXiv preprint arXiv:1511.00561, 2015.

Alex Kendall, Vijay Badrinarayanan и Roberto Cipolla. Bayesian SegNet: Model Uncertainty in Deep Convolutional Encoder-Decoder Architectures for Scene Understanding. arXiv preprint arXiv:1511.02680, 2015.

Fisher Yu, Vladlen Koltun. Multi-Scale Context Aggregation by Dilated Convolutions. ICLR 2016.

Hamid Izadinia, Fereshteh Sadeghi, Santosh Kumar Divvala, Yejin Choi, Ali Farhadi. Segment-Phrase Table for Semantic Segmentation, Visual Entailment and Paraphrasing. ICCV, 2015.

Iasonas Kokkinos. Pusing the Boundaries of Boundary Detection Using deep Learning. ICLR 2016.

Niloufar Pourian, S. Karthikeyan, B.S. Manjunath. Weakly supervised graph based semantic segmentation by learning communities of image-parts. ICCV, 2015.

Nian Liu, Junwei Han, Dingwen Zhang, Shifeng Wen, Tianming Liu. Predicting Eye Fixations using Convolutional Neural Networks. CVPR, 2015.

Saurabh Singh, Derek Hoiem, David Forsyth. Learning a Sequential Search for Landmarks. CVPR, 2015.

Jimmy Lei Ba, Volodymyr Mnih, Koray Kavukcuoglu. Multiple Object Recognition with Visual Attention. ICLR, 2015.

Volodymyr Mnih, Nicolas Heess, Alex Graves, Koray Kavukcuoglu. Recurrent Models of Visual Attention. NIPS, 2014.

Maxime Oquab, Leon Bottou, Ivan Laptev, Josef Sivic. Is object localization for free? – Weakly-supervised learning with convolutional neural networks. CVPR, 2015.

Mircea Cimpoi, Subhransu Maji, Andrea Vedaldi. Deep Filter Banks for Texture Recognition and Segmentation. CVPR, 2015.

Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh. Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields. CVPR, 2017.

Leonid Pishchulin, Eldar Insafutdinov. Mind’s Eye: A Recurrent Visual Representation for Image Caption Generation

Xinlei Chen, C. Lawrence Zitnick

CVPR 2015

From Captions to Visual Concepts and Back

Hao Fang, Saurabh Gupta, Forrest Iandola, Rupesh Srivastava, Li Deng, Piotr Dollár, Jianfeng Gao, Xiaodong He, Margaret Mitchell, John C. Platt, C. Lawrence Zitnick, Geoffrey Zweig

CVPR, 2015.

Show, Attend, and Tell: Neural Image Caption Generation with Visual Attention

Kelvin Xu, Jimmy Lei Ba, Ryan Kiros, Kyunghyun Cho, Aaron Courville, Ruslan Salakhutdinov, Richard S. Zemel, Yoshua Bengio

arXiv:1502.03044 / ICML 2015

Phrase-based Image Captioning

Remi Lebret, Pedro O. Pinheiro, Ronan Collobert

arXiv:1502.03671 / ICML 2015

Learning like a Child: Fast Novel Visual Concept Learning from Sentence Descriptions of Images

Junhua Mao, Wei Xu, Yi Yang, Jiang Wang, Zhiheng Huang, Alan L. Yuille

arXiv:1504.06692

Exploring Nearest Neighbor Approaches for Image Captioning

Jacob Devlin, Saurabh Gupta, Ross Girshick, Margaret Mitchell, C. Lawrence Zitnick

arXiv:1505.04467

Language Models for Image Captioning: The Quirks and What Works

Jacob Devlin, Hao Cheng, Hao Fang, Saurabh Gupta, Li Deng, Xiaodong He, Geoffrey Zweig, Margaret Mitchell

arXiv:1505.01809

Image Captioning with an Intermediate Attributes Layer

Qi Wu, Chunhua Shen, Anton van den Hengel, Lingqiao Liu, Anthony Dick

arXiv:1506.01144

Learning language through pictures

Grzegorz Chrupala, Akos Kadar, Afra Alishahi

arXiv:1506.03694

Describing Multimedia Content using Attention-based Encoder-Decoder Networks

Kyunghyun Cho, Aaron Courville, Yoshua Bengio

arXiv:1507.01053

Image Representations and New Domains in Neural Image Captioning

Jack Hessel, Nicolas Savva, Michael J. Wilber

arXiv:1508.02091

«Learning Query and Image Similarities with Ranking Canonical Correlation Analysis»

Ting Yao, Tao Mei, Chong-Wah Ngo

ICCV, 2015

Long-term Recurrent Convolutional Networks for Visual Recognition and Description

Jeff Donahue, Lisa Anne Hendricks, Sergio Guadarrama, Marcus Rohrbach, Subhashini Venugopalan, Kate Saenko, Trevor Darrell

CVPR, 2015.

Translating Videos to Natural Language Using Deep Recurrent Neural Networks

Subhashini Venugopalan, Huijuan Xu, Jeff Donahue, Marcus Rohrbach, Raymond Mooney, Kate Saenko

arXiv:1412.4729.

Joint Modeling Embedding and Translation to Bridge Video and Language

Yingwei Pan, Tao Mei, Ting Yao, Houqiang Li, Yong Rui

arXiv:1505.01861.

Sequence to Sequence—Video to Text

Subhashini Venugopalan, Marcus Rohrbach, Jeff Donahue, Raymond Mooney, Trevor Darrell, Kate Saenko

arXiv:1505.00487.

Describing Videos by Exploiting Temporal Structure

Li Yao, Atousa Torabi, Kyunghyun Cho, Nicolas Ballas, Christopher Pal, Hugo Larochelle, Aaron Courville

arXiv:1502.08029 Генерация изображений с помощью свёрточных и рекуррентных сетей

Aäron van den Oord, Nal Kalchbrenner.

Без дополнительного контекста невозможно точно перевести этот текст.

Возможный вариант перевода:

Аарон ван ден Оорд, Нал Калхбреннер. Deepgaze: библиотека компьютерного зрения для взаимодействия человека и компьютера на основе CNNs

Приложения:

• Тренировка в условиях состязательности. Код и гиперпараметры для статьи «Generative Adversarial Networks».
• Понимание и визуализация. Исходный код для статьи «Understanding Deep Image Representations by Inverting Them», CVPR, 2015.
• Семантическая сегментация.
  • Исходный код для статьи «Rich feature hierarchies for accurate object detection and semantic segmentation», CVPR, 2014.
  • Исходный код для статьи «Fully Convolutional Networks for Semantic Segmentation», CVPR, 2015.
• Суперразрешение. Image Super-Resolution for Anime-Style-Art.
• Обнаружение границ.
  • Исходный код для статьи «DeepContour: A Deep Convolutional Feature Learned by Positive-Sharing Loss for Contour Detection», CVPR, 2015.
  • Исходный код для статьи «Holistically-Nested Edge Detection», ICCV 2015.

Учебники:

• [CVPR 2014] Учебник по глубокому обучению в компьютерном зрении.
• [CVPR 2015] Прикладное глубокое обучение для компьютерного зрения с Torch.

Блоги:

• Глубоко в кроличьей норе: CVPR 2015 и далее. Блог Тома Бонэ о компьютерном зрении.
• Резюме CVPR и наши планы. Блог Зои Былински (аспирантка MIT).
• Искусственная живопись Facebook. Wired.
• Инцепционизм: глубже в нейронные сети. Google Research.
• Реализация нейронных сетей.