Глубокое обучение

Глубокое обучение (Deep Learning) — это раздел машинного обучения, который представляет собой попытку использовать многоуровневую структуру или последовательность нелинейных преобразований для выполнения высокоуровневой абстракции данных. Глубокое обучение в машинном обучении является алгоритмом, основанным на изучении представления данных. На сегодняшний день существует несколько фреймворков глубокого обучения, таких как свёрточные нейронные сети, глубокие доверительные сети, рекуррентные нейронные сети и Transformer, которые применяются в компьютерном зрении, распознавании речи, обработке естественного языка, распознавании аудио и биоинформатике и показывают отличные результаты.

В отличие от традиционного неглубокого обучения, глубокое обучение отличается:

• акцентом на глубину структуры модели, обычно с 5, 6 слоями или даже более чем 10 скрытыми слоями;
• подчёркиванием важности изучения признаков.
  • Посредством поэтапного преобразования признаков образцы в исходном пространстве преобразуются в новое пространство признаков, что упрощает классификацию или прогнозирование.
  • В сравнении с методами искусственного построения признаков на основе правил, использование больших объёмов данных для изучения признаков позволяет более точно отобразить богатую внутреннюю информацию данных.

Посредством разработки достаточного количества вычислительных узлов нейронов и многоуровневой структуры операций, выбора подходящих входного и выходного слоёв, через обучение и оптимизацию сети устанавливается функциональная связь между входом и выходом. Хотя невозможно найти 100% функциональную связь между входными и выходными данными, можно максимально приблизиться к реальным отношениям. Используя успешно обученную сетевую модель, можно реализовать требования автоматизации сложных процессов.

Типичные модели глубокого обучения включают свёрточную нейронную сеть (convolutional neural network), глубокую доверительную сеть (Deep Belief Network, DBN), стековую автокодирующую сеть, рекуррентную нейронную сеть (Recurrent Neural Network), генеративно-состязательную сеть (Generative Adversarial Networks, GAN) и Transformer.

История развития глубокого обучения

На рисунке ниже показана история развития распространённых сетей глубокого обучения.

Содержание

— CNN:

• Введение в CNN;
• Простая демонстрация CNN;
• Основы свёртки;
• LeNet5;
• AlexNet;
• VGG Network;
• GoogleNet;
• ResNet;
• DenseNet;
• Пакетная нормализация;
• Снижение скорости обучения;
• Регуляризация;
• Увеличение данных. — RNN:
• Pytorch-RNN;
• RNN для изображений;
• LSTM для временных рядов. — GAN:
• Автоэнкодер;
• Вариационный автоэнкодер (VAE);
• Генеративно-состязательная сеть (GAN).

[Некоторые практические рекомендации по построению глубоких нейронных сетей.]

Справочные материалы

• Глубокое обучение – Deep learning.
• Глубокое обучение.