Этот проект преобразует реализацию кода MXNet из книги «Руководство по глубокому обучению» на PyTorch. Авторы книги: Астон Чжан, Ли Му, Цзакари К. Лютон, Александр Дж. Смоля и другие участники сообщества, GitHub адрес: https://github.com/d2l-ai/d2l-zh

Существуют некоторые различия между китайской версией и английской версией этой книги. Для переформатирования английской версии с использованием PyTorch можно обратиться к этому проекту.

Введение

Основной контент этого репозитория представлен двумя папками — code и docs (в дополнение к некоторым данным, хранящимся в папке data). Папка code содержит Jupyter Notebook код каждой главы (на основе PyTorch); папка docs содержит содержание книги «Руководство по глубокому обучению» в формате markdown, а затем использует docsify для развертывания веб-страниц на GitHub Pages. Поскольку оригинальная книга была написана с использованием фреймворка MXNet, содержание папки docs может немного отличаться от оригинала, но общее содержание остаётся тем же. Приветствуем ваши вклады или предложения.## Назначение Этот проект предназначен для людей, интересующихся глубоким обучением, особенно если они хотят использовать PyTorch для глубокого обучения. Проект не требует наличия какого-либо опыта в области глубокого обучения или машинного обучения; достаточно иметь базовое понимание математики и программирования, таких как базовая линейная алгебра, дифференцирование и теорию вероятностей, а также базового Python-программирования.## Как воспользоваться

Метод 1

Этот репозиторий содержит несколько формул LaTeX, но markdown GitHub по умолчанию не поддерживает отображение формул. Папка docs уже развернута на GitHub Pages с помощью docsify, поэтому самый простой способ просмотра документов — это прямое посещение веб-страницы проекта. Конечно, если вы хотите запустить связанный код, вам всё равно придётся клонировать этот проект, а затем запустить соответствующие коды в папке code.

Метод 2

Вы также можете получить доступ к документации локально, сначала установив инструмент docsify-cli:

npm i docsify-cli -g

Затем клонируйте этот проект в локальную среду:

git clone https://github.com/ShusenTang/Dive-into-DL-PyTorch.git
cd Dive-into-DL-PyTorch

После этого запустите локальный сервер, чтобы удобно просматривать отображение документов по адресу http://localhost:3000.

docsify serve docs

Оглавление

• Введение

• Руководство по чтению

• 1. Введение в глубинное обучение

• 2. Предварительные знания
  • 2.1 Настройка окружения
  • 2.2 Обработка данных
  • 2.3 Автоматическое вычисление градиентов
• 3. Основы глубинного обучения
  • 3.1 Линейная регрессия
  • 3.2 Реализация с нуля линейной регрессии3 Упрощенная реализация линейной регрессии](chapter03_DL-basics/3.3_linear-regression-pytorch.md)
  • 3.4 Софтмакс регрессия
  • 3.5 Датасет для классификации изображений (Fashion-MNIST)
  • 3.6 Реализация с нуля софтмакс регрессии
  • 3.7 Упрощенная реализация софтмакс регрессии
  • 3.8 Многослойный перцептрон
  • 3.9 Реализация с нуля многослойного перцептрона
  • 3.10 Упрощенная реализация многослойного перцептрона
  • 3.11 Выбор модели, недообучение и переобучение
  • 3.12 Весовая регуляризация
  • 3.13 Dropout
  • 3.14 Прямое распространение, обратное распространение и граф вычислений
  • 3.15 Численная стабильность и инициализация моделей
  • 3.16 Практическое применение Kaggle конкурса: прогнозирование стоимости недвижимости

• 4. Вычисления глубинного обучения

  • 4.1 Конструирование модели
  • 4.2 Доступ к параметрам модели, их инициализация и совместное использование
  • 4.3 Отложенная инициализация параметров модели
  • 4.4 Настраиваемый слой5 Чтение и записи](chapter04_DL_computation/4. 5_read-write.md)
  • [4. 6 Вычисления на GPU](chapter04_DL_computation/4. 6_use-gpu.md)

• 5. Сверточные нейронные сети

  • [5. 1 Двумерный сверточный слой](chapter05_CNN/5. 1_conv-layer.md)
  • [5. 2 Заполнение и шаги](chapter05_CNN/5. 2_padding-and-strides.md)

• 5. Множественные входные каналы и множественные выходные каналы

  • [5. 3 Каналы](chapter05_CNN/5. 3_channels.md)
  • [5. 4 Пуллинг слои](chapter05_CNN/5. 4_pooling.md)
  • [5. 5 Конволюционная нейронная сеть (LeNet)](chapter05_CNN/5. 5_lenet.md)
  • [5. 6 Глубокие конволюционные нейронные сети (AlexNet)](chapter05_CNN/5. 6_alexnet.md)
  • [5. 7 Сеть с повторяющимися элементами (VGG)](chapter05_CNN/5. 7_vgg.md)
  • [5. 8 Сеть в сети (NiN)](chapter05_CNN/5. 8_nin.md)
  • [5. 9 Сеть с параллельной связью (GoogLeNet)](chapter05_CNN/5. 9_googlenet.md)
  • [5. 10 Нормализация по батчам](chapter05_CNN/5. 10_batch-norm.md)
  • [5. 11 Сеть с пропускными соединениями (ResNet)](chapter05_CNN/5. 11_resnet.md)
  • [5. 12 Диффузная сеть (DenseNet)](chapter05_CNN/5. 12_densenet.md)

• 6. Циклические нейронные сети

  • [6. 1 Языковые модели](chapter06_RNN/6. 1_lang-model.md)
  • [6. 2 Циклическая нейронная сеть](chapter06_RNN/6. 2_rnn.md)
  • [6. 3 Языковые модели данных (тексты альбомов Jay Chou)](chapter06_RNN/6. 3_lang-model-dataset.md)
  • [6. 4 Реализация циклической нейронной сети с нуля](chapter06_RNN/6. 4_rnn-scratch.md)
  • [6. 5 Упрощенная реализация циклической нейронной сети](chapter06_RNN/6. 5_rnn-pytorch.md)
  • [6. 6 Обратное распространение во времени](chapter06_RNN/6. 6_bptt.md)
  • [6. 7 Врата циклической единицы (GRU)](chapter06_RNN/6. 7_gru.md)
  • [6. 8 Долгосрочная память (LSTM)](chapter06_RNN/6. 8_lstm.md)9 Глубокие циклические нейронные сети](chapter06_RNN/6.9_deep-rnn.md)

• 6.10 Бидирекциональные циклические нейронные сети

• 7. Оптимизация алгоритмов

  • 7.1 Оптимизация и глубокое обучение
  • 7.2 Градиентный спуск и стохастический градиентный спуск
  • 7.3 Мини-пакетный стохастический градиентный спуск
  • 7.4 Метод моментов
  • 7.5 Алгоритм Adagrad
  • 7.6 Алгоритм RMSProp
  • 7.7 Алгоритм Adadelta
  • 7.8 Алгоритм Adam

• 8. Вычислительная производительность

  • 8.1 Командное и символьное смешанное программирование
  • 8.2 Асинхронное вычисление
  • 8.3 Автоматическое параллелирование
  • 8.4 Вычисление с несколькими GPU

• 9. Компьютерное зрение

  • 9.1 Изображение аугментации
  • 9.2 Подбор модели
  • 9.3 Обнаружение объектов и ограничивающие рамки
  • 9.4 Анкерные рамки5 [Множественная масштабируемость в обнаружении объектов](chapter09_компьютерное_зрение/9. 5_множественная_масштабируемость_объектов.md)
  • [9. 6 Датасет для обнаружения объектов (Пикачу)](chapter09_компьютерное_зрение/9. 6_объектное_детектирование_датасет.md)
  • 9. 7 Одновременное детектирование множества рамок (SSD)
  • [9. 8 Серия R-CNN (Область Convolutional Neural Network)](chapter09_компьютерное_зрение/9. 8_rcnn.md)
  • [9. 9 Семантическая сегментация и датасет](chapter09_компьютерное_зрение/9. 9_семантическая_сегментация_и_датасет.md)
  • 9. 10 Полносвязная сеть (Fully Convolutional Network, FCN)
  • [9. 11 Перенос стилей](chapter09_компьютерное_зрение/9. 11_нейронный_стиль.md)
  • 9. 12 Применение Kaggle конкурса: классификация изображений (CIFAR-10)
  • 9. 13 Применение Kaggle конкурса: распознавание пород собак (ImageNet Dogs)* 10. Обработка естественного языка
  • 10.1 Словные эмбеддинги (word2vec)
  • 10.2 Аппроксимационное обучение
  • 10.3 Реализация word2vec в PyTorch
  • 10.4 Эмбеддинги слов на основе частей слова (fastText)
  • 10.5 Глобальные векторы словных эмбеддингов (GloVe)
  • 10.6 Поиск синонимов и аналогий
  • 10.7 Классификация эмоций текста: использование рекуррентной нейронной сети
  • 10.8 Классификация эмоций текста: использование сверточной нейронной сети (textCNN)
  • 10.9 Энкодер-декодер (seq2seq)
  • 10.10 Бандовая поиск
  • 10.11 Механизмы внимания
  • 10.12 Машина перевода

Продолжаем обновление...## Оригинальное издание Русская версия: Начальный курс глубинного обучения | GitHub репозиторий Английская версия: Dive into Deep Learning | GitHub репозиторий## Цитирование Если вы используете этот проект в своих исследованиях, пожалуйста, цитируйте следующим образом:

@book{zhang2019dive,
    title={Погружение в глубинное обучение},
    author={Астон Чжан и Закари К. Лайптон и Мо Ли и Александр Дж. Смола},
    note={\url{http://www.d2l.ai}},
    year={2020}
}