Этот проект преобразует реализацию на основе фреймворка MXNet из оригинальной книги «Начинаем работу с глубоким обучением» в реализацию на основе PyTorch. Авторы оригинальной книги: Астон Чжан, Ли Му, Закари C. Литтон, Александр J. Смоля и другие участники сообщества, GitHub-адрес: https://github.com/d2l-ai/d2l-zh

В этой книге есть некоторые различия между китайским и английским версиями. Для переписки на PyTorch англоязычной версии книги можно обратиться к этому проекту.

Введение

Этот репозиторий в основном содержит две папки: code и docs (в дополнение к некоторым данным, хранящимся в папке data). Папка code содержит jupyter notebook-коды для каждой главы (на основе PyTorch); папка docs содержит соответствующие материалы книги «Начинаем работу с глубоким обучением» в формате markdown, а затем с помощью docsify веб-страницы размещаются на GitHub Pages. Поскольку оригинальная книга использует фреймворк MXNet, содержание папки docs может немного отличаться от оригинала, но общее содержание одинаково. Приглашаем к участию в этом проекте или предложению проблем.## Целевая аудитория Этот проект предназначен для тех, кто интересуется глубоким обучением, особенно для тех, кто хочет использовать PyTorch для глубокого обучения. Этот проект не требует от вас какого-либо опыта в глубоком обучении или машинном обучении; достаточно знать основы математики и программирования, такие как основы линейной алгебры, дифференцирования и вероятности, а также основы Python-программирования.## Как использовать

Метод 1

Этот репозиторий содержит некоторые формулы на LaTeX, но markdown GitHub по умолчанию не поддерживает отображение формул. Папка docs уже размещена на GitHub Pages с помощью docsify, поэтому самый простой способ просмотра документации — это просто посетить веб-страницу этого проекта. Конечно, если вы хотите запустить соответствующий код, вам всё равно придётся клонировать этот проект, а затем запустить соответствующий код из папки code.

Метод 2

Вы также можете получить доступ к документации локально, сначала установив инструмент docsify-cli:

npm i docsify-cli -g

Затем клонируйте этот проект на локальную машину:

git clone https://github.com/ShusenTang/Dive-into-DL-PyTorch.git
cd Dive-into-DL-PyTorch

Затем запустите локальный сервер, чтобы удобно просматривать в реальном времени отображение документов по адресу http://localhost:3000.

docsify serve docs

Оглавление

• Введение
• Руководство по чтению
• 1. Введение в глубинное обучение
• 2. Предварительные знания
  • 2.1 Настройка окружения
  • 2.2 Операции с данными
  • 2.3 Автоматическое дифференцирование
• 3. Основы глубинного обучения
  • 3.1 Линейная регрессия
  • 3.2 С нуля реализация линейной регрессии
  • 3.3 Упрощенная реализация линейной регрессии
  • 3.4 Линейная классификация с помощью softmax
  • 3.5 Датасет для классификации изображений (Fashion-MNIST)
  • 3.6 С нуля реализация линейной классификации с помощью softmax
  • 3.7 Упрощенная реализация линейной классификации с помощью softmax
  • 3.8 Многослойный перцептрон
  • 3.9 С нуля реализация многослойного перцептрона
  • 3.10 Упрощенная реализация многослойного перцептрона
  • 3.11 Выбор модели, недообучение и переобучение
  • 3.12 Весовая регуляризация
  • 3.13 Dropout
  • 3.14 Прямое и обратное распространение и графы вычислений
  • 3.15 Числовая стабильность и инициализация модели
  • 3.16 Практика Kaggle: прогнозирование стоимости недвижимости
• 4. Вычисления глубинного обучения
  • 4.1 Строительство модели
  • 4.2 Доступ к параметрам модели, их инициализация и делегирование
  • 4.3 Поздняя инициализация параметров модели
  • 4.4 Пользовательские слои
  • 4.5 Чтение и запись
  • 4.6 Вычисления на GPU
• 5. Сверточные нейронные сети
  • 5.1 Двумерный сверточный слой
  • 5.2 Заполнение и шаги
• 5. Множественные входные и выходные каналы
  • 5.3 Множественные входные каналы и множественные выходные каналы
  • 5.4 Пуллинговые слои
  • 5.5 Сверточные нейронные сети (LeNet)
  • 5.6 Глубокие сверточные нейронные сети (AlexNet)
  • 5.7 Сети с повторяющимися элементами (VGG)
  • 5.8 Сети в сетях (NiN)
  • 5.9 Сети с параллельными соединениями (GoogLeNet)
  • 5.10 Батч-нормализация
  • 5.11 Сети с пропускными соединениями (ResNet)
  • 5.12 Сети с плотными соединениями (DenseNet)
• 6. Повторяющиеся нейронные сети
  • 6.1 Языковые модели
  • 6.2 Повторяющиеся нейронные сети
  • 6.3 Языковые модели: набор данных (тексты альбомов Джеки Чана)
  • 6.4 Реализация с нуля повторяющихся нейронных сетей
  • 6.5 Упрощенная реализация повторяющихся нейронных сетей
  • 6.66 Обратное распространение во времени (BPTT)](chapter06_RNN/6.6_bptt.md)
  • 6.7 Гейтед повторяющиеся нейронные сети (GRU)
  • 6.8 Долгосрочная и краткосрочная память (LSTM)
  • 6.9 Глубокие повторяющиеся нейронные сети
  • 6.10 Би-направленные повторяющиеся нейронные сети
• 7. Оптимизационные алгоритмы
  • 7.1 Оптимизация и глубокое обучение
  • 7.2 Градиентное и стохастическое градиентное спуск
  • 7.3 Стохастический градиентный спуск с небольшими мини-батчами
  • 7.4 Метод моментов
  • 7.5 Алгоритм AdaGrad
  • 7.6 Алгоритм RMSProp
  • 7.7 Алгоритм AdaDelta
  • 7.8 Алгоритм Adam
• 8. Вычислительная производительность
  • 8.1 Командные и символьные методы программирования
  • 8.2 Асинхронное вычисление
  • 8.3 Автоматическое параллельное вычисление
  • 8.4 Многокардный вычислительный процесс
• 9. Компьютерное зрение
  • 9.1 Изображение аугментации
  • 9.2 Микротюнинг2_finetuning.md)
  • [9. 3 Обнаружение объектов и ограничивающие рамки](chapter09_компьютерное_зрение/9. 3_bounding_box.md)
  • [9. 4 Анкерные рамки](chapter09_компьютерное_зрение/9. 4_anchor.md)
  • [9. 5 Многомасштабное обнаружение объектов](chapter09_компьютерное_зрение/9. 5_multiscale_object_detection.md)
  • [9. 6 Обнаружение объектов набор данных (Пикачу)](chapter09_компьютерное_зрение/9. 6_object_detection_dataset.md)
  • 9. 7 Однократное обнаружение многочисленных ограничивающих рамок (SSD)
  • [9. 8 Регион-чувствительные CNN (R-CNN) серия](chapter09_компьютерное_зрение/9. 8_rcnn.md)
  • [9. 9 Семантическое сегментирование и набор данных](chapter09_компьютерное_зрение/9. 9_semantic_segmentation_and_dataset.md)
  • 9. 10 Полносвязные сети (FCN)
  • [9. 11 Стилевой перенос](chapter09_компьютерное_зрение/9. 11_neural_style.md)
  • 9. 12 Практический подход к соревнованию Kaggle: классификация изображений (CIFAR-10)
  • 9. 13 Практический подход к соревнованию Kaggle: распознавание пород собак (ImageNet Dogs)
• 10. Природный языковый процесс
  • [10. 1 Словные вложения (word2vec)](chapter10_естественный_язык/10. 1_word2vec.md)
  • [10. 2 Приближенное обучение](chapter10_естественный_язык/10. 2_approx_training.md)
  • [10. 3 Реализация word2vec](chapter10_естественный_язык/10. 3_word2vec_pytorch.md)
  • [10. 4 Подсловные вложения (fastText)](chapter10_естественный_язык/10. 4_fasttext.md)
  • [10. 5 Глобальные векторные словные вложения (GloVe)](chapter10_естественный_язык/10. 5_glove.md)
  • [10. 6 Поиск синонимов и аналогий](chapter10_естественный_язык/10. 6_similarity_analogy.md)
  • 10.7 Классификация эмоций текста: использование рекуррентных нейронных сетей
  • 10.8 Классификация эмоций текста: использование сверточных нейронных сетей (textCNN)
  • 10.9 Энкодер-декодер (seq2seq)
  • 10.10 Поиск лучшего пути
  • 10.11 Механизм внимания
  • 10.12 Машинный переводПродолжаем обновлять...## Оригинальное издание Русский перевод: Начинаем изучать глубокое обучение | Репозиторий на GitHub
    Английский перевод: Dive into Deep Learning | Репозиторий на GitHub

Цитирование

Если вы используете этот проект в своих исследованиях, пожалуйста, цитируйте оригинальное издание:

@book{zhang2019dive,
    title={Dive into Deep Learning},
    author={Aston Zhang and Zachary C. Lipton and Mu Li and Alexander J. Smola},
    note={\url{http://www.d2l.ai}},
    year={2020}
}