Начальный этап в NLP

Ваш путь в NLP начинается здесь!

Основы

• Структуры данных и алгоритмы
• Основные знания
• Частые вопросы
• Заметки по практике

Классические книги (Baidu Yun Код для извлечения: b5qq)

Введение в алгоритмы

• Удовольствие от алгоритмов. Оригинальная книга

Глубокое обучение

• Deep Learning. Обязательная для прочтения книга по глубокому обучению. Оригинальная книга
• Neural Networks and Deep Learning. Обязательная для начинающих книга. Оригинальная книга
• Курс "Нейронные сети и глубокое обучение" профессора Чжоу Си Пэня, Фуданьский университет. Оригинальная книга

Обработка естественного языка

• Курс "Обработка речи и языка" третьего издания, Стэнфордский университет: обязательная для чтения книга по NLP. Оригинальная книга
• Курс CS224d: Глубокое обучение для обработки естественного языка. Материалы курса

Обязательные для чтения статьи

Модели алгоритмов и оптимизация* LSTM (Long Short-Term Memory). Адрес

• Dropout (Улучшение нейронных сетей путем предотвращения совместной адаптации детекторов признаков). Адрес

• Residual Network (Глубокое обучение с использованием резидуальных блоков для распознавания изображений). Адрес

• Batch Normalization (Ускорение обучения глубоких сетей за счет снижения внутренней ковариации). Адрес#### Обзорные статьи

• Методы анализа в нейронной обработке языка: обзор. Адрес

• Нейронное генерирование текста: прошлое, настоящее и будущее. Адрес

Языковые модели

• Нейронная вероятностная языковая модель. Адрес
• Языковые модели являются ненадзорными многозадачными обучаемыми моделями. Адрес

Усиление текста

• EDA: Легкие методы усиления данных для повышения производительности в задачах классификации текста. Адрес#### Предобучение текста
• Эффективная оценка представлений слов в векторном пространстве. адрес
• Распределенные представления предложений и документов. адрес
• Улучшение векторов слов субсловной информацией. адрес. интерпретация
• GloVe: Глобальные векторы для представления слов. официальный сайт
• ELMo (глубокие контекстные представления слов). адрес
• BERT: Предобучение глубоких двунаправленных трансформеров для понимания языка. адрес
• Предобучение с маскировкой целых слов для китайского BERT. адрес
• XLNet: Обобщенное автогенеративное предобучение для понимания языка. адрес

Текстовая классификация* Исследование чувствительности и практическое руководство по использованию сверточных нейронных сетей для классификации предложений. Адрес

• Сверточные нейронные сети для классификации предложений. Адрес
• Сети на основе внимания и длинных краткосрочных памятей для классификации отношений. Адрес

Генерация текста

• Глубокая модель ансамбля с выравниванием слотов для последовательного генерирования естественного языка. Адрес
• SeqGAN: последовательные генеративные сети с оптимизацией политики. Адрес
• Генеративные сети с оппозиционным обучением для синтеза изображений на основе текста. Адрес

Текстовая схожесть

• Обучение ранжирования пар коротких текстов с использованием сверточных глубоких нейронных сетей. Адрес
• Обучение схожести текста с использованием Siamese рекуррентных сетей. Адрес

Короткие тексты

• Глубокая архитектура для соответствия коротким текстам. Адрес

Автоматический вопросно-ответный анализ* Сети на основе многокритериальной внимательной модели для вопросно-ответного анализа. Адрес

• Проектирование и реализация XiaoIce, эмпатичного социального чатбота. Адрес
• Глубокая модель беседы на основе знаний. Адрес
• Генеративная модель вопросно-ответного анализа. Адрес
• Последовательная сеть соответствия для выбора ответов в многоразговорных чатботах. Адрес
• Моделирование многоразговорных бесед с использованием глубокого агрегирования высказываний. Адрес
• Выбор ответов для чатботов с использованием глубокой сети соответствия внимания. Адрес#### Машинный перевод
• Изучение представлений фраз с использованием RNN-энкодера/декодера для статистического машинного перевода. Адрес
• Transformer (Внимание — это всё, что вам нужно). Адрес
• Transformer-XL: Внимательные языковые модели за пределами фиксированного контекста. Адрес

Автоматический суммаризаций

• Get To The Point: Summarization with Pointer-Generator Networks. Адрес

Извлечение событий

• Event Extraction via Dynamic Multi-Pooling Convolutional Neural Networks. Адрес

Системы рекомендаций

• Behavior Sequence Transformer for E-commerce Recommendation in Alibaba. Адрес

Обязательные для прочтения блоги* The Illustrated Transformer.Блог

• Attention-based-model. Адрес

• KL divergence. Адрес

• Building Autoencoders in Keras. Адрес

• Modern Deep Learning Techniques Applied to Natural Language Processing. Адрес

• Node2vec embeddings for graph data. Адрес

• Bert интерпретация. Адрес Адрес

• XLNet: работа механизма и сравнение с Bert. Адрес

• Невероятно! LSTM и GRU: анализ, как никогда ясный (анимация + видео). Адрес### Реализованные алгоритмы

• Построение словных векторов

• fasttext (skipgram+cbow)
• gensim (word2vec)

• Усиление данных

• eda

• Алгоритмы классификации

• svm
• fasttext
• textcnn
• bilstm+attention
• rcnn
• han
• bert

• NER

• bilstm+crf

• Текстовая схожесть

• siamese

Связанные проекты на GitHub

• keras-gpt-2. Адрес
• textClassifier. Адрес
• attention-is-all-you-need-keras. Адрес
• BERT_with_keras. Адрес
• keras-bert. Адрес
• ELMo-keras. Адрес
• SeqGAN. Адрес

Связанные блоги

• 52nlp
• 科学空间/信息时代
• 刘建平Pinard
• 莫坠青云志
• 彗双智能-Keras源码分析
• 机器之心
• colah
• ZHPMATRIX
• wildml
• 徐阿衡
• 零基础入门深度学习

Связанные конференции* Association of Computational Linguistics(ассоциация по вычислительной лингвистике). ACL

• Empirical Methods in Natural Language Processing. EMNLP

• International Conference on Computational Linguistics. COLING

• Neural Information Processing Systems(конференция по нейронной обработке информации). NIPS

• AAAI Conference on Artificial Intelligence. AAAI

• International Joint Conferences on AI. IJCAI

• International Conference on Machine Learning(международная конференция по машинному обучению). ICML

• Ассоциация по вычислительной лингвистике(ассоциация по вычислительной лингвистике). ACL

• Эмпирические методы в обработке естественного языка. EMNLP

• Международная конференция по вычислительной лингвистике. COLING

• Конференция по нейронной обработке информации. NIPS

• Конференция AAAI по искусственному интеллекту. AAAI

• Международные совместные конференции по ИИ. IJCAI

• Международная конференция по машинному обучению. ICML