《Elasticsearch 核心技术 и практика》

• Github адрес: https://github.com/onebirdrocks/geektime-ELK/
• GeekBrains: видеокурс «Elasticsearch: ядро технологии и практики» — купить по ссылке: https://time.geekbang.org/course/intro/197

Часть первая: знакомство с Elasticsearch

Глава 1: Введение

1. Введение в курс.
2. Обзор курса и рекомендации по обучению.
3. Знакомство с Elasticsearch и его историей развития.
4. Семейство Elastic Stack и примеры использования его компонентов.

Глава 2: Установка и начало работы

1. Установка и базовая настройка Elasticsearch.
2. Установка Kibana и обзор интерфейса.
3. Запуск Elasticsearch, Kibana и Cerebro в Docker-контейнерах.
4. Установка Logstash и импорт данных.

Глава 3: Основы Elasticsearch

1. Основные понятия: индексы, документы и REST API.
2. Узлы, кластеры, шарды и реплики.
3. Базовые операции CRUD и пакетные операции с документами.
4. Введение в инвертированный индекс.
5. Анализ документов с помощью анализаторов.
6. Обзор Search API.
7. Детальное рассмотрение URI Search.
8. Запрос через Request Body и использование Query DSL.
9. Запросы Query String и Simple Query String.
10. Динамическое сопоставление и распространённые типы полей.
11. Явное сопоставление и общие параметры.
12. Многополевые функции и настройка пользовательских анализаторов в сопоставлении.
13. Index Template и Dynamic Template.
14. Введение в агрегацию данных в Elasticsearch.
15. Итоги первой части.

Часть вторая: углублённое изучение Elasticsearch

Глава 4: Глубокое погружение в поиск

1. Поиск на основе терминов и полнотекстовый поиск.
2. Структурированный поиск.
3. Оценка релевантности поиска.
4. Query & Filtering и многострочные многополевые запросы.
5. Однострочный многополевой запрос: Dis Max Query.
6. Однострочный многополевой запрос: Multi Match.
7. Многоязычный и китайский поиск с разбиением на слова.
8. Пример полнотекстового поиска Space Jam.
9. Использование Search Template и Index Alias для запросов.
10. Комплексная сортировка: Function Score Query для оптимизации оценки.
11. Term & Phrase Suggester.
12. Автодополнение и контекстные подсказки.
13. Настройка межкластерного поиска.

Глава 5: Распределённые характеристики и механизмы распределённого поиска

1. Модель распределённого кластера и выбор мастера и разделение мозга.
2. Распределение шардов и отказоустойчивость кластера.
3. Распределённое хранение документов.
4. Жизненный цикл шарда.
5. Разбор распределённых запросов и оценка релевантности.
6. Сортировка и Doc Values & Fielddata.
7. Пагинация и обход: From, Size, Search After & Scroll API.
8. Обработка одновременных операций чтения и записи.

Глава 6: Углублённая агрегация данных

1. Агрегация Bucket & Metric и вложенные агрегаты.
2. Pipeline-агрегация.
3. Область действия и сортировка.
4. Принципы агрегации данных и точность результатов.

Глава 7: Моделирование данных

1. Объекты и Nested-объекты.
2. Родительско-дочерние отношения в документах.
3. Update By Query & Reindex API.
4. Ingest Pipeline & Painless Script.
5. Примеры моделирования данных в Elasticsearch.
6. Лучшие практики моделирования данных в Elasticsearch.
7. Итоги второй части.

Часть третья: управление кластером Elasticsearch

Глава 8: Защита ваших данных

1. Аутентификация и авторизация в кластере.
2. Внутренняя безопасность кластера.
3. Безопасность между кластером и внешним миром.

Глава 9: Горизонтальное расширение кластера Elasticsearch

1. Распространённые методы развёртывания кластера.
2. Архитектура Hot & Warm и Shard Filtering.
3. Планирование ёмкости кластера.
4. Проектирование и управление шардами.
5. Управление кластерами Elasticsearch в частных облаках.
6. Развёртывание и управление кластерами Elasticsearch в публичных облаках.

Глава 10: Оперативное управление кластером в производственной среде

1. Конфигурации и список обновлений для производственных сред.
2. Мониторинг кластера Elasticsearch.
3. Диагностика потенциальных проблем кластера.
4. Решение проблем с жёлтым и красным статусом кластера.
5. Повышение производительности записи в кластер.
6. Повышение производительности чтения из кластера.
7. Тестирование нагрузки на кластер.
8. Оптимизация слияния сегментов и важные моменты.
9. Кэширование и использование Breaker для ограничения использования памяти.
10. Некоторые операционные рекомендации.

Глава 11: Управление жизненным циклом индекса

1. Эффективное управление временными сериями индексов с использованием Shrink и Rollover API.
2. Полное управление жизненным циклом индексов и инструменты.

Часть четвёртая: использование ELK для анализа больших данных

Глава 12: Создание конвейеров данных с помощью Logstash и Beats

1. Вступление в Logstash и архитектура.
2. Введение в Beats.

Глава 13: Визуализация данных с Kibana

1. Настройка шаблонов индексов.
2. Исследование данных с помощью Kibana Discover.
3. Основные компоненты визуализации.
4. Создание Dashboard.

Глава 14: Изучение X-Pack

1. Мониторинг и оповещение о состоянии кластера Elasticsearch с помощью Monitoring и Alerting.
2. Программный мониторинг производительности с APM.
3. Обнаружение аномалий во временных рядах данных с использованием машинного обучения (часть 1).
4. Обнаружение аномалий во временных рядах данных с использованием машинного обучения (часть 2).
5. Ведение журналов с помощью ELK.
6. Демонстрация данных с Canvas.

Глава 15: Практические занятия

Практикум 1: Сервис поиска фильмов

1. Анализ требований и проектирование архитектуры.
2. Импорт музыкальных данных в Elasticsearch.
3. Построение вашего сервиса поиска фильмов.
4. Разработка приложения на Java и Elasticsearch.

Практикум 2: Анализ опроса пользователей Stackoverflow

1. Анализ требований и проектирование архитектуры.
2. Извлечение и обогащение данных.
3. Создание Insights Dashboard.

Дополнительно: сертификация Elastic

1. Введение в сертификацию Elastic.
2. Подготовка к экзамену.
3. Резервное копирование данных кластера.