Elasticsearch основные технологии и практические навыки

• GitHub адрес https://github.com/onebirdrocks/geektime-ELK/
• GeekTime: Адрес для покупки видео-курса "Elasticsearch основные технологии и практические навыки" - https://time.geekbang.org/course/intro/197

Часть 1: Введение в Elasticsearch

Глава 1: Обзор

1. Описание курса
2. Обзор курса и рекомендации по изучению
3. Введение в Elasticsearch и его историю развития
4. Члены семьи Elastic Stack и их области применения

Глава 2: Установка и первое использование

1. Установка Elasticsearch и базовая конфигурация
2. Установка Kibana и быстрый обзор интерфейса
3. Запуск Elasticsearch, Kibana и Cerebro в контейнерах Docker
4. Установка Logstash и импорт данных

Глава 3: Начало работы с Elasticsearch

1. Основные понятия (1): Индексы, документы и REST API
2. Основные понятия (2): Узлы, кластеры, шарды и реплики
3. Базовые операции CRUD и массовые операции с документами
4. Введение в обратный индекс
5. Токенизация с помощью анализаторов
6. Обзор Search API
7. Подробное описание URI Search
8. Введение в Request Body и Query DSL
9. Query String & Simple Query String запросы
10. Динамическое отображение и типы полей
11. Установка явного отображения и описание параметров
12. Многострочные характеристики и настройка пользовательского анализатора в отображении
13. Шаблоны индекса и динамические шаблоны
14. Введение в анализ данных Elasticsearch
15. Заключение первой части

Часть 2: Глубокое понимание Elasticsearch### Глава 4: Глубокое понимание поиска

1. Поиск на основе терминов и полнотекстовый поиск
2. Структурированный поиск
3. Оценка релевантности поиска
4. Запросы и фильтры с множественными строками и полями
5. Запросы с множественными полями для одной строки: Dis Max Query
6. Запросы с множественными полями для одной строки: Multi Match
7. Многокультурный поиск и китайский поиск с использованием анализатора
8. Space Jam, пример полнотекстового поиска
9. Использование Search Template и Index Alias для запросов
10. Комбинированная сортировка: Function Score Query для оптимизации оценки
11. Term & Phrase Suggester
12. Автозаполнение и подсказки на основе контекста
13. Настройка поиска через кластеры

Глава 5: Распределенные характеристики и механизмы распределенного поиска

1. Распределенная модель кластера и проблемы выбора лидера и "головной боли"
2. Шарды и переключение кластера при сбое
3. Распределенное хранение документов
4. Шарды и их жизненный цикл
5. Анализ распределенного поиска и оценки релевантности
6. Сортировка и Doc Values & Fielddata
7. Пагинация и перебор: From, Size, Search After & Scroll API
8. Обработка параллельных операций чтения и записи

Глава 6: Глубокое понимание агрегации

1. Bucket & Metric агрегация и вложенные агрегации
2. Pipeline агрегация
3. Область действия и сортировка
4. Принципы агрегации и вопросы точности

Глава 7: Моделирование данных

1. Объекты и вложенные объекты
2. Родительско-дочерние отношения документов
3. Обновление по запросу и API переиндексации
4. Ingest Pipeline и Painless Script
5. Примеры моделирования данных в Elasticsearch
6. Лучшие практики моделирования данных в Elasticsearch
7. Обзор второй части## Третья часть: Управление кластером Elasticsearch

Глава 8: Защита ваших данных

1. Аутентификация и авторизация кластера
2. Внутренняя безопасность коммуникаций кластера
3. Безопасность коммуникаций между кластером и внешним миром

Глава 9: Горизонтальное масштабирование кластера Elasticsearch

1. Общие способы развертывания кластера
2. Архитектура Hot & Warm и фильтрация шардов
3. Планирование емкости кластера
4. Проектирование и управление шардами
5. Управление кластером Elasticsearch на частном облаке
6. Управление и развертывание кластера Elasticsearch на публичном облаке

Глава 10: Операционное обслуживание кластера в производственной среде

1. Общие конфигурации и список запуска для производственной среды
2. Мониторинг кластера Elasticsearch
3. Диагностика потенциальных проблем кластера
4. Решение проблем кластера Yellow и Red
5. Улучшение производительности записи кластера
6. Улучшение производительности чтения кластера
7. Тестирование производительности кластера
8. Оптимизация слияния сегментов и примечания
9. Кэширование и использование Breaker для ограничения использования памяти
10. Некоторые рекомендации по обслуживанию

Глава 11: Управление жизненным циклом индекса

1. Использование Shrink и Rollover API для эффективного управления временными рядами индексов
2. Управление полным жизненным циклом индекса и инструменты## Четвертая часть: Использование ELK для анализа больших данных

Глава 12: Использование Logstash и Beats для построения данных-канала

1. Введение в Logstash и архитектуру
2. Введение в Beats

Глава 13: Использование Kibana для визуализации данных

1. Настройка данных с помощью Index Pattern
2. Исследование данных с помощью Kibana Discover
3. Введение в базовые компоненты визуализации
4. Построение Dashboard

Глава 14: Исследование пакета X-Pack

1. Мониторинг и оповещение кластера Elasticsearch с помощью Monitoring и Alerting
2. Мониторинг производительности приложений с помощью APM
3. Обнаружение аномалий временных рядов с помощью машинного обучения (часть 1)
4. Обнаружение аномалий временных рядов с помощью машинного обучения (часть 2)
5. Управление журналами с помощью ELK
6. Создание демонстраций данных с помощью Canvas

Пятая часть: Практическая работа

Пример 1: Модуль поиска фильмов

1. Проектный анализ требований и архитектурный дизайн
2. Импорт данных о фильмах в Elasticsearch
3. Разработка вашего сервиса поиска фильмов
4. Создание приложения на Java и Elasticsearch

Пример 2: Анализ опроса пользователей Stackoverflow

1. Анализ требований и архитектурный дизайн
2. Извлечение и обогащение данных (Extract & Enrichment)
3. Создание панели с ключевыми показателями (Insights Dashboard)

Подготовка: Сертификация Elastic

1. Введение в сертификацию Elastic
2. Обзор ключевых моментов экзамена
3. Резервное копирование данных кластера# Скачивание ресурсов ELK
4. ELK 7.x - рекомендуется загрузить с официального сайта, если скорость интернета низкая, можно использовать следующую ссылку - загрузка с Baidu Pan (https://pan.baidu.com/s/1CRT3W4wEESglCBDnslk2AA)