LogiEM: комплексная платформа мониторинга метрик и управления кластерами Elasticsearch. Чтение данного README документа позволит вам узнать о продукте LogiEM от Didi, его позиционировании, карте использования, быстрой установке и онлайн тестировании.

1. Обзор продукта

1.1 История развития продукта

LogiEM основан на внутренней Elasticsearch поисковой платформе (внутренний кодовый номер Arius) компании Didi и был оптимизирован и открыт в качестве open source. Это полное представление систематического подхода команды поиска Didi к Elasticsearch поисковым услугам и управлению.

Внутренние кластеры Elasticsearch компании Didi насчитывают более 60 кластеров, более 2500 узлов, 10 PB данных, 15 миллионов операций записи в секунду (TPS) и более 100 тысяч запросов в секунду (QPS). Внутри компании Didi Elasticsearch используется как основной поиск для различных сценариев, таких как логи, реальные данные MySQL, распределённые документы базы данных, сервисы поиска и т.д., а также предоставляются корпоративные права доступа, быстрая импортация данных, кросс-кластерное копирование, шаблоны индексов, проверка и анализ DSL и другие функции.

1.2 Возможности продуктаLogiEM предоставляет комплексное решение для управления кластерами Elasticsearch, управления ресурсами индексов и системы мониторинга метрик. На основе накопленного опыта работы внутри компании были созданы различные услуги шаблонов, такие как шаблоны индексов, экспертный анализ нестандартных запросов на основе шаблонов DSL, показатели здоровья кластера на основе мониторинга метрик, а также система заявок для создания замкнутого цикла продуктов.# 2. Опыт использования продукта

2.1 Быстрое тестирование

LogiEM предлагает среду для тестирования, адрес:

• Адрес тестирования: http://116.85.24.226/
• Логин/пароль: admin/admin

2.2 Карта использования

Для предотвращения ошибок при использовании продукта из-за точки зрения суперпользователя, LogiEM предлагает карту использования продукта для различных сценариев и точек зрения, включая карту использования пользователя и карту использования администратора.

2.2.1 Карта использования пользователя — Запрос ресурсов кластера: В зависимости от потребностей бизнеса и уровня обслуживания можно гибко выбирать общие ресурсы кластера, эксклюзивные ресурсы кластера или независимый кластер.

• Управление шаблонами индексов: Предоставляет возможность запроса шаблонов индексов для приложений, включая очистку шаблонов, вывод шаблонов из эксплуатации и другие возможности. Также предоставляет услуги по редактированию маппинга, предварительному созданию индексов, удалению просроченных данных и другим услугам управления шаблонами индексов.
• Поиск и запросы: Поддерживает встроенные в Kibana native возможности поиска, а также предоставляет возможности поиска с использованием DSL/SQL; закрывает цикл запросов внутри продукта, предоставляя статистику по шаблонам запросов, анализ медленных запросов и выявление异常情况的能力。- Дашборды метрик: Позволяют просматривать состояние работы кластера, агрегировать и отображать более 100 метрик с различных углов зрения для кластера, узлов и индексов. Предоставляет возможности просмотра и диагностики метрик с многими аспектами, такими как процентильные значения и статистика Top.

2.2.2 Операционное обслуживание карты опыта

• Управление кластерами: На основе требований пользователя, рационально распределяются ресурсы кластера, используя систему заявок, что позволяет платформизировать операции управления кластерами, шаблонами индексов и индексами.
• Управление шаблонами индексов: Динамическое повышение версий индексов, переключение главного и вторичного индексов, массовое перемещение индексов, разделение холодных и горячих индексов, планирование емкости индексов и прочие услуги.
• Мониторинг кластера: На основе многоаспектной системы мониторинга показателей, создается механизм здоровья кластера, который позволяет метрицизировать процессы управления кластерами, а также точно локализовать проблемы с помощью отбора аномальных показателей.

3. Ключевые преимущества продуктаLogiEM основан на многолетнем опыте команды Didi Search и представляет собой всеобъемлющую оптимизацию в трех аспектах: платформа, управление и создание движка. Он предназначен для решения различных проблем использования и управления большими кластерами Elasticsearch (ES), поэтому он имеет следующие преимущества:- Улучшение удобства использования платформы: Предоставляет мощный и удобный пользовательский интерфейс, обеспечивающий доступ к основным операциям, таким как индексы, кластеры и отображения, снижая затраты пользователей на использование Elasticsearch.

• Снижение затрат на управление: Предоставляет мощную и удобную платформу управления, позволяющую легко выполнять операции управления кластерами, индексами и правами доступа, что снижает затраты на обслуживание; предоставляет полный набор богатых метрик мониторинга, что помогает разработчикам и службе эксплуатации быстро понять состояние работы кластера.

• Улучшение возможностей движка: Внедряет спецификацию для создания кросс-кластерного копирования данных, быстрого создания отдельных индексов и других особенностей, что увеличивает стабильность и производительность кластера Elasticsearch.

4. Архитектура платформы LogiEM Didi

Платформа LogiEM состоит из одного сервиса передней части (Arius Web Console) и двух сервисов задней части (Arius Admin, Arius Gateway), архитектура представлена ниже:

LogiEM обеспечивает возможности в нескольких направлениях:- Открытый характер: Пользователи могут просто подключить свои кластеры к LogiEM и сразу использовать его возможности, такие как сбор данных и мониторинг метрик кластера, мониторинг и управление индексами кластера, а также после подключения к Gateway получить полные данные о запросах и записях.- Открытый характер Didi: После подключения своих кластеров к LogiEM и создания шаблонов индексов в соответствии с правилами LogiEM, пользователи могут использовать его возможности, связанные с услугой шаблонов индексов, которую разработала команда Didi, такими как обновление шаблона, ограничение скорости запросов и записи.

• Коммерческий характер: После подключения своих кластеров к LogiEM и приобретения коммерческой лицензии, пользователи могут использовать его возможности, такие как управление кластерами, оптимизация производительности движка Didi ES и другие.

• Характеристики планирования: После того как LogiEM был открыт исходным кодом, некоторые возможности в последующих планах были сосредоточены на таких аспектах, как: DSL-поток воспроизведения, восстановление индексов, резервное копирование индексов, диагностика уровня журналирования движка.

Настоящая версия открытия исходного кода LogiEM 0.1 предоставляет возможность использования открытых характеристик и специфических возможностей для пользователей сообщества открытого исходного кода. Если пользователям требуются коммерческие характеристики LogiEM, они могут обратиться к нам.

5. Быстрый старт

Автоматическая установка LogiEM

5.1 Требования к среде и объяснение1. Операционная система должна быть в начальной стадии, и её версия должна быть CentOS 7.x.

2. Обязательное условие для доступной памяти сервера — более 8 ГБ.

3. Установка окружения LogiEM потребует переустановки MySQL и изменения конфигурации Nginx.

4. Установка производится под учетной записью root, директория установки /root/.## 5.2 Инструкция по использованию скрипта

5. Сервер должен иметь возможность доступа к интернету: после загрузки скрипта на сервер выполните команду sh install_LogiEM.sh ip адрес скачивания скрипта, где ip — это адрес IP сервера установки.

6. В случае недоступности интернета: адрес скачивания пакета a. Загрузите пакет для офлайн-установки и скрипт установки локально, затем загрузите их на сервер в одну и ту же директорию и распакуйте пакет. b. Отключите функцию Down_Package в скрипте установки, затем выполните скрипт установки: sh install_LogiEM.sh ip

7. При прерывании процесса установки проверьте причину прерывания.

5.3 Версии модулей и используемые порты

6. Связанные документы

• Пользовательское руководство LogiEM
• Документация по установке и развертыванию LogiEM
• Описание дизайна LogiEM
• Документация по компиляции и запуску исходного кода LogiEM
• Лучшие практики использования LogiEM
• Часто задаваемые вопросы (FAQ)# 7. Группа общения пользователей открытого исходного кода

Добавиться в группу WeChat: Подпишитесь на официальный аккаунт "Облачная оригинальность наблюдаемости", отправьте "добавь в группу".

8. Члены проекта

8.1 Внутренние ключевые члены

zhangliangmike、zhaoqingrong、superhua、linyunan、wangpengkai、liuchengxiang、joysunchao、wzhoupeng、guoxusheng

8.2 Внешние вкладчики

houxiufeng, caijiamin, fengkun ...