KCenter

KCenter (ранее известный как KafkaCenter) — это унифицированная универсальная платформа для управления и обслуживания кластеров Apache Kafka, мониторинга производителей/потребителей и использования компонентов экосистемы.

Мы развернули этот продукт на Azure / AWS.

Коммерческие продукты имеют более широкие функции и техническую поддержку.

Если у вас есть какие-либо потребности, включая поддержку AWS, персонализированную разработку, вы можете создать проблему, и мы ответим вам как можно скорее.

Содержание

• Почему стоит использовать KCenter?
• Основные функции
• Конфигурация приложения
• Начало работы
  • 1. Инициализация
  • 2. Запуск
  • 3. Доступ к пользовательскому интерфейсу
• Сборка KCenter и/или внесение кода
• Документация
• Журнал изменений
• Вопросы? Проблемы? Предложения?

Почему стоит использовать KCenter?

У вас есть кластер Kafka, и вы хотите: — отслеживать производителей и потребителей с помощью графиков и возможностью легко настраивать оповещения по электронной почте при достижении пороговых значений; — позволить пользователям запрашивать темы и самостоятельно отслеживать их в простом веб-интерфейсе; — получить доступ к экосистеме Kafka (Kafka, KSQL, Kafka Connect, Kafka Manager) в одном комбинированном интерфейсе.

Всё, что вам нужно, — это MySQL DB в фоновом режиме, где KCenter может хранить свою конфигурацию. Если вы хотите использовать функции мониторинга, вам также потребуется установка Elasticsearch. Затем просто загрузите наш образ Docker (см. ниже) и вперёд!

Примечание: KCenter пока не поддерживает аутентификацию в защищённый кластер Kafka (SASL или OAuth), но мы работаем над этим.

Основные функции

• Главная — обзор всех настроенных кластеров Kafka, а также информация о мониторинге высокого уровня.
• Избранное — прямой доступ к статистике мониторинга ваших любимых тем.
• Тема — просмотр собственных тем или подача заявок на новые темы. Здесь вы также можете потреблять сообщения и имитировать новые записи через веб-интерфейс в свои темы!
• Мониторинг — статистика производства и потребления ваших тем. Здесь есть дополнительная возможность настроить оповещения (которые могут дополнительно запускать электронные письма) для произвольных порогов задержки потребления!
• Kafka Connect — создание и обслуживание собственных заданий Kafka Connect (для подключения требуется внешний сервис Kafka Connect).
• KSQL — создание и поддержка собственных заданий KSQL (для подключения необходим внешний сервис KQL).
• Утверждение — пользователи могут просматривать здесь свои запросы на создание тем, администраторы могут управлять запросами и утверждать их.
• Настройки — управление пользователями и командами (доступно только администраторам). Вы также можете использовать внешнее решение OAuth для управления пользователями.
• Менеджер Kafka — ведение информации о кластере Kafka (встроенный интерфейс популярного инструмента с открытым исходным кодом Kafka Manager).

Конфигурация приложения

Основная конфигурация приложения выполняется в центральном файле application.properties. Ознакомьтесь с нашим подробным примером здесь.

Начало работы

Важно: приложению нужна база данных MySQL для хранения всех конфигураций. Прежде чем начать, убедитесь, что она либо установлена на том же хосте, либо экземпляр доступен где-то ещё. Точное местоположение можно настроить с помощью...