KnowAgent — платформа для сбора логов

В этом документе вы можете узнать о целевой аудитории KnowAgent, позиционировании продукта и т. д. Вы также можете быстро попробовать его в действии, используя приложение в качестве уровня сбора данных, чтобы выполнить весь процесс отправки задач сбора данных. Если вы уже используете KnowAgent в своей производственной среде и хотите получить официальную поддержку и руководство, вы можете связаться с нами через WeChat: William_Hu1989 или PenceXie, чтобы присоединиться к официальному каналу связи.

1. Описание продукта

KnowAgent основан на многолетнем опыте работы с крупномасштабными кластерами сбора данных в различных ключевых сценариях DripDrop. Он прошёл множество испытаний и предлагает комплексные решения для управления и контроля за сбором данных от большого количества агентов. KnowAgent использует приложение в качестве единицы сбора данных и удовлетворяет потребности создания задач сбора данных на уровне бизнеса. Кроме того, он легко интегрирует сбор файлов в потоковые вычисления в качестве надёжного источника данных.

1.1 Предварительное заявление

1.1.1 Управление агентами и задачами сбора данных

KnowAgent стремится к минимальной зависимости и простоте использования. Для хранения данных метрик и журналов ошибок агентов используется MySQL. Из-за ограничений производительности MySQL, при условии, что одна задача сбора данных соответствует одному пути сбора данных, а данные метрик и журналы ошибок сохраняются еженедельно, KnowAgent может управлять 50 агентами и 50 задачами сбора данных. Для управления большим количеством агентов и задач сбора данных обратитесь к разделу «Как заменить хранилище данных метрик и журналов ошибок агента для управления более крупным кластером агентов».

1.1.2 Сбор данных из контейнеров

На данный момент KnowAgent не предоставляет платформенную поддержку для сбора данных из контейнеров. В будущем будет предоставлена полная поддержка платформы для сбора данных из контейнеров, см. раздел «Введение в платформу для сбора данных KnowAgent».

1.2 Адрес для быстрого тестирования

Адрес для тестирования: http://101.43.178.205:9011/.

1.3 Карта пользовательского опыта

• Моя рабочая область:
  • Панель управления операциями: отображает ключевые показатели данных, связанные с операциями.
  • Панель мониторинга операций: отображает ключевые показатели данных, связанных с эксплуатацией.
• Центр метаданных:
  • Управление приложениями: поддерживает информацию, связанную с приложением, и отношения с хостом.
  • Управление приёмником: поддерживает данные потока агента, потока показателей и потока журналов ошибок, необходимые для записи в нижестоящий приёмник.
  • Управление метаданными: поддерживает файл метаданных Excel (содержимое файла метаданных включает информацию о хосте и приложении), а также предоставляет предварительный просмотр файла метаданных и функцию импорта.
• Центр агентов:
  • Управление версиями агентов: поддерживает информацию об установочных пакетах различных версий агентов.
  • Управление агентами: поддерживает информацию о хостах и конфигурации агентов, просматривает состояние работоспособности агентов и причины сбоев (если состояние работоспособности жёлтое или красное, отображаются причины сбоя). После запуска агент автоматически регистрируется в управляющей платформе с информацией о хосте. После успешной регистрации им можно управлять.
  • Управление задачами сбора данных: поддерживает информацию о задачах сбора данных, просматривает статус работоспособности задач сбора данных и причины сбоев (если статус работоспособности жёлтый или красный, отображаются причины сбоя).
• Центр мониторинга:
  • Панели мониторинга агентов: просматривают состояние работоспособности агентов во время их работы (включая систему, процессы и собственные бизнес-показатели агентов).
  • Панели мониторинга задач сбора данных: используются для просмотра состояния работоспособности задач сбора данных на разных хостах.
• Центр эксплуатации и обслуживания:
  • Исследование показателей: просматривайте состояние работоспособности и показатели агентов и задач сбора данных, поддерживайте сравнение и комплексный мониторинг нескольких агентов и нескольких задач сбора данных.

1.4 Основные преимущества

Платформа для сбора данных «всё в одном»

Высоконадёжный, высокопроизводительный и полностью наблюдаемый сбор данных с управляемой платформой, которая легко управляется, легко отслеживается и легко обслуживается, значительно снижает стоимость подключения к данным журнала и значительно повышает эффективность подключения к данным журнала.

Легко интегрируется в потоковые вычисления

Ориентированные на приложения задачи сбора данных и высокая надёжность сбора данных могут обеспечить целостность данных задач сбора данных для потоковых вычислений, формируя замкнутый цикл целостности данных всего процесса потоковых вычислений.

Характеристики промышленного уровня

Благодаря многолетнему опыту работы с кластерами крупномасштабного сбора данных в различных сценариях, сформировались всесторонние возможности наблюдения и совершенные возможности обнаружения и диагностики проблем и рисков, что позволяет обычным операторам по обслуживанию, которым не хватает предварительных знаний о сборе данных, легко обслуживать большие кластеры сбора данных.

Высокая производительность

Отличная непрерывная производительность сбора данных, основанная на jdk11+, обрабатывающая однострочные, однофайловые и неразборчивые сценарии отправки данных журнала в Kafka, непрерывная пропускная способность может достигать 100 МБ/с или выше, пиковая пропускная способность может достигать 150 МБ/с или выше, непрерывная пропускная способность одного ядра процессора может достигать 40 МБ/с или выше.

Сравнение аналогов

1.5 Архитектура KnowAgent

KnowAgent представляет собой платформу для сбора данных «всё в одном», состоящую из двух компонентов:

Агент: это высокопроизводительный сборщик данных на основе Java с поддержкой изоляции данных между несколькими арендаторами. Он может гарантировать целостность собираемых данных в любых условиях (кроме случаев, когда собираемые данные удаляются до сбора, например, файлы журналов архивируются или скорость вращения файлов журналов слишком высока, что приводит к потере данных). Непрерывная скорость сбора может достигать 150 МБ+/с.

Менеджер агентов: это платформа управления для агентов. Используется для управления соответствующими метаданными, агентами и задачами сбора данных, автоматического мониторинга работоспособности агентов и задач сбора данных, диагностики причин сбоев, отображения показателей.