Разделение задачи

Построение удаленного распределённого шага Partition в Spring Batch на основе Spring Boot, распределенная обработка на нескольких машинах, повышение производительности обработки данных в Spring Batch.

Пакетная обработка является неотъемлемой частью корпоративных бизнес-систем, а Spring Batch представляет собой легковесный комплексный пакетный процессор, который можно использовать для разработки критически важных операций по массовой обработке данных в корпоративной информационной системе. Spring Batch основан на POJO и фреймворке Spring, что делает его очень простым в использовании, позволяющим разработчикам легко получать доступ к и использовать корпоративные сервисы. Это — высоко масштабируемый фреймворк, который позволяет выполнять как простую пакетную обработку, так и сложные задачи больших наборов данных.

Приглашаем вас присоединиться к открытому QQ-сообществу для обсуждения технологий: 613025121

Особенности проекта

Этот проект не только создает полный работающий пример удаленной распределенной обработки с использованием Spring Batch, но также использует управление профилями Spring для реализации следующих моделей:

• Один мастер и несколько рабочих нод
• Несколько мастеров и несколько рабочих нод
• Комбинированное использование мастера и рабочих нод# схема архитектуры

краткое описание принципа работы

На основе RabbitMQ мастер-нода разбивает данные согласно логике (ID, хэш) на отдельные части для обработки, затем эти части помещаются в очередь сообщений (ActiveMQ, RabbitMQ). Рабочие ноды получают эти сообщения, извлекают данные из сообщений и параллельно обрабатывают их, после чего отправляют обратные результаты.

Для получения более подробной информации перейдите на наш блог: kailing.pub, для обсуждения технологий Spring Batch вы можете оставить свои комментарии в разделе комментариев на нашем сайте.