DDMQ — это распределённый продукт для обмена сообщениями, разработанный командой DiDi Infrastructure на основе Apache RocketMQ. Как распределённое промежуточное ПО для обмена сообщениями DDMQ обеспечивает низкую задержку, высокую пропускную способность и высокую доступность службы обмена сообщениями для многих важных крупномасштабных распределённых систем внутри DiDi. DDMQ предоставляет услуги обмена сообщениями в реальном времени, с задержкой и транзакционные сообщения для удовлетворения различных сценариев. С помощью простой в использовании веб-консоли и простого SDK-клиента разработчики могут легко создавать и использовать сообщения.

Особенности

• Модель обмена сообщениями: поддержка моделей P2P и Pub/Sub.
• Массивное хранилище сообщений, поддержка RocketMQ и Kafka в качестве механизма хранения.
• Низкая задержка и высокая пропускная способность.
• Задержка сообщений, использование RocksDB в качестве механизма хранения.
• Транзакционные сообщения: предоставление транзакций, аналогичных X/Open XA.
• Многоязычный клиентский SDK: предоставление клиентских SDK на PHP, Java, Go, C/C++, Python.
• Переход и фильтрация сообщений с помощью пользовательского скрипта Groovy.
• Простая в использовании веб-консоль.

Обзор архитектуры

Модули

• carrera-common: общий код для других модулей, например, инкапсуляция операций zk.
• carrera-producer: прокси-сервер производителя сообщений со встроенным Thrift Server, отвечает за пересылку сообщений от клиента SDK брокеру.
• carrera-consumer: прокси-сервер потребителя сообщений со встроенным Thrift Server, предоставляет SDK PULL и HTTP PUSH для использования сообщений.
• carrera-chronos: модуль задержки сообщений, использует RocksDB в качестве движка хранения.
• carrera-sdk: производитель и потребитель SDK, поддерживает Java/C/C++/Go/PHP/Python.
• rocketmq: на основе RocketMQ (Ver 4.2.0), добавляет новые функции, такие как автоматическое переключение брокера при отказе.
• carrera-console: веб-консоль пользователя на основе Spring.
• carrera-monitor: монитор отставания потребителей и мониторинг кластера DDMQ.
• carrera-docker: предоставляет образ DDMQ Docker, который работает в автономном режиме.

Быстрый старт

Мы предоставляем автономную версию DDMQ в виде образа Docker, дополнительную информацию см. в carrera-docker/README.md.

Развёртывание

Зависимости

• 64-битная ОС, Linux/Unix/Mac.
• 64-разрядный JDK 1.8+.
• Maven 3.2.x.
• MySQL 5.7.x.
• Tomcat 7/8/9.
• Zookeeper 3.4.x.

Процедуры развёртывания

• Разверните MySQL и Zookeeper.

  Установите MySQL 5.7: https://dev.mysql.com/doc/mysql-installation-excerpt/5.7/en/. Установите Zookeeper 3.4.x: https://zookeeper.apache.org/doc/r3.1.2/zookeeperStarted.html.

• Разверните RocketMQ, следуя руководству RocketMQ.

• Инициализируйте таблицы MySQL, следуя руководству MySQL.

• Разверните консоль, следуя руководству Console.

• Инициализируйте узел и данные Zookeeper, вызвав API консоли:

  • curl http://console_addr:8080/carrera/api/odin/internal/v4/initZkPath.
  • curl http://console_addr:8080/carrera/api/odin/internal/v4/initAllZk.

• Разверните прокси-сервер Producer, следуя руководству Deploy PProxy.

• Разверните Consumer Proxy, следуя руководству Deploy CProxy.

• Разверните Chronos, следуя руководству Deploy Chronos.

Использование

Дополнительную информацию см. в руководстве по эксплуатации DDMQ Console Manual.

Вклад

Приглашаем внести свой вклад, создавая проблемы или отправляя запросы на вытягивание. См. руководство по внесению вклада [CONTRIBUTING.md] для получения рекомендаций.

Контакты

Не стесняйтесь обращаться к разработчикам DDMQ через ddmq_open_source@didiglobal.com.

Лицензия

DDMQ лицензируется под лицензией Apache 2.0. Смотрите файл LICENSE.