1 В избранное 0 Ответвления 0

OSCHINA-MIRROR/xueshiqing-hadoop-yarn-dag-service

Присоединиться к Gitlife
Откройте для себя и примите участие в публичных проектах с открытым исходным кодом с участием более 10 миллионов разработчиков. Приватные репозитории также полностью бесплатны :)
Присоединиться бесплатно
В этом репозитории не указан файл с открытой лицензией (LICENSE). При использовании обратитесь к конкретному описанию проекта и его зависимостям в коде.
Клонировать/Скачать
Внести вклад в разработку кода
Синхронизировать код
Отмена
Подсказка: Поскольку Git не поддерживает пустые директории, создание директории приведёт к созданию пустого файла .keep.
Loading...
README.md

Система управления ресурсами на основе Hadoop-Yarn для автономного смешивания ресурсов

Основная информация

  • Лицензионное соглашение: GPL
  • Операционная система: CentOS
  • Язык разработки: JAVA
  • Разработчик: Пекинский университет авиации и космонавтики
  • Сайт проекта: https://xueshiqing.github.io/
  • Скачать исходный код проекта: https://gitee.com/xueshiqing/hadoop-yarn-dag-service

Описание проекта

Система управления ресурсами, основанная на Hadoop-YARN, обеспечивает смешанное планирование онлайн-задач и офлайн-задач в одном кластере, разработанную Пекинским университетом авиации и космонавтики.

Облачные вычисления являются важной формой информационной инфраструктуры эпохи Интернета и важным способом развития информационных технологий. По мере того как облачные вычислительные центры становятся все более разнообразными с точки зрения типов услуг, которые они предоставляют, существующие механизмы планирования обычно используют двухуровневую структуру планирования: уровень управления ресурсами фокусируется на управлении информацией об использовании ресурсов и распределении ресурсов на уровне пула ресурсов центра обработки данных; различные задачи имеют независимые планировщики задач, что приводит к определённым потерям ресурсов. Чтобы более эффективно использовать ресурсы центра обработки данных, планирование ресурсов демонстрирует характеристики многомерного и смешанного планирования с несколькими нагрузками. Например, Mesos, Yarn и т. д., посредством смешанного планирования различных размеров и нагрузок, эффективно используют ресурсы.

Этот проект был разработан в этом контексте и в основном ориентирован на крупномасштабные центры обработки данных. Он реализует смешанное планирование для онлайн- и офлайн-задач через унифицированное управление ресурсами и планирование.

Техническая архитектура

  1. Бэкенд
    • Базовая структура: Hadoop-yarn, docker, protobuf
    • Ведение журнала: log4j
    • Другое: fastjson, lombok и др.
  2. Среда разработки
    • Язык: JAVA
    • IDE: IDEA
    • Управление зависимостями: Maven

Функциональные модули

  • Смешанное планирование онлайн и офлайн задач
  • Анализ ключевых компонентов онлайн задач
  • Планирование офлайн задач на основе анализа ключевых компонентов

Среда разработки и зависимости бэкенда

  • java
  • maven
  • Hadoop-yarn
  • docker
  • protobuf

Загрузка и запуск проекта

  • Извлечение кода проекта
git clone url
  • Компиляция
mvn clean;
mvn package;
  • Запуск
cd /HADOOP_HOME/bin
./start-all.sh

Скачать приложение

Комментарии ( 0 )

Вы можете оставить комментарий после Вход в систему

Введение

Система управления ресурсами смешанного кластера в автономном режиме на основе Hadoop YARN. Развернуть Свернуть
Отмена

Обновления

Пока нет обновлений

Участники

все

Недавние действия

Загрузить больше
Больше нет результатов для загрузки
1
https://api.gitlife.ru/oschina-mirror/xueshiqing-hadoop-yarn-dag-service.git
git@api.gitlife.ru:oschina-mirror/xueshiqing-hadoop-yarn-dag-service.git
oschina-mirror
xueshiqing-hadoop-yarn-dag-service
xueshiqing-hadoop-yarn-dag-service
master