Введение

PackOne используется для упрощения развёртывания кластера больших данных в облаках, включая OpenStack, H3CloudOS, EVCloud и CSTCloud и др. Он может инициализировать кластер с нуля в несколько кликов и материализовать его в образы облаков, чтобы ускорить последующие процедуры создания кластера. Кроме того, PackOne может масштабировать кластеры одним кликом.

Это программное обеспечение вдохновлено тенденцией «бессерверных» вычислений в облаке и обработки больших данных. Его цель — бесшовно соединить IaaS с Apache Ambari и координировать сервисы Ambari в эластичном высокоуровневом рабочем пространстве. В настоящее время оно поддерживает развёртывание и масштабирование Hadoop, Spark, Hive, Neo4j, MongoDB, Kylin, Redis и многих других кластеров программного обеспечения несколькими кликами или вызовами API.

Установка

1. Выберите хост Linux (проверена версия Centos 7.5), сеть которого может достигать целевого облачного ресурса.
2. Установите Python 3.6 с помощью pip и python36-devel.
3. Создайте базу данных postgresql с собранной информацией (db_user, db_passwd, db_host, db_port, db_name).

Затем выполните:

pip3.6 install pk1

pip3.6 install -U pip setuptools

pk1 setup --database db_user:db_passwd:db_host:db_port:db_name

Запуск сервиса

pk1 start [--listening 127.0.0.1:11001]

Шаг 1: Добавление облака (например, OpenStack)

Откройте http://127.0.0.1:11001/clouds/cloud/add/ и заполните форму, как показано на рисунке:

Шаг 2: Инициализация кластера Ambari

Откройте http://127.0.0.1:11001/engines/cluster/add/ и заполните форму, как показано на рисунке:

Шаг 3: Материализация/Масштабирование кластеров

Откройте http://127.0.0.1:11001/engines/cluster/, выберите целевые кластеры и нажмите ссылку «Материализовать...»/«Масштабировать...»:

Шаг 4: Ускорение создания кластера

Аналогично шагу 2, откройте http://127.0.0.1:11001/clouds/cloud/add/, но выберите масштаб, название которого не содержит «boostrap».

Остановка

pk1 stop

Удаление

pk1 uninstall

Благодарности

Национальная ключевая программа исследований Китая: Научная система управления большими данными (№ 2016YFB1000600)