Микрооблако (с возможностью быстрого расширения)

Однокнопочная сборка платформы больших данных — введение

Введение в Hadoop и примеры использования (HDFS/README.md).

Введение в Hbase+Hive и примеры использования (hbase/README.md).

Сборка обычного образа пакета (build-common.sh).

Сборка сжатого образа пакета (сравнительно большого размера) (build-snappy-spark.sh).

Типичные сценарии использования 1: Hbase + Hive (Hbase используется для обслуживания данных, изменённых или удалённых; Hive используется для проверки и импорта данных)

• Создание таблицы Hbase с помощью Hive (hbase/hregionserver/hive-init.sql). Данные добавляются в Hive, а затем синхронизируются с Hbase. Просмотр данных Hive.
• Создание таблицы Hbase с помощью Ruby (hbase/hregionserver/hbase-init.rb). Добавление данных в Hbase и их просмотр.

Выполнение примера

Выполнение

1. Перейдите в текущий каталог.
2. Запустите команду fig up -d и fig logs. (namenode запускается медленно, требуется повторный запуск).
3. Просмотрите журналы.
4. Посетите страницу информации Hbase по адресу *http://192.168.59.103:60010*/.
5. Посетите информационную страницу RegionServer по адресу *http://192.168.59.103:60030*/.

Проверка успешной установки Snappy:

1. Используйте CompressionTest, чтобы проверить, включён ли Snappy и успешно ли загружен:

   • docker exec -u hdfs hbase_hb_1 bash -c "hdfs dfs -mkdir -p myhbase && hbase org.apache.hadoop.hbase.util.CompressionTest snappytest snappy".

2. Создайте таблицу, сжатую способом Snappy, чтобы убедиться, что она успешно создана:

   • Инициализируйте таблицу данных журнала:
     • docker exec -u hdfs hbase_hb_1 bash -c "hbase shell < /data/hbase/hbase-init.rb".
     • docker exec -u hdfs hbase_rs_1 bash -c "hive -f /data/hbase/hive-init.sql".

Вставьте одну запись в Hbase, и данные будут синхронизированы с Hive после запроса.

#> hbase shell #> put 'hive_hbase_log',1, 'log:full', '100' #> scan 'hive_hbase_log'

Пример Hbase + Hive

https://github.com/supermy/hadoop-docker-nn http://t.cn/RA6by8L