1 В избранное 0 Ответвления 0

OSCHINA-MIRROR/supermy-hadoop-docker-nn

Присоединиться к Gitlife
Откройте для себя и примите участие в публичных проектах с открытым исходным кодом с участием более 10 миллионов разработчиков. Приватные репозитории также полностью бесплатны :)
Присоединиться бесплатно
В этом репозитории не указан файл с открытой лицензией (LICENSE). При использовании обратитесь к конкретному описанию проекта и его зависимостям в коде.
Клонировать/Скачать
CHANGELOG.md 4 КБ
Копировать Редактировать Web IDE Исходные данные Просмотреть построчно История
gitlife-traslator Отправлено 26.11.2024 12:29 de8ec4d

2016-03-22 альпийская версия для hadoop hbase hive не имеет успешных кейсов; есть ли смысл.

2015-12-12 тестирование hdfs ок конфигурация fair-scheduler.xml; тестирование fair мультитенантной конфигурации ок

2015-12-12 обновление завершено; с использованием инструмента обхода блокировки, глобальный прокси может быть настроен на обновление до последней версии.

2015-12-09

обновление

решение /apt/https ошибки
RUN  DEBIAN_FRONTEND=noninteractive apt-get install -y apt-transport-https openssl

2015-04-10 загрузка 1 миллиона данных за 45 секунд.

2015-04-08 todo: добавить запуск образа с dns: разрешение имени домена исследование наилучшего способа загрузки данных

2015-04-06 нормализация имён образов; оптимизация конфигурации lzo; введение пакетов установки snappy+spark; оптимизация отношений интеграции пакетов образов. завершение оптимизации тестирования.

2015-03-13 интеграция hive-hbase ок пример инициализации данных в hive-скрипте ок. пример инициализации данных в hbase-скрипте ок. инициализация среды: docker-enter в контейнер hregionserver: cd /home/jamesmo/ && start pre-start-hive.sh

2015-03-30 hbs кластер ок >fig up -d >boot2docker ssh >docker ps >docker-enter 123412341234 >hbase shell >version >status

https://issues.apache.org/jira/browse/HADOOP-10558
узлы регистрируются в zookeeper под именем хоста, при отладке необходимо добавить информацию о узле в файл host, например 192.168.159.2 master master
установка hostname для контейнера docker
**соглашение об использовании имён и переменных смешивается**
**окончательно, соглашение об именах используется; link не поддерживает циклический вызов**

2015-03-05 продолжение настройки кластера hbase; web тестирование:http://192.168.2.100:60010/master.jsp /etc/init.d/hbase-master start hbase shell >status >version

перестройка образа;
доступ к web ок
http://192.168.59.103:50070/
http://192.168.59.103:60010/
http://192.168.59.103:60030/

2015-02-16 обработка core-site.xml во время запуска hadoop; запуск кластера hadoop завершён; настройка кластера hbase в процессе.

Тестирование: 2.1 запуск кластера с помощью fig up -d 2.2 установка инструмента для контейнеров, вход в контейнер namenode docker run -v /usr/local/bin:/target jpetazzo/nsenter:latest docker ps -a|grep namenode docker-enter b58bc02af904 2.3 выполнение команд su hdfs hdfs dfs -mkdir -p hdfs://172.17.1.36:8020/user/hdfs/input hdfs dfs -put core-site.xml hdfs://172.17.1.36:8020/user/hdfs/input hdfs dfs -ls hdfs://172.17.1.36:8020/user/hdfs/input hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar grep input output 'dfs[a-z.]+'

    nc -v -z -w2 172.17.1.36 8020

    nc -v -z -w2  hdfsnamenoderpc.kubernetes.local 8020

Опубликовать ( 0 )

Вы можете оставить комментарий после Вход в систему

1
https://api.gitlife.ru/oschina-mirror/supermy-hadoop-docker-nn.git
git@api.gitlife.ru:oschina-mirror/supermy-hadoop-docker-nn.git
oschina-mirror
supermy-hadoop-docker-nn
supermy-hadoop-docker-nn
master