Слияние кода завершено, страница обновится автоматически
Прежде чем вы сможете использовать EasyML Studio, необходимо настроить среду, которая включает в себя вашу среду разработки и серверную среду выполнения. Для успешного запуска необходимо выполнить три шага: Подготовка, Запуск контейнеров Docker и Запуск служб.
jdk.tools в файле pom.xml (эта зависимость используется не для IDEA, а для среды разработки eclipse).
gwt:compile для компиляции проекта GWT.
После того как вы получите все зависимости и завершите всю компиляцию, вы можете приступить к созданию своего веб-приложения EasyML Studio для следующих шагов:
Убедитесь, что в вашем eclipse установлены maven и GWT плагины (поскольку плагины GWT сейчас нелегко загрузить, мы предоставляем плагины GWT для Eclipse 4.4 Luna, вы можете установить плагин в eclipse в автономном режиме).
Импортируйте код в вашу IDE через проект maven.
Используйте цель плагина gwt-maven для компиляции проекта gwt. Если вы не сделаете этот шаг, вы не сможете увидеть некоторые изображения в своём браузере при входе в систему.
Шаг 3: Запустите наше веб-приложение EML
После выполнения вышеуказанных шагов вы увидите завершённое состояние консоли.
Переключитесь в режим разработки, и вы сможете посетить проект по URL.
Наш кластер серверов основан на Docker, поэтому вы можете создать среду выполнения на своём компьютере. Вам удобно разрабатывать проект без каких-либо удалённых подключений. Кроме того, вы также можете внести свой вклад в серверные среды. Кластер серверов версии docker нестабилен и неэффективен, для чего мы можем сделать ряд вещей. Однако первым шагом к доступу является установка Docker.
sudo docker run hello-world, чтобы узнать, успешно ли мы установили Docker.Загрузите наши образы сервера mysql с нашего docker hub:
docker pull nkxujun/mysql_eml:version (latest default)
Наше Eml-серверное изображение основано на ubuntu, поэтому сначала загрузите его:
```docker pull nkxujun/ubuntu_eml:version(latest default)```
Вы можете использовать docker images, чтобы увидеть, успешно ли вы загрузили эти два образа:
Каждый отдельный сервер в нашем кластере создан одним образом docker, и этот образ можно создать с помощью Dockerfile, который был определён нами и включает все необходимые утилиты, такие как hadoop. Таким образом, нам нужно загрузить Dockerfile и все зависимые файлы и файлы конфигурации с нашего диска Google или Baidu Cloud.
sh build.sh
### Запустите все необходимые контейнеры
* Вы можете использовать sh run_containers.sh для запуска всех серверов:
Запущенны все четыре сервера: mysql, hadoop-master, hadoop-slave1, hadoop-slave2. Вы можете использовать docker ps, чтобы проверить.
Поскольку сетевое взаимодействие кластера Hadoop зависит от SSH, нам необходимо убедиться, что три сервера могут войти в систему по SSH без пароля.
Мы можем использовать docker exec -it hadoop-master /bin/bash, чтобы войти в контейнер с именем Hadoop-master.
В Hadoop-master используйте ssh localhost, ssh hadoop-slave1 и ssh hadoop-slave2, чтобы протестировать функцию SSH и не забывайте exit после каждого теста SSH. Проверьте, работает ли служба SSH во всех контейнерах Hadoop:
Если SSH не работает, войдите в каждый контейнер и выполните следующее:
/etc/init.d/ssh start
Если вы встретите исключение Bad owner or permissions on ~/.ssh/config при тестировании ssh localhost, вы можете выполнить команду chmod 600 ~/.ssh/config и повторить попытку.
192.168.99.100) как hadoop-master, hadoop-slave1, hadoop-slave2 и mysql в файл hosts, например:10.20.11.7 hadoop-master 10.20.11.7 mysql 10.20.11.7 hadoop-slave1 10.20.11.7 hadoop-slave2
sh init_mysql.sh, чтобы подготовить базы данных для Oozie и EasyML Studio
Наш установочный пакет EML версии 1.2.0 или выше может поддерживать режим Tensorflow. Следуйте инструкциям ниже, если хотите попробовать.
hadoop-master через docker exec -it hadoop-master /bin/bash (важная команда для входа в каждый контейнер).sh /root/config-tensorflow.sh, чтобы настроить среду, необходимую для tensorflow.docker exec -it hadoop-master /bin/bash (жизненно важная команда для входа в каждый контейнер)sh /root/start-hadoop.sh, чтобы запустить службы hadoop и spark.sh /root/run-wordcount.sh для проверки службы hadoop.
docker exec -it hadoop-master /bin/bash.sh /root/start-oozie.sh, чтобы запустить Oozie и Tomcat, это займёт некоторое время:
oozie admin -oozie http://hadoop-master:11000/oozie -status //Встречается исключение IO_ERROR:java.net.ConnectException: Connection refused
затем вы можете попытаться перезапустить oozie снова в контейнере hadoop-master следующим образом:
rm -rf $OOZIE_HOME/logs/* //Очистить каталог журналов rm -rf $OOZIE_HOME/oozie-server/logs/* //Очистить каталог журналов rm -rf $OOZIE_HOME/oozie-server/temp/* //Очистить временный каталог rm -rf $OOZIE_HOME/oozie-server/webapps/oozie/ //Удалить oozie rm -rf $OOZIE_HOME/oozie-server/webapps/oozie.war //Удалить oozie.war ./root/start-oozie.sh //Повторно запустить скрипт запуска oozie
Вы можете оставить комментарий после Вход в систему
Неприемлемый контент может быть отображен здесь и не будет показан на странице. Вы можете проверить и изменить его с помощью соответствующей функции редактирования.
Если вы подтверждаете, что содержание не содержит непристойной лексики/перенаправления на рекламу/насилия/вульгарной порнографии/нарушений/пиратства/ложного/незначительного или незаконного контента, связанного с национальными законами и предписаниями, вы можете нажать «Отправить» для подачи апелляции, и мы обработаем ее как можно скорее.
Опубликовать ( 0 )