1 В избранное 0 Ответвления 0

OSCHINA-MIRROR/wangruihuano-hadoop_deployment_script

В этом репозитории не указан файл с открытой лицензией (LICENSE). При использовании обратитесь к конкретному описанию проекта и его зависимостям в коде.
Клонировать/Скачать
Dockerfile 1.7 КБ
Копировать Редактировать Web IDE Исходные данные Просмотреть построчно История
wangruihuan Отправлено 08.03.2019 15:15 16edfec
FROM licte/cent-java
MAINTAINER WangRuiHuan wangruihuano@gmail.com
LABEL version=0.1.0
# 构建镜像时 Hadoop压缩文件路径
ARG HADOOP_TAR=hadoop-2.8.3.tar.gz
# Hadoop安装目录
ARG HADOOP_DIR=/usr/local
# Hadoop环境变量(若使用其他版本的Hadoop,需更改)
ARG HADOOP_HOME_ENV=${HADOOP_DIR}/hadoop-2.8.3
# 注意下面两个值对应Hadoop配置文件hdfs-site.xml中
# dfs.namenode.name.dir和dfs.datanode.name.dir两个值
ARG HADOOP_HDFS_NAMENODE=/root/hdfs/namenode
ARG HADOOP_HDFS_DATANODE=/root/hdfs/datanode
# 下面这个值对应core-site.xml中的hadoop.tmp.dir
ARG HADOOP_TMP_DIR=/root/hdfs/tmp
# 复制Hadoop压缩包
COPY ${HADOOP_TAR} /tmp
WORKDIR /root
RUN rpm --rebuilddb && yum install -y iproute openssh-server tar vim openssh-clients
# 将Hadoop压缩包解压至指定路径
RUN mkdir -p ${HADOOP_DIR}
RUN tar xzvf /tmp/${HADOOP_TAR} -C ${HADOOP_DIR}
# 移除tar包及文档(减小镜像体积)
RUN rm /tmp/${HADOOP_TAR}
RUN rm -rf ${HADOOP_HOME_ENV}/share/doc
# 配置环境变量
ENV HADOOP_HOME=${HADOOP_HOME_ENV}
ENV PATH=$PATH:${HADOOP_DIR}/bin:${HADOOP_DIR}/sbin
# 重写hosts文件
RUN echo -e "127.0.0.1 localhost\n::1 localhost" > /etc/hosts
# 配置自身ssh免密登陆
RUN ssh-keygen -t rsa -f ~/.ssh/id_rsa -P '' && \
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# 创建hadoop需要的目录
RUN mkdir ${HADOOP_HDFS_NAMENODE} -p && \
mkdir ${HADOOP_HDFS_DATANODE} -p && \
mkdir ${HADOOP_HOME}/logs -p && \
mkdir ${HADOOP_TMP_DIR} -p
# 复制hadoop配置文件
COPY hadoop_cfg/* ${HADOOP_HOME}/etc/hadoop/
EXPOSE 22
# mapreduce端口
EXPOSE 41772
# dfs.datanode.http.address
EXPOSE 50075
CMD [ "sh", "-c", "service sshd start;ip addr;bash"]

Опубликовать ( 0 )

Вы можете оставить комментарий после Вход в систему

1
https://api.gitlife.ru/oschina-mirror/wangruihuano-hadoop_deployment_script.git
git@api.gitlife.ru:oschina-mirror/wangruihuano-hadoop_deployment_script.git
oschina-mirror
wangruihuano-hadoop_deployment_script
wangruihuano-hadoop_deployment_script
master