Kafka On Yarn

Данный проект предназначен для запуска Kafka на Yarn.

Проект зависит от: kafka, kafka-offset-console. См. конфигурацию в kafka-yarn.properties.

kafka lib (kafka.zip):

./avro-1.7.7.jar
./avro-ipc-1.7.7.jar
./commons-cli-1.2.jar
./commons-collections-3.2.1.jar
./commons-configuration-1.6.jar
./commons-io-2.4.jar
./commons-lang-2.6.jar
./commons-logging-1.1.1.jar
./guava-14.0.1.jar
./hadoop-annotations-2.6.5.jar
./hadoop-auth-2.6.5.jar
./hadoop-common-2.6.5.jar
./hadoop-hdfs-2.6.5.jar
./hadoop-mapreduce-client-core-2.6.5.jar
./hadoop-yarn-api-2.6.5.jar
./hadoop-yarn-client-2.6.5.jar
./hadoop-yarn-common-2.6.5.jar
./htrace-core-3.0.4.jar
./jackson-core-asl-1.9.13.jar
./jackson-mapper-asl-1.9.13.jar
./joda-time-2.3.jar
./jopt-simple-3.2.jar
./kafka-yarn-0.1.0.jar
./kafka_2.10-0.8.1.1.jar
./log4j-1.2.17.jar
./metrics-core-2.2.0.jar
./netty-3.6.6.Final.jar
./protobuf-java-2.5.0.jar
./scala-library-2.10.1.jar
./slf4j-api-1.7.5.jar
./slf4j-log4j12-1.7.5.jar
./snappy-java-1.0.5.jar
./zkclient-0.3.jar
./zookeeper-3.3.4.jar

kafka on yarn lib (kafka-yarn.zip):

./avro-1.7.7.jar
./avro-ipc-1.7.7.jar
./commons-cli-1.2.jar
./commons-collections-3.2.1.jar
./commons-configuration-1.6.jar
./commons-io-2.4.jar
./commons-lang-2.6.jar
./commons-logging-1.1.1.jar
./guava-14.0.1.jar
./hadoop-annotations-2.6.5.jar
./hadoop-auth-2.6.5.jar
./hadoop-common-2.6.5.jar
./hadoop-hdfs-2.6.5.jar
./hadoop-mapreduce-client-core-2.6.5.jar
./hadoop-yarn-api-2.6.5.jar
./hadoop-yarn-client-2.6.5.jar
./hadoop-yarn-common-2.6.5.jar
./htrace-core-3.0.4.jar
./jackson-core-asl-1.9.13.jar
./jackson-mapper-asl-1.9.13.jar
./joda-time-2.3.jar
./kafka-yarn-0.1.0.jar
./KafkaOffsetMonitor-assembly-0.2.0.jar
./log4j-1.2.17.jar
./metrics-core-2.2.0.jar
./netty-3.6.6.Final.jar
./protobuf-java-2.5.0.jar
./scala-library-2.10.1.jar
./slf4j-api-1.7.5.jar
./slf4j-log4j12-1.7.5.jar
./snappy-java-1.0.5.jar

После упаковки два пакета следует поместить в HDFS /lib/kafka.

Руководство по развёртыванию

Этот проект разработан на основе Apache Hadoop 2.6.5 и полностью протестирован на hadoop2.6, работает стабильно. Однако он не тестировался на других версиях Hadoop. Архитектура кода этого проекта основана на моей другой архитектуре On Yarn, которая была впервые протестирована на Hadoop 2.2.0 и работает стабильно. Поэтому я считаю, что она в основном может работать на версиях после Hadoop 2.2.0.

Как известно, все программы Hadoop 2.0 Yarn управляются ApplicationMaster. Yarn может запускать все Master-Slave архитектуры. Kafka — это универсальная технология больших данных, поэтому её запуск на Yarn очень важен.

В Kafka нет концепции Master и Slave, а также нет интегрированного веб-интерфейса управления. На GitHub есть Yahoo с открытым исходным кодом KafkaOffsetMonitor-assembly, который можно использовать в качестве интерфейса управления Kafka. Он запускается как ApplicationMaster на Yarn.

Поэтому появляются два вышеупомянутых пакета.

1. kafka-yarn.zip содержит KafkaOffsetMonitor-assembly, yarn lib и avro rpc lib.
2. kafka.zip — это пакет брокера Kafka.

Если вы используете другую версию Hadoop, замените внутренние библиотеки Hadoop на те, которые вы используете. Используйте стандартное zip-архивирование, которое можно загрузить по ссылке скачать.

• После упаковки поместите их в /lib/kafka/ HDFS;
• Упакуйте этот проект и скопируйте manual/kaffa-on-yarn в bin вашего дома kafka;
• Скопируйте conf/server.properties в ваш дом kafka conf;
• Скопируйте kafka-yarn.properties в вашу конфигурацию kafka conf;
• Измените kafka-yarn.properties yarn.kafka.appmaster.args.zk на адрес вашего ZooKeeper;
• Скопируйте файлы конфигурации Hadoop core-site.xml, hdfs-site.xml yarn-site.xml в конфигурацию kafka;

Затем запустите bin/kafka-on-yarn yarn -conf conf/server.properties;

Вы можете добавить Kafka Broker, используя bin/kafka-on-yarn yarn-add -appid id -brokerid 0..n;

Если у вас возникнут какие-либо проблемы, вы можете связаться со мной;

Почта: zhzhenqin

Также вы можете оставить сообщение на: zhzhenqin.