1 В избранное 0 Ответвления 0

OSCHINA-MIRROR/wangrangzhi-Dockerfiles

Клонировать/Скачать
Внести вклад в разработку кода
Синхронизировать код
Отмена
Подсказка: Поскольку Git не поддерживает пустые директории, создание директории приведёт к созданию пустого файла .keep.
Loading...
README.md

Hadoop, Big Data, NoSQL & DevOps Docker Images

Статус сборки Codacy Badge GitHub stars GitHub forks Платформа DockerHub

Содержит 45 репозиториев DockerHub с более чем bcm340 тегами, различные версии стандартных официальных открытых источников программного обеспечения, см. Полный инвентарь ниже.

Эти образы Docker проверяются сотнями инструментов и используются в полных функциональных наборах тестов различных других репозиториев GitHub.

Обзор - этот репозиторий содержит:

  • Hadoop и Big Data экосистемные технологии (Spark, Kafka, Presto, Drill, NiFi, ZooKeeper)
  • NoSQL хранилища данных (HBase, Cassandra, Riak, SolrCloud)
  • ОС и образы для разработки (Alpine, CentOS, Debian, Ubuntu)
  • DevOps технологии, всё, что интересно и открыто (RabbitMQ Cluster, Mesos, Consul)
  • Мои репозитории GitHub содержащие сотни инструментов, связанных с этими технологиями, с предварительно построенными зависимостямиЭти образы доступны предварительно построенные на моем DockerHub - https://hub.docker.com/u/harisekhon/.

Качество и тестирование - этот репозиторий имеет полные наборы тестов, выполняемые против него из различных репозиториев GitHub для проверки функциональности образов Docker, соответствия веток и тегов версий, наличия правильной версии в последней версии из ветки master, проверки синтаксиса, охватывающие все общие форматы сборки и файлов (Make/JSON/CSV/INI/XML/YAML конфигурации) и т.д. Это перезапускаемые тесты, которые может реализовать любой человек и которые можно найти в моих репозиториях DevOps Python Tools и Bash-Tools а также в репозитории Advanced Nagios Plugins Collection, который содержит сотни технологически специфичных API-уровневых тестовых программ для обеспечения корректной работы docker-образов. Непрерывная интеграция выполняется в этом и смежных репозиториях, которые образуют двунаправленную проверку между этими образами Docker и несколькими другими репозиториями, содержащими сотни программ. Все это направлено на поддержание высокого качества этого репозитория.

Hari Sekhon

Консультант Big Data, Великобритания

(бывший консультант Cloudera, Hortonworks)https://www.linkedin.com/in/harisekhon

(вы можете подключиться ко мне на LinkedIn)

Готовые к запуску образы Docker

docker search harisekhon
docker run harisekhon/nagios-plugins

Чтобы увидеть больше, чем 25 репозиториев DockerHub, ограничивающихся docker search (docker issue 23055), я написал dockerhub_search.py с использованием API DockerHub, доступный в моем репозитории DevOps Python Tools и как предварительно скомпилированный образ Docker:

docker run harisekhon/pytools dockerhub_search.py harisekhon

В моих репозиториях есть множество тегированных версий официального программного обеспечения для тестирования разработки на нескольких версиях, обычно больше версий, чем доступно из официальных репозиториев (и новые версии доступны по запросу, просто создайте GitHub issue).

Теги DockerHub не отображаются в docker search (docker issue 17238), поэтому я написал dockerhub_show_tags.py, доступный в моем репозитории DevOps Python Tools и как предварительно скомпилированный образ Docker - например, чтобы увидеть организованный список всех тегов CentOS:

docker run harisekhon/pytools dockerhub_show_tags.py centos
```Для технологий сервисов, таких как Hadoop, HBase, ZooKeeper и т.д., для которых также потребуются отображения портов, в каждом каталоге [GitHub проекта](https://github.com/harisekhon/dockerfiles) содержится как стандартная конфигурация `docker-compose`, так и упрощённый вариант `make run` (который не требует установки `docker-compose`). Таким образом вам не нужно запоминать все параметры командной строки и конкретные номера портов:```
cd zookeeper
docker-compose up

или для технологий с интерактивными оболочками, таких как Spark, ZooKeeper, HBase, Drill, Cassandra, где вы хотите получить доступ к интерактивной оболочке, используйте упрощённый вариант make run вместо этого:

cd zookeeper
make run

что гораздо легче вводить и запоминать, чем эквивалентные более длинные команды, такие как:

docker run -ti -p 2181:2181 harisekhon/zookeeper

и избегайте этого для более сложных сервисов, таких как Hadoop / HBase:

docker run -ti -p 2181:2181 -p 8080:8080 -p 8085:8085 -p 9090:9090 -p 9095:9095 -p 16000:16000 -p 16010:16010 -p 16201:16201 -p 16301:16301 harisekhon/hbase
docker run -ti -p 8020:8020 -p 8032:8032 -p 8088:8088 -p 9000:9000 -p 10020:10020 -p 19888:19888 -p 50010:50010 -p 50020:50020 -p 50070:50070 -p 50075:50075 -p 50090:50090 harisekhon/hadoop

Полный Инвентарь:

Официальные стандартные открытые технологии:Более конкретная информация может быть найдена на странице readme в каждом соответствующем каталоге в репозитории Dockerfiles.
  • Alluxio - распределенная файловая система с памятью для кластерных вычислительных фреймворков от UC Berkeley's AMPLab - readme
  • Apache Drill - распределенная система управления SQL от MapR (открывает консоль Drill SQL) - readme
  • Cassandra - распределенная система хранения данных NoSQL от Facebook и DataStax (открывает консоль CQL, включает в себя nagios-plugins)
  • Consul - система распределенного обнаружения сервисов от HashiCorp
  • H2O - распределенная система машинного обучения от 0xdata
  • Hadoop (HDFS + Yarn) - распределенная система хранения и вычислений от Yahoo, Cloudera и Hortonworks
  • HBase - распределенная система хранения данных NoSQL от Facebook (открывает консоль HBase) - readme
  • Jython - Python на Java JVM (полезен для Hadoop-утилит на Python, использующих Java API Hadoop. Например, DevOps Python Tools)
  • Kafka - система публикации и подписки данных от LinkedIncom) и Confluent
    • Mesos - менеджер ресурсов дата-центра от Mesosphere (в основном устарел благодаря более свободному менеджеру ресурсов Hortonworks / Hadoop Yarn)
    • Nifi - движок потока данных IoT от NSA и Hortonworks
    • OpenTSDB TCollector - инструмент сбора метрик, отправляет метрики в OpenTSDB - readme
    • Presto - распределенная система управления SQL от Facebook (открывает консоль Presto SQL) - readme
    • Presto (распределение Teradata) - Распределение Presto от Teradata, включая драйверы ODBC и JDBC (открывает Presto SQL shell) - readme
    • RabbitMQ Кластер - пуб-саб брокер очередей сообщений от Pivotal (расширение официального образа RabbitMQ с добавленными плагинами)
    • Riak KV - распределённая NoSQL система хранения данных от Basho
    • Riak KV (включает nagios-plugins)
    • Serf - децентрализованный координационный движок кластеров от HashiCorp
    • Solr - зрелая система индексации, построенная на библиотеке Lucene
    • SolrCloud - распределённая версия системы индексации Solr
    • Sparkorg/) - быстрый распределённый вычислительный движок для кластеров, обычно используемый на Hadoop, от UC Berkeley's AMPLab и Databricks (открывает Spark shell)
    • Superset - визуализация данных от Airbnb
    • Tachyon (Alluxio < 1.0) - распределённая файловая система с памятью для кластерных вычислительных систем от UC Berkeley's AMPLab
    • ZooKeeper (открывает ZK shell) - распределённая система координации и синхронизации от Yahoo

Репозитории, оконченные суффиксом -dev, являются официальными технологиями + инструментами разработки и отладки + моими репозиториями GitHub с предустановленными зависимостями.##### Мои репозитории GitHub (с предустановленными библиотеками и зависимостями):

  • Коллекция продвинутых плагинов Nagios - более 350 плагинов Nagios для каждой распределённой версии Hadoop и каждой основной технологии NoSQL - Hadoop, Redis, Elasticsearch, Solr, HBase, Cassandra & DataStax OpsCenter, MongoDB, MySQL, Kafka, Riak, Memcached, Couchbase, CouchDB, Mesos, Spark, Neo4j, Datameer, H2O, WanDisco, Yarn, HDFS, Impala, Apache Drill, Presto, ZooKeeper, Cloudera, Hortonworks, MapR, IBM BigInsights, Инфраструктура - Linux, DNS, Whois, SSL-сертификаты и т.д.

    • Теги:
      • nagios-plugins:latest (centos)
      • nagios-plugins:alpine
      • nagios-plugins:centos
      • nagios-plugins:debian
      • nagios-plugins:ubuntu
  • Инструменты DevOps на Python - более 50 инструментов для Hadoop, Spark, Pig, схем Ambari, AWS CloudFormation, Linux, конвертеры и валидаторы данных (Avro/Parquet/JSON/CSV/XML/YAML), Elasticsearch, Solr, IPython - инструменты командной строки.

  • Инструменты DevOps на Perl - более 25 инструментов для Hadoop, Hive, Solr, Linux, SQL, Ambari, Datameer, веба и различных инструментов командной строки Linux.

  • Инструменты Spotify - резервное копирование и автоматизация воспроизведения: Spotify Lookup - преобразует URI Spotify в формат 'Artist - Track' путём запроса к API метаданных Spotify. Spotify Cmd - управление Spotify на Mac через AppleScript для автоматизации, автоматического переключения треков и т.д.

  • CentOS с предустановленными репозиториями GitHub

  • Debian с предустановленными репозиториями GitHub

  • Ubuntu с предустановленными репозиториями GitHub

  • Alpine с предустановленными репозиториями GitHub##### Основные образы:

Образы разработки:

  • CentOS последней версии с Java JDK, Perl, Python, Jython, Ruby, Scala, Groovy, GCC, Maven, SBT, Gradle, Make, Expect, EPEL и т.д.
  • Debian последней версии с Java JDK, Perl, Python, Jython, Ruby, Scala, Groovy, GCC, Maven, SBT, Gradle, Make, Expect и т.д.
  • Ubuntu последней версии с Java JDK, Perl, Python, Jython, Ruby, Scala, Groovy, GCC, Maven, SBT, Gradle, Make, Expect и т.д.
  • Alpine последней версии с Java JDK, Perl, Python, Jython, Ruby, Scala, Groovy, GCC, Maven, SBT, Gradle, Make, Expect и т.д.
Основные образы Java / Scala:

Все сборки используют OpenJDK с тегами jre и jdk с номерами. См. статью ниже, почему может быть незаконным упаковывать Oracle Java (и почему ни одна из линуксовых дистрибутивов этого не делает):

https://www.javacodegeeks.com/2016/03/running-java-docker-youre-breaking-law.html

  • CentOS последняя комбинация Java 7/8 и Scala 2.10/2.11
  • Debian последняя с Java 7
  • Ubuntu 14.04 с Java 7
  • Ubuntu последняя с Java 8, 9

Сборка из исходного кода

Все образы предварительно собраны на DockerHub, но если вы хотите собрать из исходного кода по какой-либо причине, например, для разработки улучшений, я сделал это максимально простым:

git clone https://github.com/harisekhon/Dockerfiles

cd Dockerfiles

Чтобы собрать все Docker-образы, просто выполните команду make на верхнем уровне:

make

Чтобы собрать конкретный Docker-образ, перейдите в его директорию и выполните make:

cd nagios-plugins

make

Вы также можете собрать конкретную версию, выйдя на ветку git для этой версии и запустив сборку:``` cd consul git checkout consul-0.9 make


или собрать все версии для данного проекта софта следующим образом:

cd hadoop make build-versions


См. верхний уровень `Makefile` а также `Makefile.in`, который используется для каждого проекта с любыми проектно-специфическими переопределениями в `<project_directory>/Makefile`.

### Поддержка

Пожалуйста, создавайте тикеты для проблем и улучшений на https://github.com/harisekhon/dockerfiles/issues

Комментарии ( 0 )

Вы можете оставить комментарий после Вход в систему

Введение

Общедоступные изображения DockerHub - Hadoop, Kafka, ZooKeeper, HBase, Cassandra, Solr / SolrCloud, Presto, Apache Drill, NiFi, Spark, Superset, H2O, Mesos, Serf, Consul, Riak, Alluxio, Jython, Набор расширенных плагинов Nagios / PyTools / Tools репозитории на CentOS / Ubuntu / Debian / Alpine Развернуть Свернуть
Отмена

Обновления

Пока нет обновлений

Участники

все

Недавние действия

Загрузить больше
Больше нет результатов для загрузки
1
https://api.gitlife.ru/oschina-mirror/wangrangzhi-Dockerfiles.git
git@api.gitlife.ru:oschina-mirror/wangrangzhi-Dockerfiles.git
oschina-mirror
wangrangzhi-Dockerfiles
wangrangzhi-Dockerfiles
master