1 В избранное 0 Ответвления 0

OSCHINA-MIRROR/DengMingChen-datahub

Присоединиться к Gitlife
Откройте для себя и примите участие в публичных проектах с открытым исходным кодом с участием более 10 миллионов разработчиков. Приватные репозитории также полностью бесплатны :)
Присоединиться бесплатно
Клонировать/Скачать
debugging.md 15 КБ
Копировать Редактировать Web IDE Исходные данные Просмотреть построчно История
Отправлено 01.03.2025 09:28 c3980de

Руководство по отладке

Как можно проверить, что все контейнеры Docker запущены в соответствии с ожиданиями после быстрого старта?

Вы можете вывести список всех контейнеров Docker на вашем локальном компьютере, выполнив команду docker container ls. Вы должны ожидать видеть вывод, аналогичный приведенному ниже:

CONTAINER ID        IMAGE                                                 COMMAND                  CREATED             STATUS              PORTS                                                      NAMES
979830a342ce        linkedin/datahub-mce-consumer:latest                "bash -c 'while ping…"   10 часов назад      Up 10 часов                                                                    datahub-mce-consumer
3abfc72e205d        linkedin/datahub-frontend:latest                    "datahub-frontend/bi…"   10 часов назад      Up 10 часов         0.0.0.0:9001->9001/tcp                                     datahub-frontend
50b2308a8efd        linkedin/datahub-mae-consumer:latest                "bash -c 'while ping…"   10 часов назад      Up 10 часов                                                                    datahub-mae-consumer
4d6b03d77113        linkedin/datahub-gms:latest                         "bash -c 'dockerize …"   10 часов назад      Up 10 часов         0.0.0.0:8080->8080/tcp                                     datahub-gms
c267c287a235        landoop/schema-registry-ui:latest                     "/run.sh"                10 часов назад      Up 10 часов         0.0.0.0:8000->8000/tcp                                     schema-registry-ui
4b38899cc29a        confluentinc/cp-schema-registry:5.2.1                 "/etc/confluent/dock…"   10 часов назад      Up 10 часов         0.0.0.0:8081->8081/tcp                                     schema-registry
37c29781a263        confluentinc/cp-kafka:5.2.1                           "/etc/confluent/dock…"   10 часов назад      Up 10 часов         0.0.0.0:9092->9092/tcp, 0.0.0.0:29092->29092/tcp           broker
15440d99a510        docker.elastic.co/kibana/kibana:5.6.8                 "/bin/bash /usr/loca…"   10 часов назад      Up 10 часов         0.0.0.0:5601->5601/tcp                                     kibana
943e60f9b4d0        neo4j:3.5.7                                           "/sbin/tini -g -- /d…"   10 часов назад      Up 10 часов         0.0.0.0:7474->7474/tcp, 7473/tcp, 0.0.0.0:7687->7687/tcp   neo4j
6d79b6f02735        confluentinc/cp-zookeeper:5.2.1                       "/etc/confluent/dock…"   10 часов назад      Up 10 часов         2888/tcp, 0.0.0.0:2181->2181/tcp, 3888/tcp                 zookeeper
491d9f2b2e9e        docker.elastic.co/elasticsearch/elasticsearch:5.6.8   "/bin/bash bin/es-do…"   10 часов назад      Up 10 часов         0.0.0.0:9200->9200/tcp, 9300/tcp                           elasticsearch
ce14b9758eb3        mysql:5.7

Также вы можете проверить журналы каждого отдельного контейнера Docker, выполнив команду docker logs <<container_name>>. Для контейнера datahub-gms вы должны увидеть запись журнала, аналогичную следующей, в конце процесса инициализации:

2020-02-06 09:20:54.870:INFO:oejs.Server:main: Started @18807ms

Для контейнера datahub-frontend вы должны увидеть запись журнала, аналогичную следующей, в конце процесса инициализации:

09:20:22 [main] INFO  play.core.server.AkkaHttpServer - Listening for HTTP on /0.0.0.0:9001

Мои контейнеры Elasticsearch или брокера завершили работу с ошибками или застряли навсегда

Если вы видите ошибки, подобные приведенным ниже, вероятнее всего, вам недостаточно ресурсов для запуска Docker. Убедитесь, что вы выделили хотя бы 8 ГБ оперативной памяти + 2 ГБ пространства свопа.

datahub-gms             | 2020/04/03 14:34:26 Problem with request: Get http://elasticsearch:9200: dial tcp 172.19.0.5:9200: connect: connection refused. Sleeping 1s
broker                  | [2020-04-03 14:34:42,398] INFO Client session timed out, have not heard from server in 6874ms for sessionid 0x10000023fa60002, closing socket connection and attempting reconnect (org.apache.zookeeper.ClientCnxn)
schema-registry         | [2020-04-03 14:34:48,518] WARN Client session timed out, have not heard from server in 20459ms for sessionid 0x10000023fa60007 (org.apache.zookeeper.ClientCnxn)

Как можно проверить, созданы ли темы Kafka MXE?

Вы можете использовать утилиту, такую как kafkacat, чтобы вывести все темы. Вы можете выполнить следующую команду, чтобы просмотреть созданные темы Kafka в вашем брокере Kafka.

kafkacat -L -b localhost:9092

Подтвердите наличие тем MetadataChangeEvent и MetadataAuditEvent помимо стандартных. Пример ответа представлен ниже:

Metadata for all topics (from broker 1: localhost:9092/1):
 1 brokers:
  broker 1 at localhost:9092
 5 topics:
  topic "_schemas" with 1 partitions:
    partition 0, leader 1, replicas: 1, isrs: 1
  topic "__consumer_offsets" with 50 partitions:
    partition 0, leader 1, replicas: 1, isrs: 1
    partition 1, leader 1, replicas: 1, isrs: 1
    partition 2, leader 1, replicas: 1, isrs: 1
    partition 3, leader 1, replicas: 1, isrs: 1
    partition 4, leader 1, replicas: 1, isrs: 1
    partition 5, leader 1, replicas: 1, isrs: 1
    partition 6, leader 1, replicas: 1, isrs: 1
    partition 7, leader 1, replicas: 1, isrs: 1
    partition 8, leader 1, replicas: 1, isrs: 1
    partition 9, leader 1, replicas: 1, isrs: 1
    partition 10, leader 1, replicas: 1, isrs: 1
    partition 11, leader 1, replicas: 1, isrs: 1
    partition 12, leader 1, replicas: 1, isrs: 1
    partition 13, leader 1, replicas: 1, isrs: 1
    partition 14, leader 1, replicas: 1, isrs: 1
    partition 15, leader 1, replicas: 1, isrs: 1
    partition 16, leader 1, replicas: 1, isrs: 1
    partition 17, leader 1, replicas: 1, isrs: 1
    partition 18, leader 1, replicas: 1, isrs: 1
    partition 19, leader 1, replicas: 1, isrs: 1
    partition 20, leader 1, replicas: 1, isrs: 1
    partition 21, leader 1, replicas: 1, isrs: 1
    partition 22, leader 1, replicas: 1, isrs: 1
    partition 23, leader 1, replicas: 1, isrs: 1
    partition 24, leader 1, replicas: 1, isrs: 1
    partition 25, leader 1, replicas: 1, isrs: 1
    partition 26, leader 1, replicas: 1, isrs: 1
    partition 27, leader 1, replicas: 1, isrs: 1
    partition 28, leader 1, replicas: 1, isrs: 1
    partition 29, leader 1, replicas: 1, isrs: 1
    partition 30, leader 1, replicas: 1, isrs: 1
    partition 31, leader 1, replicas: 1, isrs: 1
    partition 32, leader 1, replicas: 1, isrs: 1
    partition 33, leader 1, replicas: 1, isrs: 1
    partition 34, leader 1, replicas: 1, isrs: 1
    partition 35, leader 1, replicas: 1, isrs: 1
    partition 36, leader 1, replicas: 1, isrs: 1
    partition 37, leader 1, replicas: 1, isrs: 1
    partition 38, leader 1, replicas: 1, isrs: 1
    partition 39, leader 1, replicas: 1, isrs: 1
    partition 40, leader 1, replicas: 1, isrs: 1
    partition 41, leader 1, replicas: 1, isrs: 1
    partition 42, leader 1, replicas: 1, isrs: 1
    partition 43, leader 1, replicas: 1, isrs: 1
    partition 44, leader 1, replicas: 1, isrs: 1
    partition 45, leader 1, replicas: 1, isrs: 1
    partition 46, leader 1, replicas: 1, isrs: 1
    partition 47, leader 1, replicas: 1, isrs: 1
    partition 48, leader 1, replicas: 1, isrs: 1
    partition 49, leader 1, replicas: 1, isrs: 1
  topic "MetadataChangeEvent" with 1 partitions:
    partition 0, leader 1, replicas: 1, isrs: 1
  topic "__confluent.support.metrics" with 1 partitions:
    partition 0, leader 1, replicas: 1, isrs: 1
  topic "MetadataAuditEvent" with 1 partitions:
    partition 0, leader 1, replicas: 1, isrs: 1

Как можно проверить, созданы ли индексы поиска в Elasticsearch?

Вы можете выполнить следующую команду, чтобы просмотреть созданные индексы поиска в вашем Elasticsearch.

curl http://localhost:9200/_cat/indices

Подтвердите наличие индексов datasetdocument и corpuserinfodocument помимо стандартных. Пример ответа представлен ниже:```bash yellow open .monitoring-es-6-2020.01.27 hNu-jjU3Tl2SKKFdXzjxHQ 1 1 27279 34 14.8mb 14.8mb yellow open .watcher-history-6-2020.01.27 70BeSxOkQiCsBCGNtZNfAw 1 1 1210 0 1mb 1mb yellow open corpuserinfodocument VCupUjstS4SrZHLDruwVzg 5 1 2 0 11kb 11kb yellow open .monitoring-kibana-6-2020.01.27 pfJy8HOxRQKG-RQKexMKkA 1 1 1456 0 688.3kb 688.3kb yellow open .watches jmJxYOjrSamqlTi-UIrxTA 1 1 4 0 19.6kb 19.6kb yellow open datasetdocument 5HB_IpjYSbOh3QUSUeuwgA 5 1 3 0 27.9kb 27.9kb yellow open .monitoring-alerts-6 qEAoSNpTRRyqO7fqAzwpeg 1 1 1 0 6.2kb 6.2kb yellow open .triggered_watches 7g7_MGXFR7mBx0FwQzxpUg 1 1 0 0 48.1kb 48.1kb yellow open .kibana HEQj4GnTQauN3HkwM8CPng 1 1 1 0 3.2kb 3.2kb




## Как можно проверить, правильно ли загружена информация в MySQL?

Как только контейнер MySQL запустится, вы сможете подключиться к нему напрямую по адресу `localhost:3306` с помощью таких инструментов, как [MySQL Workbench](https://www.mysql.com/products/workbench/). Также вы можете выполнить следующую команду, чтобы вызвать [MySQL Command-Line Client](https://dev.mysql.com/doc/refman/8.0/en/mysql.html) внутри контейнера MySQL.

docker exec -it mysql /usr/bin/mysql datahub --user=datahub --password=datahub


Проверьте содержимое таблицы `metadata_aspect`, которая содержит аспекты, загруженные для всех сущностей.

## Возникла ошибка при запуске контейнеров Docker
Можно найти различные причины, почему контейнер может завершиться с ошибкой во время инициализации. Ниже приведены наиболее распространенные причины:

### `bind: адрес уже используется`
Эта ошибка означает, что сетевой порт (который должен использоваться запущенным контейнером) уже занят на вашей системе. Вам нужно найти и завершить процесс, использующий этот конкретный порт, прежде чем запустить соответствующий контейнер Docker. Если вы не хотите завершать процесс, использующий этот порт, другим вариантом является изменение номера порта для контейнера Docker. Вам потребуется найти и изменить параметр [портов](https://docs.docker.com/compose/compose-file/#ports) для конкретного контейнера Docker в конфигурационном файле `docker-compose.yml`.

Пример: На macOS

ERROR: for mysql Cannot start service mysql: driver failed programming external connectivity on endpoint mysql (5abc99513affe527299514cea433503c6ead9e2423eeb09f127f87e2045db2ca): Error starting userland proxy: listen tcp 0.0.0.0:3306: bind: address already in use

  1. sudo lsof -i :3306
  2. kill -15 <PID найденный в шаге 1>

### `OCI runtime create failed`
Если вы видите сообщение об ошибке такого типа, убедитесь, что вы обновили локальный репозиторий до HEAD с помощью команды `git`.

ERROR: for datahub-mae-consumer Cannot start service datahub-mae-consumer: OCI runtime create failed: container_linux.go:349: starting container process caused "exec: "bash": executable file not found in $PATH": unknown


### `failed to register layer: devmapper: Unknown device`
Это обычно означает, что у вас закончилось место на диске (см. [#1879](https://github.com/linkedin/datahub/issues/1879)).

## toomanyrequests: слишком много неудачных попыток входа для имени пользователя или IP-адреса
Попробуйте следующее
```bash
rm ~/.docker/config.json
docker login

Более подробные обсуждения того же вопроса доступны здесь https://github.com/docker/hub-feedback/issues/1250

При попытке входа появляется ошибка Table 'datahub.metadata_aspect' doesn't exist

Это значит, что база данных не была правильно инициализирована как часть быстрого старта (см. #1816). Пожалуйста, выполните следующую команду для её ручной инициализации.

docker exec -i mysql sh -c 'exec mysql datahub -udatahub -pdatahub' < docker/mysql/init.sql

Я сломал свой установочный скрипт Docker. Как мне начать заново?

  1. Удалите все контейнеры Docker, включая те, которые создаются вне руководства по быстрому началу работы.
docker rm -f $(docker ps -aq)
  1. Удалите все тома Docker, связанные с DataHub.
docker volume rm -f $(docker volume ls -f name=datahub_  -q)

Опубликовать ( 0 )

Вы можете оставить комментарий после Вход в систему

1
https://api.gitlife.ru/oschina-mirror/DengMingChen-datahub.git
git@api.gitlife.ru:oschina-mirror/DengMingChen-datahub.git
oschina-mirror
DengMingChen-datahub
DengMingChen-datahub
master