AWS: создание кластера K8s

Этот документ описывает, как создать кластер K8s на AWS.

1. Обзор процесса

Создание кластера K8s на AWS включает два основных шага:

1. Приобретение виртуальной машины (ВМ) для управления кластером. Для этого шага не требуется высокопроизводительная конфигурация.
2. Развёртывание кластера с настраиваемой конфигурацией.

Далее каждый шаг рассматривается подробно.

1. Обзор процесса

Для создания кластера K8s на AWS необходимо выполнить следующие шаги:

1. Приобретение ВМ. Сначала нужно приобрести экземпляр EC2 в качестве ВМ для управления кластером K8s. Эта ВМ не требует высокой конфигурации.

2. Развёртывание кластера. С помощью приобретённой ВМ создайте кластер. Конфигурацию кластера можно настроить по своему усмотрению.

Ниже подробно описаны эти шаги.

2. Приобретение ВМ

Пользователь может приобрести нужный экземпляр на панели управления EC2.

Вот как это сделать:

1. Откройте панель управления Amazon EC2 и нажмите кнопку «Запустить экземпляр» на панели управления.

   

2. Выберите подходящий AMI (Amazon Machine Image). Рекомендуется использовать Amazon Linux 2 AMI.

3. Выберите тип экземпляра. Рекомендуется выбрать t2.micro. После выбора нажмите «Проверить и запустить».

4. На странице проверки экземпляра нажмите «Изменить группу безопасности» в разделе «Группы безопасности». Затем в окне настройки группы безопасности выберите существующую группу безопасности, например default, и нажмите «Проверить и запустить».

5. На странице проверки нажмите «Запустить», чтобы завершить покупку ВМ.

После запуска экземпляра появится общедоступный IP-адрес и DNS. Используйте их для подключения к экземпляру.

3. Развёртывание кластера

После запуска приобретённого экземпляра вы увидите общедоступный IP-адрес и DNS. Подключитесь к экземпляру, используя скачанный файл ключа (с расширением .pem), следующим образом:

ssh -i ec2key.pem ec2-user@12.23.34.123

или

ssh -i ec2key.pem ec2-user@ec2-12-23-34-123.us-west-2.compute.amazonaws.com

Подключитесь к ВМ и установите ряд компонентов управления:

1. Установите pip:

sudo yum -y install python-pip

2. Установите или обновите AWS CLI:

sudo pip install --upgrade awscli

3. Установите eksctl:

curl --silent \
--location "https://github.com/weaveworks/eksctl/releases/download/latest_release/eksctl_$(uname -s)_amd64.tar.gz" \
| tar xz -C /tmp
sudo mv /tmp/eksctl /usr/local/bin

4. Установите kubectl:

curl -o kubectl https://amazon-eks.s3-us-west-2.amazonaws.com/1.11.5/2018-12-06/bin/linux/amd64/kubectl
chmod +x ./kubectl
mkdir -p $HOME/bin && cp ./kubectl $HOME/bin/kubectl && export PATH=$HOME/bin:$PATH

5. Установите aws-iam-authenticator:

curl -o aws-iam-authenticator https://amazon-eks.s3-us-west-2.amazonaws.com/1.11.5/2018-12-06/bin/linux/amd64/aws-iam-authenticator
chmod +x aws-iam-authenticator
cp ./aws-iam-authenticator $HOME/bin/aws-iam-authenticator && export PATH=$HOME/bin:$PATH

6. Установите ksonnet:

export KS_VER=0.13.1
export KS_PKG=ks_${KS_VER}_linux_amd64
wget -O /tmp/${KS_PKG}.tar.gz https://github.com/ksonnet/ksonnet/releases/download/v${KS_VER}/${KS_PKG}.tar.gz
mkdir -p ${HOME}/bin
tar -xvf /tmp/$KS_PKG.tar.gz -C ${HOME}/bin
sudo mv ${HOME}/bin/$KS_PKG/ks /usr/local/bin

После установки этих компонентов можно приобрести кластер и развернуть его. Вот как это делается:

eksctl create cluster paddle-cluster \
                      --version 1.13 \
                      --nodes 2 \
                      --node-type=m5.2xlarge \
                      --timeout=40m \
                      --ssh-access \
                      --ssh-public-key ec2.key \
                      --region us-west-2 \
                      --auto-kubeconfig

Здесь:

--version указывает версию K8s, в настоящее время AWS поддерживает версии 1.12, 1.13 и 1.14.

--nodes указывает количество узлов.

--node-type указывает тип узла экземпляра, пользователь может выбрать предпочитаемый пакет экземпляров.

--ssh-public-key пользователь может использовать ключ, определённый при покупке ВМ.

--region указывает регион, где находятся узлы.

Процесс развёртывания кластера занимает некоторое время, поэтому будьте терпеливы. Когда развёртывание завершится успешно, вы можете протестировать кластер следующим образом:

1. Введите следующую команду, чтобы просмотреть информацию о узлах:

kubectl get nodes -o wide

2. Проверьте, активен ли кластер:

aws eks --region <region> describe-cluster --name <cluster-name> --query cluster.status

Должен появиться следующий вывод:

"ACTIVE"

3. Если у вас есть несколько настроенных кластеров на одной ВМ, проверьте контекст kubectl:

kubectl config get-contexts

Если контекст не настроен должным образом, используйте следующую команду для устранения проблемы:

aws eks --region <region> update-kubeconfig --name <cluster-name>

Это завершает все шаги по созданию кластера K8s на AWS. Теперь вы можете продолжить и создать HDFS на AWS, а затем развернуть Elastic Ctr2.0 на ВМ.