# 1. Отключение огнестрельного экрана (по умолчанию отключено в CentOS 7.9 образе на Aliyun, поэтому не требуется)
systemctl stop firewalld.service
systemctl disable firewalld.service

# 2. Отключение SELinux (по умолчанию отключено в CentOS 7.9 образе на Aliyun, поэтому не требуется)
# Изменение SELINUX=enforcing на SELINUX=disabled
vi /etc/selinux/config

# Немедленное отключение SELinux
setenforce 0

# 3. Отключение swap (по умолчанию отключено в CentOS 7.9 образе на Aliyun, поэтому не требуется)
# Комментирование строки swapoff xxx, чтобы избежать включения swap при перезагрузке
vi /etc/fstab
# Немедленное отключение swap
swapoff -a

# 4. Включение параметров ядра
# Постоянное активирование модуля ядра br_netfilter
echo br_netfilter | tee -a /etc/modules
modprobe br_netfilter
# Включение ipv4 forward
cat <<EOF > /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF

# Запуск конфигурации параметров ядра
sysctl -p
sysctl --system

# 5. Настройка репозитория Kubernetes, здесь мы используем репозиторий Aliyun
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
        http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
```# 6. [опционально] Удаление предыдущего установленного Docker (возможно, старой версии)
yum remove -y docker-ce docker-ce-cli containerd.io docker-compose-plugin
```# 7. Установка новой версии docker
```bash
yum install docker-ce docker-ce-cli containerd.io docker-compose-plugin -y

systemctl enable containerd --now
systemctl enable docker --now

containerd config default > /etc/containerd/config.toml
vi /etc/containerd/config.toml
# Обновление sandbox-образа
# sandbox_image = "registry.aliyuncs.com/google_containers/pause:3.6"  замените на внутренний репозиторий
# Обновление SystemdCgroup, false замените на true
# SystemdCgroup = true

vi /etc/docker/daemon.json

{
  "exec-opts": ["native.cgroupdriver=systemd"]
}

systemctl restart containerd
systemctl restart docker

export k8s_version="1.23.3"
# Установка репозитория для версии 1.23.3
yum install -y kubelet-${k8s_version}-0 kubeadm-${k8s_version}-0 kubectl-${k8s_version}-0  --disableexcludes=kubernetes

systemctl restart kubelet
systemctl enable kubelet

kubeadm config images pull --kubernetes-version ${k8s_version} --image-repository registry.aliyuncs.com/google_containers

kubeadm init --image-repository registry.aliyuncs.com/google_containers --kubernetes-version=v${k8s_version} --pod-network-cidr=10.244.0.0/16

mkdir $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

kubectl apply -f https://gitee.com/dev-99cloud/lab-openstack/raw/master/src/ansible-cloudlab-centos/playbooks/roles/init04-prek8s/files/calico-${k8s_version}.yml
```Данный сценарий позволяет K8S работать с Docker. Если требуется использовать containerd напрямую, команда `kubeadm init` должна быть изменена на:
```bash
kubeadm init --cri-socket unix:///run/containerd/containerd.sock --image-repository registry.aliyuncs.com/google_containers --kubernetes-version=v${k8s_version} --pod-network-cidr=10.244.0.0/16

```yaml
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: fluentd-elasticsearch
  namespace: kube-system
  labels:
    k8s-app: fluentd-logging
spec:
  selector:
    matchLabels:
      name: fluentd-elasticsearch
  template:
    metadata:
      labels:
        name: fluentd-elasticsearch
    spec:
      containers:
      - name: fluentd-elasticsearch
        image: quay.io/fluentd_elasticsearch/fluentd:v2.5.2
        resources:
          limits:
            memory: 200Mi
          requests:
            cpu: 100m
            memory: 200Mi
      terminationGracePeriodSeconds: 30
```

```console
root@CKA003:~# kubectl config get-contexts
CURRENT   NAME                          CLUSTER      AUTHINFO           NAMESPACE
*          kubernetes-admin@kubernetes   kubernetes   kubernetes-admin

root@CKA003:~# kubectl create namespace ns1
namespace/ns1 created
root@CKA003:~# kubectl create namespace ns2
namespace/ns2 created

root@CKA003:~# useradd -m -d /home/poweruser -s /bin/bash poweruser
root@CKA003:~# passwd poweruser
Enter new UNIX password:
Retype new UNIX password:
passwd: password updated successfully
root@CKA003:~# cd /home/poweruser

root@CKA003:/home/poweruser# openssl genrsa -out poweruser.key 2048
Generating RSA private key, 2048 bit long modulus (2 primes)
......................+++++
..........................................................+++++
e is 65537 (0x010001)

root@CKA003:/home/poweruser# openssl req -new -key poweruser.key -out poweruser.csr -subj "/CN=poweruser/O=ns1"
Can't load /root/.rnd into RNG
139904427348416:error:2406F079:random number generator:RAND_load_file:Cannot open file:../crypto/rand/randfile.c:88:Filename=/root/.rnd

root@CKA003:/home/poweruser# cat poweruser.key
-----BEGIN RSA PRIVATE KEY-----
MIIEowIBAAKCAQEAt07RnBpZFkux9vEmSUDiHsVFtAu1FmJQjia0ls2A/fbMBt2T
...
njzqykeT5cLiixwUf6x35nF2r5VydsZMHypk6dgPgC6LikTbfsL0
-----END RSA PRIVATE KEY-----

root@CKA003:/home/poweruser# cat poweruser.csr
-----BEGIN CERTIFICATE REQUEST-----
MIICZzCCAU8CAQAwIjESMBAGA1UEAwwJcG93ZXJ1c2VyMQwwCgYDVQQKDANuczEw
...
O5+ia4aC6Hn/lMsRNYzeSK/ovjMuzH7gjnYEogG8QdpIVLFF1a1D2/S1kQ==
-----END CERTIFICATE REQUEST-----

root@CKA003:/home/poweruser# openssl x509 -req -in poweruser.csr -CA /etc/kubernetes/pki/ca.crt -CAkey /etc/kubernetes/pki/ca.key -CAcreateserial -out poweruser.crt -days 60
Signature ok
subject=CN = poweruser, O = ns1
Getting CA Private Key
```    root@CKA003:/home/poweruser# chmod 777 poweruser.*
root@CKA003:/home/poweruser# cd
```    root@CKA003:~# kubectl config set-credentials poweruser --client-certificate=/home/poweruser/poweruser.crt --client-key=/home/poweruser/poweruser.key
Пользователь "poweruser" создан.
root@CKA003:~# mkdir /home/poweruser/.kube
root@CKA003:~# cp .kube/config /home/poweruser/.kube
root@CKA003:~# chown -R poweruser:poweruser /home/poweruser/.kube
root@CKA003:~# su poweruser    poweruser@CKA003:/root$ cd
 poweruser@CKA003:~$ cd .kube/
 poweruser@CKA003:~/.kube$ vi config    # Откройте и отредактируйте файл /home/poweruser/.kube/config
  # Удалите пользователя kubernetes-admin и его сертификаты, включая
  root@CKA003:~# vi /home/poweruser/.kube/config
  # Удалите следующее содержимое и измените пользователя в контексте на poweruser
  #- name: kubernetes-admin
  #  user:# данные-ключа-клиента: LS0tLS1CRUdJTiBDRVJUSUZJQ0FURS0tLS0tCk1JSUM4akNDQWRxZ0F3SUJBZ0lJS2xBVjZ0SGg0R3d3RFFZSktvWklodmNOQVFFTEJRQXdGVEVUTUJFR0ExVUUKQXhNS2EzVmlaWEp1WlhSbGN6QWVGdzB5TVRBNE1Ea3dOREkyTVRaYUZ3MHlNakE0TURrd05ESTJNVGhhTURReApGekFWQmdOVkJBb1REbk41YzNSbGJUcHRZWE4wWlhKek1Sa3dGd1lEVlFRREV4QnJkV0psY201bGRHVnpMV0ZrCmJXbHVNSUlCSWpBTkJna3Foa2lHOXcwQkFRRUZBQU9DQVE4QU1JSUJDZ0tDQVFFQTNQT2J2Ly9JK2FrQkFzR3YKeERPRlpEYnF6c1AwWCtTOExRa1dmMGhCKzBOc3dySHhQR0VTcmw0OXhhbUI4RVVod0NQTG9BTTVWZkRxOVNXWApsV1A0ZE1qM1cyclFFdmp4ZnlZZDhjbWdReTNVWndJSE1tUCtRS0NJNVdwV0tRcldlTE8rTXZUd1hjM0wwcWUyClRiMEhlQ0FjMy9FdWlZcFVvRjFrVndESGl5N3BpQTVTSVpsbGhub1Q1NjAyb3RDV0RYWDg1L09UOGRtWEViQTAKSlpkeDdhM2krT3I5dVdHQk1aaldEQms2dk02U3QxQm00MGhIcGM4VGpQSERZOVdwcldoVXZOUXpuNEtTSDdYQQpJQ1h1d3VmVVRVQXpGVWdobm5yZXc5MzFXd3NXejJpUlN6dldzUGdDOE8xMllNQmZQWGhoeXRRazFMSTdQaEVHCm1qbGw2UUlEQVFBQm95Y3dKVEFPQmdOVkhROEJBZjhFQkFNQ0JhQXdFd1lEVlIwbEJBd3dDZ1lJS3dZQkJRVUgKQXdJd0RRWUpLb1pJaHZjTkFRRUxCUUFEZ2dFQkFGN3hOdWs5eEhtUDUydjh6REU3Uk9MTEU5cVlTMVhrd3I5Zgp2eTEvMVZKTklXV2Jlc3hQMUsvTm1JMTVJUS9TWWtoKzVoMWE4eGppRkc4dk5ia3BMNDAxUVpKTy93SEJYWU5WCkdXR0V4ZXRpdG5KSlpSam81NWN2NHpwTUNSOWZadmIvaGc3RzBCQmw2RW84MHNzSDJYdG5Ca04vV0VPY0VoZk8KQ2pFYkNGREVmbzFMRG9aTDZjZGwxU3dnTFlWZ3l6ZlQrcjdJVmNaZEVuWXZjMDhZNThLKzVPL3dMZnBaSjQxdwpVbWtQdzE3R0sxUjVUQUJrWHBRRFE5M3pwTnZ6M1k3ZUZlQTM5V2ZocGthZU4yRUpTQ3ZwdzdNaGQyTCtVUHFYCkdOSVpkNVYyOGF3d21GUUhURm9DdlZ0SUszMEFYMWQyTTkvNkpwMEUvNDdNZE1meWFNWT0KLS0tLS1FTkQgQ0VSVElGSUNBVEUtLS0tLQo= # client-certificate-data:LS0tLS1CRUdJTiBSU0EgUFJJVkFURSBLRVktLS0tLQpNSUlFb2dJQkFBS0NBUUVBM1BPYnYvL0krYWtCQXNHdnhET0ZaRGJxenNQMFgrUzhMUWtXZjBoQiswTnN3ckh4ClBHRVNybDQ5eGFtQjhFVWh3Q1BMb0FNNVZmRHE5U1dYbFdQNGRNajNXMnJRRXZqeGZ5WWQ4Y21nUXkzVVp3SUgKTW1QK1FLQ0k1V3BXS1FyV2VMTytNdlR3WGMzTDBxZTJUYjBIZUNBYzMvRXVpWXBVb0Yxa1Z3REhpeTdwaUE1UwpJWmxsaG5vVDU2MDJvdENXRFhYODUvT1Q4ZG1YRWJBMEpaZHg3YTNpK09yOXVXR0JNWmpXREJrNnZNNlN0MUJtCjQwaEhwYzhUalBIRFk5V3ByV2hVdk5Rem40S1NIN1hBSUNYdXd1ZlVUVUF6RlVnaG5ucmV3OTMxV3dzV3oyaVIKU3p2V3NQZ0M4TzEyWU1CZlBYaGh5dFFrMUxJN1BpRUdtamxsNlFJREFRQUJBb0lCQUYvUmtYaTVMMm45dmI5NQpTWVUzcHFCb0pIb1lockRUWER2WGxoY0t1ZnFDS2ZkZy9iSG1reGhsTERxOUlPbVd3V1UyNE1aNnYzR2lzZkl3CkpFV1gvaFovVks0amF5cmZKTE8wVHdZZEgxQWkzdHJ4Q1RmMEh6M2RvS0NFOWVxRWxhL3dtd28wS00wMVF6QU8KcFVPZk4wOEQ5aUd6MFMrNmVxcTA5Wis1YWMvVUNLQWgyczNzL2hjSHlEUk9yeFpCd1JDY3RoTXlGdU03SklIaQp3dXZKTEJqZkdXVnhGNGdkWWRiMXdIMFdNZ2txanhkVDEvcWthSEE2TmtNTEZrRnZNdzRSTDdpbUdmMmcrVDBGCnB1WVorRW9oRGVtTEpCVGF5ZTM3ZjlST3pRRTBtTFNEa1E5WnRmZDBMOE5telJ2eUIzTTdXV0FtVXhaM2FuTk4KSE5RV0k1VUNnWUVBM3RNZVNUcEhyMU1YcmhzdTZ6SlNwUEh6a3hQVE95VlE3NjY5cjJ6ay9UeDNVUUFzSktoSAovNFlTWUNyTzh6Q09HY09va1EzWUNCQlJBU2dlNmp5ekR3L0duRmxzT3o4MVdIYWp0NlRjKzVzVFh3dk9EUkxrCmxCSDBHblhIbHJ0M2FzV1JBRS9xVVlzeVJhUEs4a0tzRHRidlk4RllnbzB0NHFCYnBTelo2VHNDZ1lFQS9ka1oKSGtNZG5OWHFYTk9jTnJ0YzlDaGRjeUpXR2ppMEpPQ3dSVVNyNzMxMGFhcm1JU2tOR0Q1NTNUSlhnRlBRb2t3QQpRaWNVQ2VUY0t3SkM0VUUrWEVYaEZKU3RwNmR4VDJlR1AyU2ZtMUxENUp2cWZiU2xuNE81Ni9MTTY1Ym9BbVJCCmtjMVl1M0ZjZ1BiYlRIMXI4K2FqK1IxUG5NdTBsT2ZRNUJHeUd5c0NnWUJ2MTZvSStXN0h5cjVGRHJIakxmUWIKaExKTXJaUEZ5VG94eEJURHU3WElnaFFsblIrTEdzaGdzbXdBeHh2dkp2ejhZNS8xaHV4YlI4MVE5bEZtSXllQgpOTnJzMlZtZzkxNFFWQ1JpNWlaaFIvcFdKN2U2Q2pTZk9jKzdoRWkxR00yYzB5T3Y4MnphbHpLWmo5Z3E5MW9qCmJMRGw4a001N0NFTDhveHRnUEN6eHdLQmdCQXZ6c1U2UEdJcTFkWHpmR3VWQ1BsY3RaREk2THFsVVA5bEFIaDYKUjRodU5JUmtiR1pDNnQzWDVnZHYxVnFPZmFoTHRseUJoMnFXR0YvNXRmQU5LLy9RU09qNkRoUzV2YVQxa2Y3cQoySzZiMlhmelpVRjh5bTdsbmw1b1RoN2JzWkd0ZU96bUxqbE5vanRyQWxMZlVJbnQ5QmpIZ0xNYjNqajhpenB2CjBtNmZBb0dBUGtqY0lhWE93dnhXdFhReCttWEVQWkQxUEoyeElWN240am9hNHJ4L0pqNmx6dmRhQ2xmZzlSYjIKVC81QjREcWViNC9udlA0WUpBSTR4RUxCTVI0N1EvbVBHVkFldXc0SmgyZ3RBdmx3S0RDOGliaTg0NzlKSi9qOQo2T2gzNkR1UVpoeU56QU1namxCZG5oNEk0UitYYmZZcEo2UjNSUE5jM2dWT1cvVkFPc009Ci0tLS0tRU5EIFJTQSBQUklWQVRFIEtFWS0tLS0tCg==     ```Вот файл kubeconfig:```yaml

Затем приведите пользователя poweruser к соответствующим правам

```console
# Попытка получить pod завершится ошибкой, так как у нас нет rbac-прав для этого пользователя
poweruser@CKA003:~/.kube$ kubectl get pods
Error from server (Forbidden): pods is forbidden: User "poweruser" cannot list resource "pods" in API group "" in the namespace "default"

root@CKA003:~# vi pod-read.yaml
root@CKA003:~# cat pod-read.yaml
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  namespace: ns1
  name: pod-reader
rules:
- apiGroups: [""] # "" указывает на основной API-группу
  resources: ["pods"]
  verbs: ["get", "watch", "list"]

root@CKA003:~# kubectl apply -f pod-read.yaml
role.rbac.authorization.k8s.io/pod-reader created
```root@CKA003:~# vi role-binding.yaml
root@CKA003:~# cat role-binding.yaml
apiVersion: rbac.authorization.k8s.io/v1
# This role binding allows the user "poweruser" to read pods in the namespace "ns1".
# You need to already have a role named "pod-reader" in this namespace.
kind: RoleBinding
metadata:
  name: read-pods
  namespace: ns1
subjects:
# You can specify more than one "subject"
- kind: User
  name: poweruser # "name" is case-sensitive
  apiGroup: rbac.authorization.k8s.io
roleRef:
# "roleRef" points to the binding to a role / cluster role
  kind: Role # this should be Role or ClusterRole
  name: pod-reader # this should correspond to the name of the role or cluster role to which you want to bind
  apiGroup: rbac.authorization.k8s.io```Теперь пользователь poweruser получает ошибку при попытке получить список pod в стандартном пространстве имен default.

```console
# Ошибка -- нет прав на получение списка pod в пространстве имен default
poweruser@CKA003:~/.kube$ kubectl get pods
# Возвращаемое значение: Error from server (Forbidden): pods is forbidden: User "poweruser" cannot list resource "pods" in API group "" in the namespace "default"

# Ок
poweruser@CKA003:~/.kube$ kubectl get pods -n ns1

    ```console
    root@CKA003:~# kubectl config set-credentials superuser --client-certificate=superuser.crt --client-key=superuser.key
    Пользователь "superuser" установлен.
    root@CKA003:~# tail -f .kube/config
    ...
    - name: poweruser
    user:
        client-certificate: /home/poweruser/poweruser.crt
        client-key: /home/poweruser/poweruser.key
    - name: superuser
    user:
        client-certificate: /root/superuser.crt
        client-key: /root/superuser.key
    ```    
    root@CKA003:~# kubectl config set-context superuser-context --cluster=kubernetes --user=superuser
    Контекст "superuser-context" создан.

    root@CKA003:~# kubectl config get-contexts
    CURRENT   NAME                          CLUSTER      AUTHINFO           NAMESPACE
    *         kubernetes-admin@kubernetes   kubernetes   kubernetes-admin
            superuser-context             kubernetes   superuser

    root@CKA003:~# kubectl config use-context superuser-context
    Переключен на контекст "superuser-context".

    root@CKA003:~# kubectl config get-contexts
    CURRENT   NAME                          CLUSTER      AUTHINFO           NAMESPACE
            kubernetes-admin@kubernetes   kubernetes   kubernetes-admin
    *         superuser-context             kubernetes   superuser

    root@CKA003:~# kubectl get pods
    NAME       READY   STATUS    RESTARTS   AGE
    dnsutils   1/1     Running   4          4h49m
    web-0      0/1     Pending   0          149m
    ```

- Эксперимент: создание Service Account и привязка роли

    ```console
    root@CKA003:~# kubectl create serviceaccount sa-cluster-admin --namespace=kube-system
    serviceaccount/sa-cluster-admin создан
    ```    root@CKA003:~# kubectl get secret --all-namespaces | grep sa-cluster-admin
    kube-system             sa-cluster-admin-token-k9xfp                     kubernetes.io/service-account-token   3      53s
    ```    
    root@CKA003:~# kubectl describe secret -n kube-system sa-cluster-admin-token-k9xfp
    Name:         sa-cluster-admin-token-k9xfp
    Namespace:    kube-system
    Labels:       <none>
    Annotations:  kubernetes.io/service-account.name: sa-cluster-admin
                  kubernetes.io/service-account.uid: 11deb8dd-5625-4d75-ad44-3beef1bcd995
    Type:         kubernetes.io/service-account-token
    Data
    ====
    ca.crt:     1025 байт
    namespace:  11 байт
    token:      eyJhbGciOiJSUzI1NiIsImtpZCI6InRBUkJ6bkxQMHNHSi1MejR4T2ZtYk43b1Y0S2M3MXZOMTMtQmtOaHpsbXMifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJzYS1jbHVzdGVyLWFkbWluLXRva2VuLWs5eGZwIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQubmFtZSI6InNhLWNsdXN0ZXItYWRtaW4iLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC51aWQiOiIxMWRlYjhkZC01NjI1LTRkNzUtYWQ0NC0zYmVlZjFiY2Q5OTUiLCJzdWIiOiJzeXN0ZW06c2VydmljZWFjY291bnQ6a3ViZS1zeXN0ZW06c2EtY2x1c3Rlci1hZG1pbiJ9.Dr1aOVdwAXO_BPXlJAohKBjoxRhMmTWyfVy2AP3-D0V-2jzdzWKoEP_17wnAS3FP-hxuOtTr3XWN0zM4oAI8-CeXtP7AdB0sqZ9P7Wnp2s88DqDUNK0JUuYGke3js9xd44Bt5vhtRovNEMYEnLXj_NLOunW33f4g46ep4NvQpNGTd48BcgzFhiiWuXLKKGGoOZGrWlkXqyofE4li83B3D08oW-hjP4S0JBBXqmzpa0_PYi-hkPbirmn9J7F-oQd0So05uAzZROHSd7n8INlYwbJx2zRF8PKipscxu47ddEumr6R9b8qDDVolP5iawqFPeDTt9lOY7OdgEaVcL651UQ
    root@CKA003:~# vi sa-cluster-admin-rolebinding.yaml    root@CKA003:~# cat sa-cluster-admin-rolebinding.yaml
    apiVersion: rbac.authorization.k8s.io/v1
    # This cluster role binding allows any user from the "manager" group to read secrets in any namespace.
    kind: ClusterRoleBinding
    metadata:
      name: read-secrets-global
    subjects:
    - kind: ServiceAccount
      name: sa-cluster-admin
      namespace: kube-system
    roleRef:
      kind: ClusterRole
      name: cluster-admin
      apiGroup: rbac.authorization.k8s.io

    root@CKA003:~# kubectl create -f sa-cluster-admin-rolebinding.yaml
    clusterrolebinding.rbac.authorization.k8s.io/read-secrets-global created

    Token can be directly written to the file `.kube/config`:

    ```bash
    kubectl config set-credentials аккаунт --token=eyJhbGciOiJSUzI1NiIsImtpZCI6InRBUkJ6bkxQMHNHSi1MejR4T2ZtYk43b1Y0S2M3MXZOMTMtQmtOaHpsbXMifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJzYS1jbHVzdGVyLWFkbWluLXRva2VuLWs5eGZwIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQubmFtZSI6InNhLWNsdXN0ZXItYWRtaW4iLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC51aWQiOiIxMWRlYjhkZC01NjI1LTRkNzUtYWQ0NC0zYmVlZjFiY2Q5OTUiLCJzdWIiOiJzeXN0ZW06c2VydmljZWFjY291bnQ6a3ViZS1zeXN0ZW06c2EtY2x1c3Rlci1hZG1pbiJ9.Dr1aOVdwAXO_BPXlJAohKBjoxRhMmTWyfVy2AP3-D0V-2jzdzWKoEP_17wnAS3FP-hxuOtTr3XWN0zM4oAI8-CeXtP7AdB0sqZ9P7Wnp2s88DqDUNK0JUuYGke3js9xd44Bt5vhtRovNEMYEnLXj_NLOunW33f4g46ep4NvQpNGTd48BcgzFhiiWuXLKKGGoOZGrWlkXqyofE4li83B3D08oW-hjP4S0JBBXqmzpa0_PYi-hkPbirmn9J7F-oQd0So05uAzZROHSd7n8INlYwbJx2zRF8PKipscxu47ddEumr6R9b8qDDVolP5iawqFPeDTt9lOY7OdgEaVcL651UQ
    kubectl config set-context аккаунт-контекст --cluster=kubernetes --user=аккаунт
    kubectl config use-context аккаунт-контекст
    ```

## Урок 05: Расписание K8S### 5.1 Как развернуть кластер K8S с несколькими узлами? - Ссылки
    - Официальная документация: [Как использовать kubeadm для создания высокодоступного кластера?](https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/high-availability/)
    - [Как развернуть многоподключенное K8S окружение?](deploy-k8s-manual.md)
    - [Как развернуть K8S окружение с двойным стеком и высокой доступностью?](basic.md)
    - [Развертывание высокодоступного Kubernetes кластера на AWS](deploy-aws-ha-k8s-cluster.md)
    - [руководства по реализации архитектуры openshift-container-platform-reference](https://blog.openshift.com/openshift-container-platform-reference-architecture-implementation-guides/)        ![](../images/openshift-ha-deployment.png)        ![](../images/openshift-network-arch-azure.png)

- Нетворкирование с несколькими плоскостями

        ![](../images/k8s-deploy-ha-multus.png)

- Шаги

    1. Получение токена и ca_hash на узле master

        ```console
        root@ckamaster003:~# kubeadm token create
        b6k3qj.avofghaucefqe0a8

        root@ckamaster003:~# kubeadm token list | grep -v TOKEN | awk '{print $1}' | head -n -1
        b6k3qj.avofghaucefqe0a8

        root@ckamaster003:~# openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'
        d7d0906ebe29f607587e404ef6c393169a51e5f6c81e22a2a48f30ef8702e12a

        root@ckamaster003:~# ifconfig | grep eth0 -A 1
        eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
                inet 172.31.43.105  netmask 255.255.240.0  broadcast 172.31.47.255
        ```

    2. Использование команды kubeadm для добавления нового узла в кластер k8s, сначала сгенерировать команду на узле master

        ```bash
        kubeadm token create
        master_ip=$(ifconfig | grep eth0 -A 1 | grep inet | awk '{print $2}')
        token=$(kubeadm token list | grep -v TOKEN | awk '{print $1}' | head -n 1)
        ca_hash=$(openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //')

        echo kubeadm join $master_ip:6443 --token $token --discovery-token-ca-cert-hash sha256:$ca_hash
        ```

    3. Затем скопировать сгенерированную команду на узел worker и выполнить её, **перед выполнением на узле worker должны быть установлены Docker и kubeadm**
      - См. раздел 1.6, [Настройка Docker на Ubuntu 18.04](#16-эксперимент-docker-quick-start)
      - См. раздел 2.7, [Установка kubeadm](#27-эксперимент-установки-k8s)
      - Затем скопировать сгенерированную команду на узел worker и выполнить её: `kubeadm join $master_ip:6443 --token $token --discovery-token-ca-cert-hash sha256:$ca_hash`    4. Настройка kubectl на новом узле

        ```bash
        mkdir -p $HOME/.kube
        scp root@$master_ip:/etc/kubernetes/admin.conf $HOME/.kube/config
        chown $(id -u):$(id -g) $HOME/.kube/config
        ```

    5. Затем на новом узле можно увидеть, что узел готов к работе с помощью команды kubectl

        ```console
        root@ckaslave003:~# kubectl get nodes
        ИМЯ           СТАТУС   РОЛИ    ВОЗРАСТ   ВЕРСИЯ
        ckamaster003   Ready    master   20m       v1.18.3
        ckaslave003    Ready    <none>   33s       v1.18.3
        ```

### 5.2 Как развернуть приложение на определённом узле?

- См. также: [Labels and Selectors](https://kubernetes.io/docs/concepts/scheduling-eviction/assign-pod-node/)

    ```yaml
    apiVersion: v1
    kind: Pod
    metadata:
      name: label-demo
      labels:
        environment: production
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:1.14.2
        ports:
        - containerPort: 80
    ```

    ```bash
    # Создайте объект pod с метками label-pod.yaml, содержимое которого указано выше

    kubectl apply -f label-pod.yaml
    ```

    ```console
    root@ckatest:~# kubectl get pods -l environment=production
    ИМЯ         ГОТОВ   СТАТУС    ПЕРЕЗАПУСКИ   ВОЗРАСТ
    label-demo   1/1     Running   0             4m16s
    root@ckatest:~# kubectl get pods -l environment=production,tier=frontend
    Нет ресурсов в пространстве имен default.
    root@ckatest:~# kubectl get pods -l 'environment in (production),tier in (frontend)'
    Нет ресурсов в пространстве имен default.
    root@ckatest:~# kubectl get pods -l 'environment in (production, qa)'
    ИМЯ         ГОТОВ   СТАТУС    ПЕРЕЗАПУСКИ   ВОЗРАСТ
    label-demo   1/1     Running   0             4m42s
    root@ckatest:~# kubectl get pods -l 'environment,environment notin (frontend)'
    ИМЯ         ГОТОВ   СТАТУС    ПЕРЕЗАПУСКИ   ВОЗРАСТ
    label-demo   1/1     Running   0             4m50s
    ```- См. также: [Assigning Pods to Nodes](https://kubernetes.io/docs/tasks/configure-pod-container/assign-pods-nodes/)
- Эксперимент:
  1. Как выбрать узел для запуска pod на основе меток? (см. пример выше)
  1. Как выбрать узел для запуска pod по имени узла?

      ```yaml
      apiVersion: v1
      kind: Pod
      metadata:
        name: nginx
      spec:
        nodeName: foo-node # расписание pod на определённый узел
        containers:
        - name: nginx
          image: nginx
          imagePullPolicy: IfNotPresent
      ```

Node Selector на самом деле является узловой симметрией, которая используется для размещения pod на определённых узлах.

### 5.3 Что такое Taints & Toleration?
- Ссылка: [Taints и Tolerations](https://kubernetes.io/docs/concepts/scheduling-eviction/taint-and-toleration/)
- Эксперимент

    Примените taint к узлу master

    ```bash
    kubectl taint nodes k8s-masterXXX key=value:NoSchedule
    ```

    ```yaml
    apiVersion: v1
    kind: Pod
    metadata:
      name: nginx5
    spec:
      containers:
      - name: nginx
        image: nginx
        imagePullPolicy: IfNotPresent
      nodeSelector:
        node-role.kubernetes.io/master: ""
      tolerations:
      - key: "key"
        operator: "Equal"
        value: "value"
        effect: "NoSchedule"
    ```

- Если не использовать nodeSelector, а вместо этого использовать nodeName, можно проигнорировать taint NoSchedule, и под будет распределен. Однако после распределения он будет вытеснен taint NoExecute.

    ```yaml
    apiVersion: v1
    kind: Pod
    metadata:
      name: nginx
    spec:
      nodeName: ckamaster003
      containers:
      - name: nginx
        image: nginx
        imagePullPolicy: IfNotPresent
    ```

Taint фактически представляет собой противоположность узловому сродству, запрещающую размещение pod'ов на узлах с taint.Комбинация Toleration и Taint позволяет определенным узлам размещать только определенные pod'ы, обеспечивая специализацию узлов.

### 5.4 Что такое Node Affinity?

- Ссылка: [Назначение подов на узлы с помощью Node Affinity](https://kubernetes.io/docs/tasks/configure-pod-container/assign-pods-nodes-using-node-affinity/)

Рассуждение:

1. Каковы отношения между Node Affinity и Node Selector?

### 5.5 Что такое Pod Affinity?

- [Межузловое сродство и противоположное сродство](https://kubernetes.io/docs/concepts/scheduling-eviction/assign-pod-node/#inter-pod-affinity-and-anti-affinity)

### 5.6 Эксперимент: Распределение подов

## Урок 06: Хранилище K8S

### 6.1 Что такое ConfigMap и Secret?

- [ConfigMap](https://kubernetes.io/docs/concepts/configuration/configmap/)
    - Ссылка: [Настройка пода для использования ConfigMap](https://kubernetes.io/docs/tasks/configure-pod-container/configure-pod-configmap/)
    - Ссылка: [Настройка Redis с помощью ConfigMap](https://kubernetes.io/docs/tutorials/configuration/configure-redis-using-configmap/)

    ```yaml
    apiVersion: v1
    kind: ConfigMap
    metadata:
      name: example
    data:
      example.property.1: hello
      example.property.2: world
      example.property.file: |-
        property.1=value-1
        property.2=value-2
        property.3=value-3
    ```

```yaml
apiVersion: v1
kind: Pod
metadata:
  name: configmap-demo-pod
spec:
  containers:
    - name: nginx
      image: nginx
      env:
        - name: TEST1
          valueFrom:
            configMapKeyRef:
              name: example
              key: example.property.2
      volumeMounts:
      - name: config
        mountPath: "/config"
        readOnly: true
  volumes:
    - name: config
      configMap:
        name: example

root@ckamaster003:~# kubectl exec -it configmap-demo-pod /bin/sh

# env | grep TEST
TEST1=world

# ls /config
example.property.1  example.property.2  example.property.file
```- [Секрет](https://kubernetes.io/docs/concepts/configuration/secret/)

    Секреты и ConfigMap используются для конфигурации, но Секрет шифрует или кодирует содержимое.

    ```bash
    # Создание двух секретов
    kubectl create secret generic prod-db-secret --from-literal=username=produser --from-literal=password=Y4nys7f11
    kubectl create secret generic test-db-secret --from-literal=username=testuser --from-literal=password=iluvtests

    # Создание двух pod, которые используют указанные секреты в качестве конфигурационных файлов
    cat <<EOF > pod.yaml
    apiVersion: v1
    kind: List
    items:
    - kind: Pod
      apiVersion: v1
      metadata:
        name: prod-db-client-pod
        labels:
          name: prod-db-client
      spec:
        volumes:
        - name: secret-volume
          secret:
            secretName: prod-db-secret
        containers:
        - name: db-client-container
          image: nginx
          volumeMounts:
          - name: secret-volume
            readOnly: true
            mountPath: "/etc/secret-volume"
    - kind: Pod
      apiVersion: v1
      metadata:
        name: test-db-client-pod
        labels:
          name: test-db-client
      spec:
        volumes:
        - name: secret-volume
          secret:
            secretName: test-db-secret
        containers:
        - name: db-client-container
          image: nginx
          volumeMounts:
          - name: secret-volume
            readOnly: true
            mountPath: "/etc/secret-volume"
    EOF
    ```    cat <<EOF >> kustomization.yaml
    ресурсы:
    - pod.yaml
    EOF

    kubectl apply -k .
    ```

    Затем войдите в контейнер, чтобы увидеть, как секрет был отображен в виде файлов

    ```console
    [root@k8slab001 ~]# kubectl exec -it prod-db-client-pod -- sh

    # cd /etc/secret-volume
    # ls
    password  username
    # cat password
    Y4nys7f11

    # cat username
    produser

    # exit
    ```

  См. также: <https://kubernetes.io/ru/docs/concepts/configuration/secret/#use-case-as-container-environment-variables> для отображения секрета в виде переменных окружения в pod### 6.2 Что такое PV / PVC?

- [Типы томов](https://kubernetes.io/docs/concepts/storage/volumes/#types-of-volumes)
- [Persistent Volumes](https://kubernetes.io/docs/concepts/storage/persistent-volumes/)
- [Настройка pod для использования тома для хранения](https://kubernetes.io/docs/tasks/configure-pod-container/configure-volume-storage/)
- [Настройка pod для использования PersistentVolume для хранения](https://kubernetes.io/docs/tasks/configure-pod-container/configure-persistent-volume-storage/) обратите внимание на то, что hostPath соответствует пути на узле, поэтому убедитесь, что вы знаете, на каком узле запускается pod. Лучше всего заранее использовать taint для slave узла или использовать node selector для указания запуска pod на master узле, чтобы избежать проблем.

### 6.3 Что такое Storage Class?

- [Storage Classes](https://kubernetes.io/docs/concepts/storage/storage-classes/)
- [Динамическое выделение томов](https://kubernetes.io/docs/concepts/storage/dynamic-provisioning/)
    - [NFS](../src/config-lab/README.md#3-интеграция-nfs-хранилища)
    - [Динамическое локальное экспериментирование](https://gitee.com/wu-wen-xiang/lab-kubernetes/blob/master/doc/kubernetes-best-practices.md#45-local-%E5%92%8C%E5%8A%A8%E6%80%81%E5%88%86%E9%85%8D)
    - [NFS экспериментирование](https://gitee.com/wu-wen-xiang/lab-kubernetes/blob/master/doc/kubernetes-best-practices.md#42-%E5%AF%B9%E6%8E%A5-nfs-%E5%92%8C-nas)

### 6.4 Эксперимент: ConfigMap / Secret / PV & PVC / StorageClass

## Урок 07: Service

### 7.1 Как реализован Service на уровне реализации?

- [Service](https://kubernetes.io/docs/concepts/services-networking/service/)
- [Подключение приложений с помощью Service](https://kubernetes.io/docs/concepts/services-networking/connect-applications-service/)
- [Руководство по модели сетей Kubernetes](https://sookocheff.com/post/kubernetes/understanding-kubernetes-networking-model/)

### 7.2 Эксперимент: публикация сервиса- Адресное пространство кластера (Cluster IP)
- Полное имя домена сервиса (Service FQDN)
- Узел с портом (Nodeport)
- Тип балансера (LB Type Service)

```bash
# Отметить slave узел, так как в некоторых средах не разрешены туннели, мы вынуждены запускать все pod на master узле
kubectl taint node ckaslave001 key=value:NoExecute

# Создать Deployment
kubectl apply -f https://raw.githubusercontent.com/kubernetes/website/master/content/en/examples/service/networking/run-my-nginx.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: my-nginx
spec:
  selector:
    matchLabels:
      run: my-nginx
  replicas: 1
  template:
    metadata:
      labels:
        run: my-nginx
    spec:
      containers:
      - name: my-nginx
        image: nginx
        ports:
        - containerPort: 80

# Создать Service
kubectl apply -f https://raw.githubusercontent.com/kubernetes/website/master/content/en/examples/service/networking/nginx-svc.yaml

apiVersion: v1
kind: Service
metadata:
  name: my-nginx
  labels:
    run: my-nginx
spec:
  ports:
  - port: 80
    protocol: TCP
  selector:
    run: my-nginx

root@ckamaster001:~# kubectl get svc --all-namespaces -o wide
NAMESPACE     NAME         TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)                  AGE   SELECTOR
default       kubernetes   ClusterIP   10.96.0.1      <none>        443/TCP                  8h    <none>
default       my-nginx     ClusterIP   10.98.172.84   <none>        80/TCP                   36m   run=my-nginx
kube-system   kube-dns     ClusterIP   10.96.0.10     <none>        53/UDP,53/TCP,9153/TCP   8h    k8s-app=kube-dns

root@ckamaster001:~# dig @10.96.0.10 my-nginx.default.svc.cluster.local

; <<>> DiG 9.11.3-1ubuntu1.12-Ubuntu <<>> @10.96.0.10 my-nginx.default.svc.cluster.local
; (1 server found)
;; global options: +cmd
;; Got answer:
;; WARNING: .local is reserved for Multicast DNS
;; You are currently testing what happens when an mDNS query is leaked to DNS
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 23475
;; flags: qr aa rd; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1
;; WARNING: recursion requested but not available

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 4096
; COOKIE: 2661e0af4b0ce87e (echoed)
;; QUESTION SECTION:
;my-nginx.default.svc.cluster.local. IN	A

;; ОТВЕТНАЯ СЕКЦИЯ:
my-nginx.default.svc.cluster.local. 30 IN A	10.98.172.84
```;; ВРЕМЯ ЗАПРОСА: 0 msec
;; СЕРВЕР: 10.96.0.10#53(10.96.0.10)
;; ВРЕМЯ: Сб Июн 13 16:15:23 CST 2020
;; РАЗМЕР СООБЩЕНИЯ: 125

### 7.3 Что такое Ingress?

- [Ingress Controller](https://kubernetes.io/docs/concepts/services-networking/ingress-controllers/)
  - [Установка Nginx Ingress Controller](https://kubernetes.github.io/ingress-nginx/deploy/#bare-metal)

    ```bash
    # Скачать файл конфигурации ingress controller
    # wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.3.0/deploy/static/provider/cloud/deploy.yaml
    wget https://gitee.com/dev-99cloud/training-kubernetes/raw/master/src/amd-lab/deploy.yaml
    ```

    В новых версиях по умолчанию не слушаются порты 80 и 443, их нужно настроить самостоятельно

    ```bash
    # Проверить, заняты ли порты
    # lsof -i :xxx
    netstat -putln | grep 80
    netstat -putln | grep 443
    # Добавить следующие строки в конфигурацию, чтобы слушать локальные порты
    hostNetwork: true

    # spec:
    #  hostNetwork: true
    #  containers:
    #  - name: nginx
    #    image: nginx:1.7.9

    # Обычно порт 443 занят Calico, порт 80 не занят, можно закомментировать строки в конфигурации, относящиеся к порту 443, и контроллер перестанет слушать этот порт

    # Установить ingress controller
    kubectl apply -f deploy.yaml
    # Проверить
    kubectl get pods -n ingress-nginx
    kubectl get svc -n ingress-nginx
    # Увидим, что состояние EXTERNAL-IP для ingress-nginx-controller — pending, нужно добавить externalIPs вручную

    # Добавить externalIPs в конфигурацию сервиса ingress-nginx-controller, 10.0.0.118 — IP узла:
    #   externalIPs:
    #   - 10.0.0.118

    # spec:
    #  externalIPs:
    #  - 192.168.132.253
    #  ports:
    #   - name: highport
    #     nodePort: 31903

    kubectl edit svc ingress-nginx-controller -n ingress-nginx
    ```
- [Ingress](https://kubernetes.io/docs/concepts/services-networking/ingress/)  - Развернуть сервисы-backend
    ```console
    [root@iZuf6g226c4titrnrwds2tZ ~]# vim deploy-demo.yaml
    ```
    ```yaml
    apiVersion: v1
    kind: Service
    metadata:
      name: myapp
      namespace: default
    spec:
      selector:
        app: myapp
        release: canary
      ports:
      - name: http
        targetPort: 80
        port: 80
    ---
    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: myapp-backend-pod
      namespace: default
    spec:
      replicas: 3
      selector:
        matchLabels:
          app: myapp
          release: canary
      template:
        metadata:
          labels:
            app: myapp
            release: canary
        spec:
          containers:
          - name: myapp
            image: ikubernetes/myapp:v2
            ports:
            - name: http
              containerPort: 80
    ```
    ```console
    [root@iZuf6g226c4titrnrwds2tZ ~]# kubectl apply -f deploy-demo.yaml
    [root@iZuf6g226c4titrnrwds2tZ ~]# kubectl get pods
    NAME                                 READY   STATUS    RESTARTS   AGE
    myapp-backend-pod-58b7f5cf77-krmzh   1/1     Running   2          17h
    myapp-backend-pod-58b7f5cf77-vqlgl   1/1     Running   2          17h
    myapp-backend-pod-58b7f5cf77-z7j7z   1/1     Running   2          17h
    ```

  - Предоставление сервиса через ingress-controller и создание для него сервиса

    ```bash
    # Загрузка yaml-файла
    wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/provider/baremetal/service-nodeport.yaml
    vim service-nodeport.yaml
    ```

    ```yaml
    apiVersion: v1
    kind: Service
    metadata:
      name: ingress-nginx
      namespace: ingress-nginx
      labels:
        app.kubernetes.io/name: ingress-nginx
        app.kubernetes.io/part-of: ingress-nginx
    spec:
      type: NodePort
      ports:
        - name: http
          port: 80
          targetPort: 80
          protocol: TCP
          nodePort: 30080
        - name: https
          port: 443
          targetPort: 443
          protocol: TCP
          nodePort: 30443
      selector:
        app.kubernetes.io/name: ingress-nginx
        app.kubernetes.io/part-of: ingress-nginx
    ```    ---
    ```console
    [root@iZuf6g226c4titrnrwds2tZ ~]# kubectl apply -f service-nodeport.yaml
    [root@iZuf6g226c4titrnrwds2tZ ~]# kubectl get svc -n ingress-nginx
    NAME            TYPE       CLUSTER-IP       EXTERNAL-IP   PORT(S)                      AGE
    ingress-nginx   NodePort   10.105.153.191   <none>        80:30080/TCP,443:30443/TCP   9h
    ```

  - Развертывание Ingress
    ```console
    [root@iZuf6g226c4titrnrwds2tZ ~]# vim ingress-myapp.yaml
    ```
    ```yaml
    apiVersion: networking.k8s.io/v1
    kind: Ingress
    metadata:
      name: ingress-myapp
      namespace: default
      annotations:
        kubernetes.io/ingress.class: "nginx"
    spec:
      rules:
      - host: myapp.test.com
        http:
          paths:
          - path: /
            pathType: Prefix
            backend:
              service:
                name: myapp
                port:
                  number: 80
    ```
    ```console
    [root@iZuf6g226c4titrnrwds2tZ ~]# kubectl apply -f ingress-myapp.yaml
    [root@iZuf6g226c4titrnrwds2tZ ~]# kubectl get ingress
    NAME            CLASS    HOSTS            ADDRESS          PORTS   AGE
    ingress-myapp   <none>   myapp.test.com   10.105.153.191   80      17h
    ```
  - Результат тестирования

    ```bash
    # Изменение локального файла hosts
    sudo vi /etc/hosts
    # Добавление
    xxx.xxx.xxx.xxx myapp.test.com
    # Доступ через терминал
    curl http://myapp.test.com
    # Результат
    Привет MyApp | Версия: v2 | <a href="hostname.html">Имя хоста</a>
    # При внешнем доступе может возникнуть проблема с отсутствием регистрации сайта, несколько попыток помогут
    # Внутри сети также требуется настройка hosts для доступа по доменному имени
    ```

  - Проблемы с подключением к k8s.gcr.io приводят к неудаче при загрузке образа
    - Скачайте файл yaml на локальную машину
    - Найдите соответствующий образ на Docker Hub
    - Измените соответствующий образ в файле на найденный на Docker Hub, например:      ```console
      #image: k8s.gcr.io/ingress-nginx/controller:v0.47.0@sha256:52f0058bed0a17ab0fb35628ba97e8d52b5d32299fbc03cc0f6c7b9ff036b61a
      image: willdockerhub/ingress-nginx-controller:v0.47.0
      ```

    - Примените изменения с помощью команды `kubectl apply -f xxx`

## Урок 08: Расширенные возможности

### 8.1 Мониторинг, логирование, отладка

- Мониторинг: Grafana / Prometheus / AlertManager
- Логирование: ElasticSearch / Fluent (Logstash) / Kibana
- Отладка:
    - Как сделать дамп сетевого трафика для pod?

        ```bash
        # Просмотр node, на котором запущен указанный pod
        kubectl describe pod <pod> -n <namespace>

        # Получение PID контейнера
        docker inspect -f {{.State.Pid}} <container>

        # Вход в сетевой namespace контейнера
        nsenter --target <PID> -n

        # Использование tcpdump для дампа пакетов, указание eth0
        tcpdump -i eth0 tcp and port 80 -vvv

        # Или дамп пакетов и запись в файл
        tcpdump -i eth0 -w ./out.cap

        # Выход из nsenter, не забудьте выйти!
        exit
        ```

    - Инструменты отладки

        ```yaml
        apiVersion: v1
        kind: Pod
        metadata:
          name: demo-pod
          labels:
            app: demo-pod
        spec:
          containers:
            - name: nginx
              image: nginx
              ports:
                - containerPort: 80
              env:
                - name: DEMO_GREETING
                  value: "Привет из окружения"
                - name: DEMO_FAREWELL
                  value: "Такая сладкая скорбь"
            - name: busybox
              image: busybox
              args:
                - sleep
                - "1000000"
        ```

        ```console
        root@ckatest001:~# kubectl exec -it demo-pod -c busybox -- /bin/sh
        / # ping 192.168.209.193
        PING 192.168.209.193 (192.168.209.193): 56 data bytes
        64 bytes from 192.168.209.193: seq=0 ttl=63 time=0.099 ms
        64 bytes from 192.168.209.193: seq=1 ttl=63 time=0.093 ms
        64 bytes from 192.168.209.193: seq=2 ttl=63 time=0.089 ms
        ```        ```console
        root@ckalab001:~# tcpdump -i eth0 udp
        12:34:10.972395 IP 45.77.183.254.vultr.com.42125 > 45.32.33.135.vultr.com.4789: VXLAN, flags [I] (0x08), vni 4096
        IP 192.168.208.4 > 192.168.209.193: ICMP echo request, id 3072, seq 0, length 64
        12:34:10.972753 IP 45.32.33.135.vultr.com.41062 > 45.77.183.254.vultr.com.4789: VXLAN, flags [I] (0x08), vni 4096
        IP 192.168.209.193 > 192.168.208.4: ICMP echo reply, id 3072, seq 0, length 64
        12:34:11.972537 IP 45.77.183.254.vultr.com.42125 > 45.32.33.135.vultr.com.4789: VXLAN, flags [I] (0x08), vni 4096
        IP 192.168.208.4 > 192.168.209.193: ICMP echo request, id 3072, seq 1, length 64
        ```

        На Алибаба-клауде Calico/Flannel VXLAN модифицированы в маршрутизационные протоколы, поэтому требуется добавление маршрутов в VPC для каждого узла. Каждый узел получает маршрут для своего IP-адреса и сегмента подсети pod. [Эта статья KB](https://yq.aliyun.com/articles/704175) очень нечетко формулирует, что VXLAN не поддерживается, а вместо этого используется модифицированный VXLAN, реализованный с использованием маршрутизации.        Обычный VXLAN:
        ```console
        root@ckalab001:~# ip r
        default via 45.77.182.1 dev ens3 proto dhcp src 45.77.183.254 metric 100
        192.168.208.1 dev cali65a032ad3e5 scope link
        192.168.209.192/26 via 192.168.209.192 dev vxlan.calico onlink
        ```        
        ```console
        root@ckalab001:~# ip a
        2: ens3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
            link/ether 56:00:02:d8:35:5a brd ff:ff:ff:ff:ff:ff
            inet 45.77.183.254/23 brd 45.77.183.255 scope global dynamic ens3
              valid_lft 73639sec preferred_lft 73639sec
            inet6 fe80::5400:2ff:fed8:355a/64 scope link
              valid_lft forever preferred_lft forever
        4: cali65a032ad3e5@if3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1410 qdisc noqueue state UP group default
            link/ether ee:ee:ee:ee:ee:ee brd ff:ff:ff:ff:ff:ff link-netnsid 0
            inet6 fe80::ecee:eeff:feee:eeee/64 scope link
              valid_lft forever preferred_lft forever
        9: vxlan.calico: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1410 qdisc noqueue state UNKNOWN group default
            link/ether 66:f1:80:3e:ea:c6 brd ff:ff:ff:ff:ff:ff
            inet 192.168.208.0/32 brd 192.168.208.0 scope global vxlan.calico
              valid_lft forever preferred_lft forever
            inet6 fe80::64f1:80ff:fe3e:eac6/64 scope link
              valid_lft forever preferred_lft forever
        ```        
        Алибаба облако модифицированное VXLAN: `192.168.209.192/26 через 172.31.43.146 dev eth0 proto 80 onlink`, где 80 — это протокол маршрутизации IGRP. Поэтому при отправке пакетов ping между контейнерами на разных узлах с помощью tcpdump пакеты TCP не отлавливаются, а пакеты ICMP отлавливаются.```console
root@ckalab001:~# ip r
default через 172.31.47.253 dev eth0 proto dhcp src 172.31.43.145 metric 100
192.168.208.1 dev cali77bffbebec8 scope link
192.168.209.192/26 через 172.31.43.146 dev eth0 proto 80 onlink

root@ckalab001:~# ip a
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 00:16:3e:08:2e:5f brd ff:ff:ff:ff:ff:ff
    inet 172.31.43.145/20 brd 172.31.47.255 scope global dynamic eth0
      valid_lft 315356000sec preferred_lft 315356000sec
    inet6 fe80::216:3eff:fe08:2e5f/64 scope link
      valid_lft forever preferred_lft forever
4: cali77bffbebec8@if3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1410 qdisc noqueue state UP group default
    link/ether ee:ee:ee:ee:ee:ee brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet6 fe80::ecee:eeff:feee:eeee/64 scope link
      valid_lft forever preferred_lft forever
8: vxlan.calico: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1410 qdisc noqueue state UNKNOWN group default
    link/ether 66:f1:80:3e:ea:c6 brd ff:ff:ff:ff:ff:ff
    inet 192.168.208.0/32 brd 192.168.208.0 scope global vxlan.calico
      valid_lft forever preferred_lft forever
    inet6 fe80::64f1:80ff:fe3e:eac6/64 scope link
      valid_lft forever preferred_lft forever

mkdir metrics
cd metrics
# Скачать все yaml-файлы из соответствующего репозитория на GitHub
# for file in auth-delegator.yaml auth-reader.yaml metrics-apiservice.yaml metrics-server-deployment.yaml metrics-server-service.yaml resource-reader.yaml ; do wget https://raw.githubusercontent.com/kubernetes/kubernetes/master/cluster/addons/metrics-server/$file;done
# В новых версиях могут возникнуть проблемы с прохождением проверки состояния, поэтому рекомендуется использовать ту же версию metrics server, что и ваш kubernetes
# Скачать версию v1.20.1 с внутреннего репозитория
for file in auth-delegator.yaml auth-reader.yaml metrics-apiservice.yaml metrics-server-deployment.yaml metrics-server-service.yaml resource-reader.yaml ; do wget https://gitee.com/dev-99cloud/training-kubernetes/raw/master/src/amd-lab/metrics-server/$file;done
kubectl apply -f .

apiVersion: v1
kind: ServiceAccount
metadata:
  name: metrics-server
  namespace: kube-system
  labels:
    kubernetes.io/cluster-service: "true"
    addonmanager.kubernetes.io/mode: Reconcile
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: metrics-server-config
  namespace: kube-system
  labels:
    kubernetes.io/cluster-service: "true"
    addonmanager.kubernetes.io/mode: EnsureExists
data:
  NannyConfiguration: |-
    apiVersion: nannyconfig/v1alpha1
    kind: NannyConfiguration
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: metrics-server-v0.3.6
  namespace: kube-system
  labels:
    k8s-app: metrics-server
    kubernetes.io/cluster-service: "true"
    addonmanager.kubernetes.io/mode: Reconcile
    version: v0.3.6
spec:
  selector:
    matchLabels:
      k8s-app: metrics-server
      version: v0.3.6
  template:
    metadata:
      name: metrics-server
      labels:
        k8s-app: metrics-server
        version: v0.3.6
    spec:
      securityContext:
        seccompProfile:
          type: RuntimeDefault
```         priorityClassName: system-cluster-critical
          serviceAccountName: metrics-server
          nodeSelector:
            kubernetes.io/os: linux
          containers:
          - name: metrics-server
            # image: k8s.gcr.io/metrics-server-amd64:v0.3.6
            image: opsdockerimage/metrics-server-amd64:v0.3.6
            command:
            - /metrics-server
            - --metric-resolution=30s
            # Эти строки нужно удалить для кластеров, отличных от GKE, и когда GKE поддерживает аутентификацию на основе токенов.
            # - --kubelet-port=10255
            # - --deprecated-kubelet-completely-insecure=true
            - --kubelet-insecure-tls
            - --kubelet-preferred-address-types=InternalIP
            # - --kubelet-preferred-address-types=InternalIP,Hostname,InternalDNS,ExternalDNS,ExternalIP
            ports:
            - containerPort: 443
              name: https
              protocol: TCP
          - name: metrics-server-nanny
            # image: k8s.gcr.io/addon-resizer:1.8.11
            image: opsdockerimage/addon-resizer:1.8.11
            resources:
              limits:
                cpu: 100m
                memory: 300Mi
              requests:
                cpu: 5m
                memory: 50Mi
            environment:
              - name: MY_POD_NAME
                valueFrom:
                  fieldRef:
                    fieldPath: metadata.name
              - name: MY_POD_NAMESPACE
                valueFrom:
                  fieldRef:
                    fieldPath: metadata.namespace
            volumeMounts:
            - name: metrics-server-config-volume
              mountPath: /etc/config
            command:
              - /pod_nanny
              - --config-dir=/etc/config
              # - --cpu={{ base_metrics_server_cpu }}
              - --extra-cpu=0.5m
              # - --memory={{ base_metrics_server_memory }}
              # - --extra-memory={{ metrics_server_memory_per_node }}Mi
              - --threshold=5
              - --deployment=metrics-server-v0.3.6
              - --container=metrics-server
             - --период-мониторинга=300000
              - --оценка=экспоненциальная
              # Определяет наименьший кластер (определенный количеством узлов)
              # ресурсы будут масштабироваться.
              # - --minClusterSize={{ metrics_server_min_cluster_size }}
              - --minClusterSize=2
              # Использует метрики kube-apiserver для избежания периодического перечисления узлов.
              - --использовать-метрики=true
          тома:
            - имя: metrics-server-config-volume
              конфиг_карта:
                имя: metrics-server-config
          терпимости:
            - ключ: "CriticalAddonsOnly"
              оператор: "Exists"
    ```  Измените resource-reader.yaml  ```yaml
  apiVersion: rbac.authorization.k8s.io/v1
  kind: ClusterRole
  metadata:
    name: system:metrics-server
    labels:
      kubernetes.io/cluster-service: "true"
      addonmanager.kubernetes.io/mode: Reconcile
  rules:
  - apiGroups:
    - ""
    resources:
    - pods
    - nodes
    # Add nodes/stats
    - nodes/stats
    - namespaces
    verbs:
    - get
    - list
    - watch
  - apiGroups:
    - "apps"
    resources:
    - deployments
    verbs:
    - get
    - list
    - update
    - watch
  - nonResourceURLs:
    - /metrics
    verbs:
    - get
  ---
  apiVersion: rbac.authorization.k8s.io/v1
  kind: ClusterRoleBinding
  metadata:
    name: system:metrics-server
    labels:
      kubernetes.io/cluster-service: "true"
      addonmanager.kubernetes.io/mode: Reconcile
  roleRef:
    apiGroup: rbac.authorization.k8s.io
    kind: ClusterRole
    name: system:metrics-server
  subjects:
  - kind: ServiceAccount
    name: metrics-server
    namespace: kube-system

Обновить сертификаты

```bash
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem --config=ca-config.json -profile=kubernetes kubelet-csr.json | cfssljson -bare kubelet
scp kubelet.pem <nodeip>:/var/lib/kubelet/pki/kubelet.crt
scp kubelet-key.pem <nodeip>:/var/lib/kubelet/pki/kubelet.key
systemctl restart kubelet

# В процессе эксперимента изменения копий, нагрузки на процессор и т.д. требуют некоторого времени и не изменяются мгновенно, обычно это занимает несколько минут
# Создайте HPA для управления Deployment из предыдущего шага, чтобы количество копий поддерживалось в диапазоне от 1 до 10, с средним использованием процессора 50%
kubectl autoscale deployment php-apache --cpu-percent=50 --min=1 --max=10
horizontalpodautoscaler.autoscaling/php-apache autoscaled
# Проверьте состояние Autoscaler
kubectl get hpa
# Запустите контейнер в новом терминале, увеличивая нагрузку
kubectl run -i --tty load-generator --rm --image=busybox --restart=Never -- /bin/sh -c "while sleep 0.01; do wget -q -O- http://php-apache; done"
# Вернитесь в старый терминал
# Проверьте нагрузку на процессор, она должна увеличиться
kubectl get hpa
# Проверьте количество копий Deployment, оно должно увеличиться
kubectl get deployment php-apache
# Остановите выполнение контейнера в новом терминале (Ctrl+C), проверьте состояние нагрузки в старом терминале, использование процессора должно упасть до 0, количество копий должно стать равно 1
kubectl get hpa
kubectl get deployment php-apache

# During the experiment, changes in the number of copies, processor load, and other factors take some time and do not change instantly; usually, this takes several minutes.
# Create an HPA to manage the Deployment from the previous step, ensuring that the number of copies is maintained within the range of 1 to 10, with an average CPU utilization of 50%.
kubectl autoscale deployment php-apache --cpu-percent=50 --min=1 --max=10
horizontalpodautoscaler.autoscaling/php-apache autoscaled
# Check the Autoscaler status
kubectl get hpa
# Run a container in a new terminal, increasing the load
kubectl run -i --tty load-generator --rm --image=busybox --restart=Never -- /bin/sh -c "while sleep 0.01; do wget -q -O- http://php-apache; done"
# Return to the old terminal
# Check the processor load, it should increase
kubectl get hpa
# Check the number of Deployment copies, it should increase
kubectl get deployment php-apache
# Stop the container execution in the new terminal (Ctrl+C), check the load status in the old terminal, the processor usage should drop to 0, and the number of copies should become 1
kubectl get hpa
kubectl get deployment php-apache
```- Kubenetes Federation vs ManageIQ

### 8.4 Как K8S обрабатывает сервисы с состоянием?

- [StatefulSet](https://kubernetes.io/docs/concepts/workloads/controllers/statefulset/)
- [Примеры StatefulSet](https://kubernetes.io/docs/tutorials/stateful-application/basic-stateful-set/)
- CRD & Operator, например [mariadb-operator](https://github.com/mmontes11/mariadb-operator)

### 8.5 Другие ссылки

- [Тестирование K8S](https://jimmysong.io/kubernetes-handbook/develop/testing.html)
- Установка OpenStack тестового окружения
  - [vultr](https://www.vultr.com/) Ubuntu 18.04 / 20.04 Bare Metal сервер
  - [Установка DevStack](https://docs.openstack.org/devstack/latest/)
  - [Загрузка облачных образов](https://docs.openstack.org/image-guide/obtain-images.html)

      ```bash
      wget http://cloud.centos.org/centos/7/images/CentOS-7-x86_64-GenericCloud-2009.qcow2
      wget https://cloud-images.ubuntu.com/bionic/current/bionic-server-cloudimg-amd64.img
      wget https://cloud-images.ubuntu.com/focal/current/focal-server-cloudimg-amd64.img
      ```

  - [Загрузка образов в OpenStack](https://docs.openstack.org/murano/pike/reference/appendix/articles/image_builders/upload.html)

      ```bash
      openstack image create --public --disk-format qcow2 --file focal-server-cloudimg-amd64.img ubuntu-20.04
      openstack image create --public --disk-format qcow2 --file bionic-server-cloudimg-amd64.img ubuntu-18.04
      openstack image create --public --disk-format qcow2 --file CentOS-7-x86_64-GenericCloud-2009.qcow2 centos-7.8
      ```

  - [Включение ipip](https://www.infoq.cn/article/mqluyhvsdw8xopdwp17v)
- [Установка k3s](https://github.com/k3s-io/k3s#quick-start---install-script)
- [Пример KubeEdge](https://kubeedge.io/zh/blog/kubeedge-deployment-manual/)

## Урок 09: CKA

### 9.1 Советы по сдаче экзамена

### 9.2 Обзор тестовых вопросов

### 9.3 Практика: выполнение тестовых вопросов

## Урок 10: Часто задаваемые вопросы

1. Что такое настройка egress IP? [Решение Red Hat](https://docs.openshift.com/container-platform/4.1/networking/openshift_sdn/assigning-egress-ips.html), [Открытое решение](https://github.com/nirmata/kube-static-egress-ip)