Распределитель графического процессора (GPU) в расширении планировщика Kubernetes

Обзор

Чем больше данных анализируется с помощью задач вывода на основе GPU Nvidia в Kubernetes, тем более важно становится вопрос разделения этих GPU между контейнерами. Одной из ключевых проблем является то, как эффективно использовать GPU, чтобы увеличить производительность. Поэтому сообщество активно интересуется этой темой.

Существует решение для разделения GPU на нативном Kubernetes, основанное на расширителях планировщика и механизме устройств, поэтому вы можете легко переиспользовать это решение в своём Kubernetes.

Предварительные требования

• Kubernetes 1.11+
• golang 1.10+
• Драйверы Nvidia >= 361.93
• Версия nvidia-docker > 1.0

ВведениеЧем больше исследователей данных используют задачи вывода на основе GPU NVIDIA в Kubernetes, тем более важно становится вопрос разделения этих GPU между контейнерами для повышения использования GPU. Один из важнейших вызовов заключается в том, как делиться GPU между подами. Сообщество также очень заинтересовано в этом вопросе.Существует решение для разделения GPU на нативном Kubernetes, основанное на расширителях планировщика и механизме устройств, поэтому вы можете легко переиспользовать это решение в своём Kubernetes.

Предварительные условия

• Kubernetes 1.11+
• golang 1.10+
• Драйверы Nvidia ~ 361.93
• Версия nvidia-docker > 2.0 (см., как установить инсталл и его предварительные условия)
• Docker, настроенный с Nvidia как по умолчанию запущенным временем.

Проектирование

Для получения более подробной информации о проектировании этого проекта прочтите этот документ проектирования.

Установка

Вы можете следовать этому руководству по установке. Если вы используете Kubernetes Alibaba Cloud, пожалуйста, следуйте этому документу для установки с помощью Helm Charts.

Пользовательское руководство

Вы можете проверить это пользовательское руководство.

Разработка

Расширители планировщика

git clone https://github.com/AliyunContainerService/gpushare-scheduler-extender.git && cd gpushare-scheduler-extender
docker build -t cheyang/gpushare-scheduler-extender .

Устройства-плагины

git clone https://github.com/AliyunContainerService/gpushare-device-plugin.git && cd gpushare-device-plugin
docker build -t cheyang/gpushare-device-plugin .
```### Расширение kubectl

- golang > 1.10

```bash
mkdir -p $GOPATH/src/github.com/AliyunContainerService
cd $GOPATH/src/github.com/AliyunContainerService
git clone https://github.com/AliyunContainerService/gpushare-device-plugin.git
cd gpushare-device-plugin
go build -o $GOPATH/bin/kubectl-inspect-gpushare-v2 cmd/inspect/*.go

Демо

- Демо 1: Развертывание нескольких Pod'ов с общими GPU и расписание их на одном устройстве GPU в режиме binpack

- Демо 2: Предотвращение запросов памяти GPU, которые подходят на уровне узла, но не подходят на уровне устройства GPU

Связанные проекты

• gpushare device plugin

План развития

• Интеграция Nvidia MPS как варианта изоляции
• Автоматизация развертывания для кластера Kubernetes, созданного с помощью kubeadm
• Высокая доступность распорядителя задач
• Общее решение для GPU, RDMA и других устройств

Благодарности

• Решение для разделённого использования GPU основано на Nvidia Docker2, а их концепция разделённого использования GPU служит нам в качестве примера. Сообщество Nvidia очень поддерживает нас, и мы очень благодарны им за это.