Введение

Мы предлагаем вам открытую, доступную и комплексную платформу для глубокого обучения, основанную на мощных вычислительных возможностях Alibaba Cloud и открытом сообществе Kubeflow. Платформа позволяет специалистам по данным и инженерам алгоритмов быстро начать использовать ресурсы Alibaba Cloud (включая ECS, облачные серверы GPU, распределённое хранилище NAS, CPFS, объектное хранилище OSS, Elastic MapReduce, балансировку нагрузки и другие услуги) для выполнения задач по подготовке данных, разработке моделей, обучению моделей, оценке и прогнозированию.

Платформа также позволяет легко преобразовать возможности глубокого обучения в сервис API, что ускоряет интеграцию с бизнес-приложениями.

Конкретно, платформа для глубокого обучения обладает следующими характеристиками:

• Простота: снижение порога создания и управления платформой для глубокого обучения.
• Эффективность: повышение эффективности использования разнородных вычислительных ресурсов, таких как CPU и GPU, и предоставление унифицированного пользовательского опыта.
• Открытость: поддержка различных популярных фреймворков глубокого обучения, таких как TensorFlow, Keras и MXNet, а также возможность использования пользовательских сред. Все инструменты в рамках платформы являются открытыми.
• Полнота цикла: предоставление лучших практик для построения полного процесса глубокого обучения на основе мощной системы услуг Alibaba Cloud.
• Сервисность: поддержка сервиса возможностей глубокого обучения и лёгкая интеграция с облачными приложениями.
• Многопользовательский режим: поддержка совместной работы команд специалистов по данным.

Начало использования

• Работа администратора кластера:

  1. Подготовка среды:
     • Создание кластера (docs/setup/CREATE_CLUSTER.md).
     • Установка базовой архитектуры машинного обучения (docs/setup/INSTALL_ARENA.md).
  2. Развёртывание Notebook:
     • Настройка общего хранилища (docs/setup/SETUP_USER_STORAGE.md).
     • Развёртывание рабочей среды для специалистов по данным (Notebook) (docs/setup/SETUP_NOTEBOOK.md).
     • Управление рабочей средой для специалистов по данным (Notebook) (docs/setup/OPERATE_NOTEBOOK.md).
  3. Развёртывание Kubeflow Pipelines:
     • Установка Kubeflow Pipelines (https://github.com/AliyunContainerService/kubeflow-aliyun/blob/master/README.md).

• Работа специалиста по данным:

  1. Вводный опыт:
     • Доступ к Notebook (docs/guide/ACCESS_NOTEBOOK.md).
     • Использование Notebook (docs/guide/USE_NOTEBOOK.md).
  2. Практика модели:
     • Одномашинный mnist (demo/1-start-with-mnist.ipynb).
     • Распределённый многомашинный mnist (demo/2-distributed-mnist.ipynb).
     • MPI-распределённое обучение (demo8/3-submit-mpi.ipynb).
  3. Комплексная работа с машинным обучением:
     • Разработка mnist Pipelines (docs/guide/1_AUTHOR_PIPELINES.md).