Эксперимент Meta = ExperimentMeta (имя = 'mnist-dist', пространство имён = 'default', фреймворк = Tensorflow, cmd = python /var/tf_dist_mnist/dist_mnist.py --train_steps=100)

1 задача PS из 2 процессоров, 1 ГБ

ps_spec = ExperimentTaskSpec(ресурсы = 'cpu=2,memory=1024M', реплики = 1)

1 Задача Worker

worker_spec = ExperimentTaskSpec(ресурсы = 'cpu=2,memory=1024M', реплики = 1)

Объединить метаданные, среду и спецификации задач в эксперимент.

Для задания PyTorch это будут «Master» и «Worker».

experiment_spec = ExperimentSpec(мета = experiment_meta, среда = среда, спецификация = {'Ps': ps_spec, 'Worker': worker_spec})

Отправить эксперимент на сервер submarine

эксперимент = submarine_client.create_experiment(experiment_spec=experiment_spec)

Получить идентификатор эксперимента

id = эксперимент['experimentId']

Запросить конкретный эксперимент

submarine_client.get_experiment(id)

Подождите завершения

submarine_client.wait_for_finish(id)

Получить журнал эксперимента

submarine_client.get_log(id)

Получите все запущенные эксперименты

submarine_client.list_experiments(status='running')

Для быстрого старта см. Submarine On K8s

Пример: отправьте предопределённое задание шаблона эксперимента

Пример: Отправьте эксперимент через пользовательский интерфейс Submarine

(Доступно в версии 0.5.0, см. Дорожную карту)

Архитектура, дизайн и требования

Если вы хотите узнать больше об архитектуре, компонентах, требованиях и документации по дизайну подводной лодки, их можно найти на Архитектура и требования

Подробная документация по проектированию, примечания к реализации можно найти по адресу: Примечания к реализации

Сообщество Apache Submarine

Прочитайте Руководство по сообществу подводных лодок Apache

Как внести свой вклад Руководство по внесению вклада

Войдите в канал подводной лодки Slack: https://join.slack.com/t/asf-submarine/shared_invite

Отслеживание проблем: https://issues.apache.org/jira/projects/SUBMARINE

Пользовательский документ

См. Домашняя страница Руководства пользователя

Документ разработчика

См. Домашняя страница руководства разработчика

Дорожная карта

Что нужно знать о будущем подводной лодки? Пожалуйста, ознакомьтесь с дорожной картой: https://cwiki.apache.org/confluence/display/SUBMARINE/Roadmap

Журнал изменений

Отсюда (https://submarine.apache.org/versions/) вы можете узнать журнал изменений и средство отслеживания проблем для разных версий Apache Submarine.

Ресурсы

Подводная лодка Apache: унифицированная платформа машинного обучения, сделанная простой в EuroMLSys '22

Лицензия

Проект Apache Submarine лицензирован под лицензией Apache 2.0. Подробнее см. в файле LICENSE.