Задачи разработки

Задача

Для построения модели необходимо импортировать следующие два модуля:

from dlflow.tasks import TaskNode
from dlflow.mgr import task

Пользовательский класс задачи должен наследовать от TaskNode и реализовывать метод run().

from dlflow.mgr import config


@task.reg("my_task_name", ...)
class MyTask(TaskNode):
    parent_tags = ("p_tag_1", "p_tag_2", ...)
    output_tags = ("o_tag_1", "o_tag_2", ...) 

    cfg = config.setting(
        config.req("MODEL.model_name"),
        config.req("NEW_LOCAL_WORKSPACE", "$LOCAL_WORKSPACE/my_dir")
    )

    def __init__(self):
        super(self.__class__, self).__init__()
        
    @TaskNode.timeit
    def run(self):
        # Код задачи
        ...

Класс задачи регистрируется с помощью декоратора @task.reg(), чтобы DFLlow мог правильно идентифицировать задачу. Для использования задачи достаточно установить соответствующий параметр STEPS, например, для использования вышеуказанной задачи:

STEPS : "enocde, train, my_task_name"

Зависимости задач

Зависимости задач устанавливаются через атрибут класса parent_tags, а после успешного выполнения задачи необходимо также вывести соответствующие метки, которые устанавливаются через атрибут класса output_tags. Платформа автоматически построит рабочий процесс задачи на основе зависимостей и выходных меток.

Конфигурация

Задачи могут использовать все функции dlflow.mgr.config. Для получения дополнительной информации о конфигурации см. CONFIGURATION.md.