Tutorial 2: Как использовать Data Pipelines

В этом туториале мы рассмотрим концепцию Data Pipelines и то, как настраивать и расширять собственные Data Pipelines для проекта.

Концепция Data Pipelines

Data Pipeline — это модульная форма обработки данных. Мы превращаем общие операции обработки данных в класс Python, который называется pipeline.
Например, в задачах с изображениями предварительная обработка часто включает обрезку, деформацию, цвет, добавление шума и т. д. В серии кодов mmcv это называется pipeline.

Поток предварительной обработки определяется в файле конфигурации:

train_pipeline = [
    dict(type='ToTensor', enable=True, keys=['music', 'dance']),
]

Для генерации танцевальных движений, поскольку в текущих общих алгоритмах нет предварительной обработки музыки или последовательностей действий, существует только один процесс — ToTensor, который преобразует музыкальные/танцевальные последовательности в torch.tensor.

Обычно конвейеры определяются в папке datasets. Шаблон для пользовательского конвейера выглядит следующим образом:

@PIPELINES.register_module()
class PipelineA:
    """get viewdirs from rays_d
    """
    def __init__(self, enable=True, **kwargs):
        self.enable = enable

    def __call__(self, results):
        """get viewdirs
        Args:
            results (dict): The resulting dict to be modified and passed
                to the next transform in pipeline.
        """
        # process on results
        return results