if self.is_dynamic_ddp:
    kwargs.update(dict(ddp_reducer=self.model.reducer))
outputs = self.model.train_step(data_batch, self.optimizer, **kwargs)

if ddp_reducer is not None:
    ddp_reducer.prepare_for_backward(_find_tensors(loss_disc))

loss_disc, log_vars_disc = self._get_disc_loss(data_dict_)

# Подготовка к обратному распространению в DDP. Если вы не вызовете эту функцию перед
# обратным распространением, DDP динамически не найдёт используемые параметры
# в текущем вычислении.
if ddp_reducer is not None:
    ddp_reducer.prepare_for_backward(_find_tensors(loss_disc))

loss_disc.backward()

# Использовать динамический раннер
runner = dict(
    type='DynamicIterBasedRunner',
    is_dynamic_ddp=True,
    pass_training_status=True)

# использовать ddp wrapper для более быстрого обучения
use_ddp_wrapper = True
find_unused_parameters = True  # True для динамической модели, False для статической модели

runner = dict(
    type='DynamicIterBasedRunner',
    is_dynamic_ddp=False,  # Обратите внимание, что этот флаг должен быть False.
    pass_training_status=True)