Настройка моделей VID

Мы в основном классифицируем компоненты модели на 3 типа.

• детектор: обычно это детектор для обнаружения объектов на изображении, например, Faster R-CNN.
• движение: компонент для вычисления информации о движении между двумя изображениями, например, FlowNetSimple.
• агрегатор: компонент для агрегирования признаков из нескольких изображений, например, EmbedAggregator.

Добавление нового детектора

Пожалуйста, обратитесь к учебнику по mmdetection для разработки нового детектора.

Добавление новой модели движения

1. Определение модели движения (например, MyFlowNet)

Создайте новый файл mmtrack/models/motion/my_flownet.py.

from ..builder import MOTION

@MOTION.register_module()
class MyFlowNet(nn.Module):

    def __init__(self,
                arg1,
                arg2):
        pass

    def forward(self, inputs):
        # реализация игнорируется
        pass

2. Импорт модуля

Вы можете либо добавить следующую строку в mmtrack/models/motion/__init__.py,

from .my_flownet import MyFlowNet

либо альтернативно добавить

custom_imports = dict(
    imports=['mmtrack.models.motion.my_flownet.py'],
    allow_failed_imports=False)

в файл конфигурации и избежать изменения исходного кода.

3. Изменение файла конфигурации

motion=dict(
    type='MyFlowNet',
    arg1=xxx,
    arg2=xxx)

Добавление нового агрегатора

1. Определение агрегатора (например, MyAggregator)

Создайте новый файл mmtrack/models/aggregators/my_aggregator.py.

from ..builder import AGGREGATORS

@AGGREGATORS.register_module()
class MyAggregator(nn.Module):

    def __init__(self,
                arg1,
                arg2):
        pass

    def forward(self, inputs):
        # реализация игнорируется
        pass

2. Импорт модуля

Вы можете либо добавить следующую строку в mmtrack/models/aggregators/__init__.py,

from .my_aggregator import MyAggregator

либо альтернативно добавить

custom_imports = dict(
    imports=['mmtrack.models.aggregators.my_aggregator.py'],
    allow_failed_imports=False)

в файл конфигурации и избежать изменения исходного кода.

3. Изменение файла конфигурации

aggregator=dict(
    type='MyAggregator',
    arg1=xxx,
    arg2=xxx)