Подготовка тренировочных данных

Этот раздел в основном описывает загрузку данных, предварительную обработку, форматирование и расширение данных. Весь процесс выполняется последовательно по принципу конвейера, каждый шаг операции позволяет получить таблицу в формате dict и передать её на следующий этап преобразования. Процесс завершается после выполнения всех этапов конвейера и возвращает итоговую таблицу в формате dict.

Ниже приведены настройки конфигурации для YOLOv4, связанные с конвейером:

img_scale = 608  
train_pipeline = [  
    dict(  
        type='Mosaic',  
		img_scale=img_scale,  
        transforms=[  
	        dict(type='LoadImageFromFile',to_rgb=True),   
			dict(type='Resize',img_scale=img_scale,letterbox=False),   
			]),
	dict(type='RandomAffine',degrees=0, translate=0, scale=.5, shear=0.0),  
	dict(type='RandomHSV'),  
	dict(type='RandomFlip'),  
	dict(type='Normalize'),  
	dict(type='ImageToTensor'),  
	dict(type='Collect'),  
]  
test_pipeline = [  
  dict(type='LoadImageFromFile',to_rgb=True),  
  dict(type='Resize',img_scale=img_scale,letterbox=True, auto= True,scaleup=True),  
  dict(type='Normalize'),  
  dict(type='ImageToTensor'),  
  dict(type='Collect',keys=['img']),  
]  
val_pipeline = [  
  dict(type='LoadImageFromFile',to_rgb=True),  
  dict(type='Resize',img_scale=img_scale,letterbox=True, auto= False,scaleup=False),  
  dict(type='Normalize'),  
  dict(type='ImageToTensor'),  
  dict(type='Collect'),  
]

Для каждой операции перечислены все доступные для добавления/обновления/удаления поля dict.

Основные поля описания

• img: данные загрузки представляют собой исходные трёхмерные данные изображения RGB, которые после обработки становятся обработанными данными изображения.
• ori_shape: исходный размер изображения [h,w,d].
• img_shape: преобразованный размер изображения [h,w,d].
• gt_bboxes: истинные рамки [x1y1x2y2], при загрузке данных они нормализуются, диапазон составляет [0,1], способ нормализации: x1 = x1/w, y1= y1/h, x2 = x2/w, y2 = y2/h.
• gt_class: индекс класса.
• gt_score: оценка, по умолчанию равна 1, если используется метод MixUp, значение gt_score не обязательно равно 1.

Загрузка данных

LoadImageFromFile

• Добавление: img, img_shape, ori_shape, gt_bboxes, gt_class, gt_score.
• Описание: загружает изображение, метки и другую основную информацию из конфигурационного файла.

Предварительная обработка данных

Mosaic

• Обновление: img, img_shape, gt_bboxes, gt_class.
• Описание: операция Mosaic случайным образом объединяет четыре изображения в одно.

Resize

• Обновление: img, img_shape, gt_bboxes, gt_class.
• letterbox: если установлено значение False, это означает пропорциональное масштабирование, если установлено значение True, изображение пропорционально масштабируется, а изображение центрируется, недостающие две стороны заполняются серым цветом (114).
• auto: этот параметр действует только тогда, когда letterbox = True, для заполнения недостающих двух сторон используется минимальный коэффициент масштабирования (32), если он установлен в True, или полный коэффициент масштабирования, если он установлен в False.
• Описание: Resize — это операция пропорционального масштабирования изображения.

RandomAffine

• Обновление: img, img_shape, gt_bboxes, gt_class.
• degrees: угол поворота.
• translate: диапазон перемещения.
• scale: коэффициент масштабирования.
• shear: величина сдвига.
• Описание: RandomAffine — это случайное преобразование, которое включает в себя вращение, масштабирование, сдвиг и перемещение.

RandomHSV

• Обновление: img.
• Описание: RandomHSV — это случайный сдвиг цвета, который включает оттенок, насыщенность и экспозицию.

RandomFlip

• Обновление: img, gt_bboxes.
• Описание: RandomFlip — это случайная операция переворота.

Форматирование

Normalize

• Обновление: img.
• Описание: Normalize нормализует изображение в диапазоне [0, 1]. Значения RGB каждого канала делятся на 255.

ImageToTensor

• Обновление: img.
• Описание: ImageToTensor преобразует изображение в тензор PyTorch, изменяя его форму на [d, h, w], что требуется для ввода модели.

Collect

• Добавление: img_meta (ключи meta_keys задаются параметром meta_keys).
• Удаление: удаление всех ключей, кроме указанных в keys.