AI City Challenge 2019 Track1 MTMC Task

Код предназначен для AI City Challenge 2019, задача Track1 — отслеживание транспортных средств с использованием нескольких камер и многоцелевой задачи (MTMC Vehicle Tracking).

Команда заняла второе место.

paper

Сопровождающие

Пейлунь Ли, Гочжэнь Ли, Мэйци Лу, Чжанси Янь, Юзэн Ли.

Подготовка

Загрузка набора данных: Track1-download, размер: 16,2 ГБ.

Для корректной работы кода данные должны быть расположены следующим образом:

├─ aic19-track1-mtmc
│  ├─ train
│  │  ├─ S01
│  │  │  ├─ c001
│  │  │  │  ├─ det
│  │  │  │  ├─ gt
│  │  │  │  ├─ mtsc
│  │  │  │  ├─ segm
│  │  │  │  ├─ calibration.txt
│  │  │  │  ├─ roi.jpg
│  │  │  │  ├─ det_reid_features.txt
│  │  │  │  ├─ vdo.avi
│  │  │  ├─ c002
│  │  │  ├─ c003
│  │  │  ├─ c004
│  │  │  ├─ c005
│  │  ├─ S03
│  │  ├─ S04
│  ├─ test
│  │  ├─ S02
│  │  ├─ S05
│  └─ cam_timestamp

Обратите внимание, что det_reid_features.txt является промежуточным результатом работы программы 1b_merge_visual_feature_with_other_feature.py, а остальные файлы предоставлены организаторами.

Пошаговое выполнение задачи отслеживания транспортных средств

Выполнение кода в установленном порядке

1_crop_vehicle_img_from_vdo.py

Для каждой ограничивающей рамки обрежьте изображение транспортного средства и рассчитайте GPS-координаты в соответствии с результатами обнаружения.

Ввод: — ввод_дир: ./aic19-track1-mtmc/train или ./aic19-track1-mtmc/test.

Вывод: — для каждого видео создайте файл det_gps_feature.txt, чтобы сохранить информацию о GPS; — сохраните все обрезанные изображения для каждого видео.

1a_extract_visual_feature_for_each_img.py

Извлеките признаки идентификации для каждого обрезанного изображения. Для обучения и вывода используется конвейер reid-baseline.

1b_merge_visual_feature_with_other_feature.py

Объедините признаки идентификации и информацию о GPS в один файл.

Ввод: — ввод_дир: ./aic19-track1-mtmc/train или ./aic19-track1-mtmc/test; — информация о GPS из файла /det_gps_feature.txt, созданного на этапе 1; — признаки идентификации из файла /deep_features.txt, полученного на этапе 1а.

Вывод: — для каждого видео создайте файл det_reid_features.txt.

2_tracking.py

Отслеживание нескольких целей для каждого видео.

Ввод: — ввод_дир: ./aic19-track1-mtmc/train или ./aic19-track1-mtmc/test; — файл с уже использованными номерами already_used_number.txt, чтобы избежать повторного использования номеров; — /det_reid_features.txt из этапа 1b.

Вывод: — для каждого видео создайте файл результатов отслеживания det_reid_track.txt.

2a_post_process_for_tracking.py

Оптимизация результатов отслеживания для решения проблемы потери цели.

Ввод: — ввод_дир: ./aic19-track1-mtmc/train или ./aic19-track1-mtmc/test; — файл частоты кадров train_fps.txt; — для каждого видео необходим файл det_reid_track.txt с этапа 2.

Вывод: — для каждого видео создайте оптимизированный файл результатов отслеживания optimized_track.txt.

2b_remove_overlap_boxes.py

Удалите перекрывающиеся ограничивающие рамки.

Ввод: — ввод_дир: ./aic19-track1-mtmc/train или ./aic19-track1-mtmc/test; — для каждого видео необходимо использовать файл optimized_track.txt с этапа 2а.

Вывод: — для каждого видео создайте оптимизированные результаты отслеживания без перекрывающихся рамок optimized_track_no_overlapped.txt.

3a_track_based_reid.py

Рассчитайте сходство между треками по признакам идентификации.

Ввод: — ввод_дир: ./aic19-track1-mtmc/train или ./aic19-track1-mtmc/test; — для каждого видео используйте файл optimized_track_no_overlapped.txt с этапа 2б.

Вывод: — файл сходства по признакам идентификации ranked.

3b_trajectory_processing.py

Вычислите согласованность траектории GPS между треками. Необходимо запустить код trajectory_processing/main.py.

Ввод: — ввод_дир: ./aic19-track1-mtmc/train или ./aic19-track1-mtmc/test; — для каждого видео используйте файл optimized_track_no_overlapped.txt с этапа 2б.

Вывод: — файл траектории GPS gps_and_time_new.

4a_match_tracks_for_crossroad.py

Отслеживание MTMC для перекрёстка.

Ввод: — ввод_дир: ./aic19-track1-mtmc/train или ./aic19-track1-mtmc/test; — для каждого видео используйте файл optimized_track_no_overlapped.txt с этапа 2б; — ranked с этапа 3а; — gps_and_time_new с этапа 3б.

Вывод: — результаты сопоставления submission_crossroad_train.

4b_match_tracks_for_arterialroad.py

Отслеживание MTMC для магистральной дороги.