Автономная локализация кластера дронов на основе семантической карты

1. Цели исследования

Человеческое восприятие не включает точных вычислений своего местоположения в сцене, а лишь сравнивает схожесть сцен и определяет местоположение на основе этого сходства. Таким образом, с помощью глубокого обучения можно анализировать схожесть сцен и сравнивать их с картой сцен, чтобы имитировать процесс человеческого восприятия и реализовать локализацию на основе визуального восприятия (без геометрических вычислений).

Основные цели исследования:

1. Сравнение схожести сцен на основе одного изображения уже широко исследовано, но сравнение схожести сцен на основе последовательности изображений еще не изучено. Исследование методов моделирования сцен, снятых нескольким изображениям, и построения графа, а затем нахождения оптимального соответствия подграфа на карте (графе сети).

2. Исследование методов генерации характеристик объектов в сцене, таких как NetVLAD или FE-Net из работы "Image Matching Based on Deep Feature and Spatial Correlation Graph".

3. Исследование построения графовых сверточных нейронных сетей (Graph Convolutional Networks) для вычисления схожести.

4. Исследование методов извлечения характеристик пройденных сцен и сохранения их в графе для построения семантической карты.## 2. Основные идеи

Исследовательские идеи:

1. Прочитать основные ссылки и получить базовое понимание исследуемой проблемы, а также методов.
2. Запустить некоторые коды, чтобы получить интуитивное понимание и ознакомиться с набором данных.
3. Начать с базового извлечения характеристик с помощью глубокого обучения, а затем перейти к графовым сверточным нейронным сетям.

Конкретные методы исследования (необходимо попробовать):1. Использование EdgeBox или других методов для нахождения интересных областей и извлечения характеристик объектов с помощью глубокого обучения - EdgeBox извлекает только интересные области статья, объяснение на китайском 2. Исследование Siamese сетей для повышения способности отличения характеристик (можно использовать FE-Net из работы "Image Matching Based on Deep Feature and Spatial Correlation Graph") 3. Исследование графовых сверточных нейронных сетей для извлечения характеристик узлов графа и выполнения соответствия графов.## 3. Ключевые технологии

1. Точность соответствия, которая используется для оценки точности соответствия изображений.
2. Кривая Precision-Recall, которая используется для оценки релевантности изображений для поиска связанных мест.
3. Использование памяти и сложность алгоритма, которые используются для оценки эффективности использования памяти и производительности алгоритма.
4. Улучшения, сделанные в ответ на проблемы предыдущих работ, включая уменьшение ошибок соответствия для визуально похожих, но не тех же мест, производительность моделирования сцен, и подграфового соответствия.
5. Рациональность дизайна сети и рациональность дизайна функции потерь.## 4. План исследования Неделя 1-2: Проектирование курсаНеделя 3-4: Письмо отчета по курсовому проекту

Неделя 5: Изучение литературы по теме, написание отчета по теме и задания

Неделя 6-7: Анализ и разработка проектного плана, разбиение на базовые функциональные модули программы

Неделя 8-11: Исследование алгоритмов компьютерного зрения, проектирование глубоких нейронных сетей, составление программы

Неделя 12-13: Письмо дипломной работы

Неделя 14-15: Подготовка к защите дипломной работы

5.0 Ссылки на литературу

• Улучшенная версия DBow2 (https://github.com/rmsalinas/DBow3)

• FBOW (Fast Bag of Words) - крайне оптимизированная версия библиотек DBow2/DBow3 (https://github.com/rmsalinas/fbow)

• Устойчивое локальное измерение роботов с помощью алгоритмов компьютерного зрения и сетей (https://github.com/MHassanNadeem/localization-network-flows)

• NetVLAD: архитектура CNN для слабо контролируемого распознавания мест (https://www.di.ens.fr/willow/research/netvlad/)

• Графовые сверточные сети в PyTorch (https://github.com/tkipf/pygcn)

• Графовые сверточные сети с быстрым локализованным спектральным фильтром (https://github.com/mdeff/cnn_graph)

• Графовые сверточные сети (GCNs) (https://github.com/sungyongs/graph-based-nn)

• [2015 Визуальное распознавание мест: обзор](references/survey/2015 Visual Place Recognition: A Survey.pdf)

• Визуальное локализация на основе визуальных карт

5.1 VLAD/NetVLAD

• NetVLAD: архитектура CNN для слабо контролируемого распознавания мест

  • https://towardsdatascience.com/netvlad-cnn-architecture-for-weakly-supervised-place-recognition-ce64b08bebaf

• VLAD

  • https://ameyajoshi005.wordpress.com/2014/03/29/vlad-an-extension-of-bag-of-words/* PatchNetVLAD

5.2 Извлечение признаков

• Распознавание мест с использованием ConvNet-маркеров: устойчивое к изменению точки обзора, устойчивое к условиям, без обучения

• 2020 Визуальный поиск среди миллиардов аэрокосмических изображений

5.3 Методы сетей

• Сопоставление изображений на основе глубоких признаков и графа пространственной корреляции
• Графы мест для визуального распознавания мест
• Обучение сверточных нейронных сетей для графов
• Устойчивое визуальное полусемантическое обнаружение замкнутых циклов с помощью графа ковизимости и признаков CNN
• Siamese Network
  • https://github.com/delijati/pytorch-siamese

5.4 Графовые нейронные сети

• Обучение сверточных нейронных сетей для графов
• Сопоставление изображений на основе глубоких признаков и графа пространственной корреляции

5.5 Многопозиционный поиск

• Направленность кредитования для нейронных сетей в кросс-представлении геолокации https://github.com/Liumouliu/OriCNN
• Оптимальный транспорт признаков для кросс-представления изображений геолокации https://github.com/shiyujiao/cross_view_localization_CVFT

5.6 Методы индексации

• Деревья для реального времени индексации ConvNet для ландшафтного распознавания местоположения
• Поиск по миллиардам воздушных и спутниковых изображений### 5.7 Коды
• NetVLAD - Версия PyTorch: https://gitee.com/hu_jinsong/pytorch_-net-vlad
• Реализация Keras для Netvlad для визуального распознавания местоположения: https://github.com/crlz182/Netvlad-Keras
• LoST - Визуальное распознавание местоположения с использованием визуальной семантики для противоположных точек зрения в дневное и ночное время: https://github.com/oravus/lostX
• Визуальное распознавание местоположения в изменяющихся средах: https://github.com/PRBonn/vpr_relocalization
• PointNetVLAD: Глубокое распознавание местоположения на основе точечных облаков, CVPR 2018: https://github.com/mikacuy/pointnetvlad
• NetVLAD: Архитектура CNN для слабо контролируемого распознавания местоположения: https://github.com/Relja/netvlad
• Визуальное распознавание местоположения с противоположных точек зрения при экстремальных изменениях внешнего вида: https://github.com/oravus/seq2single
• Оптимальный транспорт признаков для кросс-представления изображений геолокации: https://github.com/shiyujiao/cross_view_localization_CVFT
• Библиотека обучения подграфов нейронной сети: https://github.com/snap-stanford/neural-subgraph-learning-GNN
• Нейронное подграфное соответствие: http://snap.stanford.edu/subgraph-matching/### 5.8 Датасеты
• University1652-Baseline https://github.com/layumi/University1652-Baseline
• Places: База данных из 10 миллионов изображений для распознавания сцен
• 24/7 Распознавание местоположения по синтетическим изображениям http://www.ok.ctrl.titech.ac.jp/~torii/project/247/