Этот проект больше не поддерживается, предназначен только для учебных целей

Бакалаврская работа:

Основная цель — создание системы для выявления дефектов поверхности капсул с использованием методов обработки изображений и OpenCV, а также обучение модели с помощью глубокого обучения.

Актуальные проблемы: Нейронная сеть плохо распознает случаи, когда капсуле отсутствует угол или имеются небольшие трещины. Это связано с недостаточной производительностью компьютера, поэтому не удалось протестировать более сложные модели, такие как VGG. Чувствую, что требуется использование свёрточной сети с механизмом внимания для решения этой задачи, так как она аналогична проблеме различия двух видов животных с минимальными отличиями. Однако мне недоступны возможности для реализации такой сети.

Успешная классификация простых дефектов:

В разделе FinalVer находится окончательная версия работы.

VideoPart.py: Получает изображения с веб-камеры и сохраняет данные для обучения.

Data_Trans.py: Преобразует изображения и метки в поток данных TFRecord.

capsule_inspection.py: Создание, обучение и тестирование модели. Внутри указаны BN-слои, но они не используются, поскольку их применение может негативно влиять на результат.# Формат данных для обучения: Каждый тип дефекта хранится в отдельной папке, где каждое изображение имеет уникальное имя (генерируется в VideoPart.py). При чтении используется модуль re для присвоения соответствующих меток. Хотя было бы лучше использовать отдельные папки для каждого типа, это требовало бы значительных усилий для изменения текущего подхода. Названия классов: Полная капсула — 0_xxxxx.jpg, вогнутая капсула — 1_xxxxx.jpg, капсула без корпуса — 3_xxxxx.jpg, капсула без крышки — 4_xxxxx.jpg

Качество фотографий:

Изображение примерно такое

Каждое изображение сделано с помощью обычной USB-веб-камеры с разрешением 1080p, затем извлекается область размером 227×227 пикселей, которая представляет собой левый верхний угол изображения. Фон выполнен с использованием светового стола (LED-подсветка) для минимизации влияния тени. Также применяется дополнительное освещение с помощью маленькой настольной лампы для увеличения вариативности данных.# Объем данных для обучения: Для каждого типа дефекта было создано по 3000 изображений. Вначале использовались преобразования, такие как отзеркаливание, чтобы увеличить объём данных, однако эффект был ограниченным. В конечном итоге было решено создать несколько дополнительных изображений путём перемещения капсул, что потребовало значительных усилий. Таким образом, фактическое количество уникальных образцов для каждого типа составляет около 500.

Количество эпох:

Всего было выполнено 400 итераций с использованием адаптивного градиентного спуска. Несмотря на то что кривая затухания не была очень плавной, модель быстро сходилась до значения потерь около 0.2. Я не продолжил обучение.

Не знаю, произошло ли переобучение, но тестовые результаты были отличными. Обнаружение капсул работало практически идеально независимо от изменений освещения или положения капсул.