Проект представляет собой репликацию модели Connectionist Text Proposal Network (CTPN), которая предназначена для обнаружения текста на изображениях. Код проекта прост и понятен, что делает его подходящим для начинающих.

Если вы находитесь в Китае, вы можете посетить сайт https://gitee.com/hengk/ctpn.

Архитектура программного обеспечения:

Программное обеспечение состоит из следующих компонентов:

• core:

  • datalayer.py — генерирует данные, необходимые для вычисления потерь, на основе входных данных image и label;
  • resnet.py — модуль CNN в сети;
  • lstm.py — RNN-модуль в сети;
  • loss.py — метод расчёта потерь в сети;
  • proposallayer.py — преобразует выходные данные сети в конечные области предложений;
  • textdetector.py — соединяет поля предложений;
  • c_utils.c — реализация алгоритмов NMS и IoU на чистом C;
  • c_textproposalconnector.c — алгоритм построения текста на основе графа, написанный на чистом C;
  • c_datalayer.c — обработка обучающих данных;
  • c_proosallayer.c — работа с выходными данными новой рабочей программы;
  • make.sh — компиляция утилиты.c в файл so.

• data:

  • prehandle.py — предварительная обработка изображений, включая разделение gt_box и сортировку по соотношению сторон.

Использование:

1. Создание меток: В каталоге data сначала создайте новые изображения и соответствующие метки (поскольку исходные метки необходимо разделить на блоки шириной 16 пикселей и масштабировать исходное изображение).

   prehandle.py -g [src_iamge_folder] [src_label_folder] [new_image_folder] [new_label_folder]

   После этого создайте файл, содержащий отсортированные по соотношению сторон изображения.

   prehandle.py -s [image_folder] [file]

   Создайте файл c_utils.so в каталоге core.

   ./make.sh

2. Настройка параметров обучения: Настройте параметры в Config.py.

3. Тестирование программы: Для тестирования вызовите программу python test.py [src_image] [dst_image].

4. Эффект от изображения: Изображения m.jpg и m1.jpg не представлены в запросе.