Список функций

• Настройка правил сбора:

  • настройка начальной страницы:
    • указать одну запись;
    • пакетное создание:
      • числовая последовательность;
      • буквенная последовательность;
      • пользовательский выбор;
    • динамическое получение через API.
  • URL-адрес страницы с контентом:
    • базовая настройка GET-запроса;
    • POST-запрос.
  • настройки получения контента:
    • получение полей;
    • обработка данных полей;
    • общая обработка данных.

• Настройки правил публикации:

  • публикация TXT;
  • публикация Excel;
  • публикация CMS;
  • публикация MySQL;
  • другие базы данных.

• Статистика собранных данных:

  • список собранных данных:
    • собранные данные загружены в базу;
    • отображение собранных данных.
  • статистика сбора задач.

• Параметры задач:

  • автоматический сбор;
  • количество за один сбор;
  • параметры прокси для задач;
  • загрузка изображений;
  • группировка задач;
  • дедупликация при сборе.

• Глобальные настройки сбора:

  • протокол robots;
  • максимальное время выполнения;
  • загрузка изображений;
  • глобальный прокси;
  • рендеринг страниц;
  • перевод.

Что можно улучшить

• Сбор URL-адресов страниц с контентом:
  • оптимизация функции ввода регулярных выражений.
• Задачи:
  • постраничный просмотр списка;
  • кеширование задач.