Введение

Платформа позволяет определять пауков в виде блок-схем. Это гибкая и настраиваемая платформа для создания пауков.

Характеристики

• Поддержка Xpath/JsonPath/css селекторов/извлечения с помощью регулярных выражений/смешанного извлечения.
• Поддержка JSON/XML/двоичных форматов.
• Поддержка нескольких источников данных, SQL select/selectInt/selectOne/insert/update/delete.
• Поддержка страниц, которые динамически отображаются с использованием JavaScript или AJAX.
• Поддержка прокси.
• Автоматическое сохранение в базу данных/файл.
• Часто используемые функции для работы со строками, датами, файлами, шифрованием и дешифрованием.
• Поддержка расширения с помощью плагинов (пользовательские исполнители, пользовательские методы).
• Мониторинг задач, логирование задач.
• HTTP API.
• Управление cookie в автоматическом режиме.
• Пользовательские функции.

Плагины

• Selenium.
• Redis.
• OSS.
• MongoDB.
• IP прокси пул.
• OCR распознавание.
• Электронная почта.

Скриншоты проекта

• Список пауков.
• Тестирование паука.
• Отладка.
• Логирование.

Другие открытые проекты

• Spider-flow-vue — интерфейс для Spider-Flow.
• Magic-api — фреймворк для автоматического сопоставления XML с HTTP API.
• Magic-api-spring-boot-starter.

Отказ от ответственности Не используйте Spider-Flow для любых действий, нарушающих закон или этические нормы. Вы соглашаетесь соблюдать Spider Protocol. Автор не несёт ответственности за любые юридические риски и убытки, связанные с нарушением вами этого протокола.