FEAPDER

Введение

1. Feapder — это простой в освоении и мощный Python-фреймворк для создания пауков, который включает четыре типа пауков: AirSpider, Spider, TaskSpider и BatchSpider, чтобы удовлетворять различные сценарии использования.
2. Поддерживает возможность продолжения работы после прерывания, мониторинг и отправку уведомлений, отрисовку браузера, удаление дубликатов при работе с большими объемами данных.
3. Кроме того, имеет мощную систему управления пауками Feaplat для удобной установки и распределения задач.

Произношение: [ˈfiːpdə]

Адрес документации

• Официальная документация: https://feapder.com
• GitHub: https://github.com/Boris-code/feapder
• Журнал обновлений: https://github.com/Boris-code/feapder/releases
• Система управления пауками: http://feapder.com/#/feapder_platform/feaplat

Требования к среде:

• Python 3.6.0+
• Работает на Linux, Windows, macOS

Установка

С PyPi:

Упрощённая версия

pip install feapder

Версия с отрисовкой браузера:

pip install "feapder[render]"
``````shell
pip install "feapder[all]"

Различие между версиями:

1. Упрощенная версия: не поддерживает отрисовку браузера, не поддерживает удаление дубликатов из памяти, не поддерживает запись в MongoDB
2. Версия с отрисовкой браузера: не поддерживает удаление дубликатов из памяти, не поддерживает запись в MongoDB
3. Полная версия: поддерживает все функции

При возникновении ошибок при установке полной версии, обратитесь к разделу Проблемы с установкой

Пример использования

Создание паука

feapder create -s first_spider

Код созданного паука:

import feapder


class FirstSpider(feapder.AirSpider):
    def start_requests(self):
        yield feapder.Request("https://www.baidu.com")

    def parse(self, request, response):
        print(response)


if __name__ == "__main__":
    FirstSpider().start()
        

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполнение, вывод:

<Response [200]>

Прямое выполн## Участие в проекте

Прежде чем сделать вклад, пожалуйста, прочитайте руководство по вкладам.

Большое спасибо всем, кто сделал вклад!

Рекомендованные инструменты для пауков

1. Онлайн-инструменты для пауков: http://www.spidertools.cn
2. Система управления пауками: http://feapder.com/#/feapder_platform/feaplat
3. Библиотека распознавания CAPTCHA: https://github.com/sml2h3/ddddocr

Поддержка через WeChat

Если вы считаете этот проект полезным для вас, вы можете поддержать автора, приобретя ему кофе 🍸.

Вы также можете познакомиться с автором и решить возникшие проблемы во время использования.

Обучение и общение

Знания на планете: 17321694	Вайцзянь автора: boris_tm	Номер группы QQ: 521494615

При добавлении в друзья укажите: feapder