Ratel: разработка документации

Ratel основан на urllib и selenium для реализации запросов и имитации поведения браузера. В качестве браузеров используются:

• Chrome, который взаимодействует с selenium через chromedriver;
• PhantomJS — безголовый браузер, взаимодействующий с selenium через phantomjsdriver.

Быстрое переключение между браузерами осуществляется через cookie. Например, при публикации на форуме сначала нужно авторизоваться. Если отдельные параметры запроса трудно анализировать, можно использовать selenium для имитации входа в систему. После успешного входа cookie передаются методу запроса, что позволяет выполнять публикацию.

Рекомендуется использовать PhantomJS. Однако если некоторые веб-сайты не отображаются корректно, следует выбрать Chrome. Стоит отметить, что Chrome больше не поддерживает CentOS. Если требуется Java, рекомендуется использовать Ubuntu или попробовать другие облачные сервисы, кроме Alibaba Cloud, так как в Windows на этой платформе команда Thread.sleep может работать некорректно.

Установка

Для разработки Ratel требуется Python 3 и выше. Также необходимы следующие зависимости:

• Selenium версии 3.7.0 (можно скачать с pypi.python.org/pypi/selenium/3.7.0);
• после скачивания и распаковки Selenium необходимо установить его командой python setup.py install или pip install -U selenium.

Сам Ratel устанавливается командой python setup.py install в корневом каталоге Ratel-1.0.

Структура проекта

Процесс выполнения

Начало работы

• Создание класса Task для определения задачи:

  • импортировать класс Task из ratel.task.task_basic;
  • создать класс RequestTask, унаследованный от Task;
  • определить свойства __url и __result;
  • реализовать методы set_url и set_result для установки URL и результата соответственно;
  • реализовать свойства get_url и get_result для получения URL и результата.

• Создать класс Dispose для обработки результатов задачи:

  • импортировать класс Dispose из ratel.task.task_basic;
  • создать классы RequestDispose и SeleniumDispose, унаследованные от Dispose;
  • определить свойство __result и методы set_result и str для работы с результатом и его отображения.

• Создать Execute для выполнения задачи:

  • импортировать необходимые классы и модули;
  • создать класс RequestExecute, унаследованный от Execute;
  • переопределить метод get_task для имитации получения задачи;
  • добавить задачу в очередь;
  • запустить поток для получения задач каждые 10 секунд;
  • переопределить метод do_task для выполнения задачи. |config|конфигурация| |options|системные свойства| |pool_size|размер пула процессов| |tasks|набор задач| |task|задача| |task_class|класс выполнения| |task_package|пакет, в котором находится класс выполнения|

6. Запуск программы с помощью команды main.py

Использование Selenium для выполнения задачи

Метод использования аналогичен методу запроса, необходимо только изменить task_class в config.xml на SeleniumExecute.

Примечание: конкретные методы использования WebDriver в Selenium см. в документации: документ 1 или документ 2.

Модуль анализа

Модуль task_basic (предоставляет поддержку задач)

1. Класс Task, базовый класс для всех задач. В процессе разработки каждый класс задач должен наследовать этот класс.
2. Класс Dispose, класс обработки результатов, в процессе разработки каждый класс результатов должен наследовать этот класс.
3. Класс Execute, класс выполнения задач, в процессе разработки все классы выполнения должны наследовать его, иначе задача не может быть выполнена. Классы выполнения предоставляют две очереди: очередь задач и очередь отчётов. Эти очереди инициализируются в методе init, поэтому каждый наследуемый класс выполнения должен вызывать метод init базового класса в своём методе *init, если только он не использует очередь для доступа к задачам.
   При использовании очередей, метод _empty используется для проверки пустоты очереди, и при пустой очереди попытка получить задачу вызовет исключение. После извлечения задачи из очереди следует вызвать метод task_done, чтобы уведомить очередь об удалении текущей задачи.
   Класс Execute также предоставляет пять методов:

do_task модуль (обеспечивает планирование задач)

1. Метод do_pool выполняет задачи через многопроцессорность, читая config.xml, размер пула по умолчанию равен 10, который можно настроить, изменив размер пула в config.xml.

Примечание: рекомендуется, чтобы размер пула был больше, чем количество задач в config.xml. Если размер пула меньше общего количества задач, то избыточные задачи будут отложены до тех пор, пока в пуле не освободится место.

2. Метод do_dict выполняет задачи в многопроцессорном режиме, перебирая предоставленный словарь, размер пула по умолчанию также равен 10.
3. Метод do выполняет одну задачу в одном процессе.

dict модуль (предоставляет настройки по умолчанию)

header_default — заголовки запросов по умолчанию, предоставляющие заголовки для Chrome, Firefox и IE.

request_basic модуль (предоставляет выполнение задач на основе запросов)

1. Класс Url, создание запроса

2. Класс Response, запрос ответа

3. Метод request_url отвечает за отправку запроса, параметром является объект класса Url, encoding (кодировка параметров запроса, по умолчанию utf-8).

webdriver_basic модуль (выполняет задачи на основе Selenium)

Класс Driver, создание webdriver

Примечание: для использования Firefox, IE или других браузеров обратитесь к соответствующей документации. Для передачи файлов cookie между двумя методами обратите внимание на преобразование их в соответствующий тип.