CasperMagic

CasperMagic — это интеграция на основе PhantomJS, CasperJS и WebMagic. CasperJS позволяет легко тестировать динамические веб-страницы, но JavaScript не очень удобен для выполнения задач по сбору данных и аналитики. Обычные пауки с трудом могут получить содержание динамических веб-страниц или выполнять действия над страницами и извлекать данные. CasperMagic представляет собой упаковку CasperJS с использованием WebMagic.

Режим работы

Как и у CasperJS, режим работы CasperMagic также основан на последовательной модели. Когда требуется выполнение действий над страницей, действие, основанное на одном теге, считается одним Action'ом. Несколько таких Action'ов образуют ActionChain, который выполняется последовательно согласно порядку ActionChain. В конце концов получается страница после выполнения всех действий, а затем используются средства WebMagic для извлечения данных.

Для выполнения CasperMagic требуются установленные PhantomJS и CasperJS, а также правильно настроенные пути к ним в системе. CasperMagic создаёт соответствующие JS-скрипты на основе ActionChain и выполняет эти скрипты для получения данных с веб-страниц.

Настройка ActionChain довольно проста:```java ActionChain chain = new ActionChain(); ActionNode node = new ActionNode(); node.setNodetype(ActionNodeType.CLICK).setEventElement("div.article-content p a"); chain = ActionFactory.CreateActionChain(node).ChainEnd("click.js"); Spider.create(this).startUrls(urls).setDownloader(new JsDownload(env, chain).setEnableClick(true)).run();