Введение
Beanbun — это простой и расширяемый фреймворк для создания веб-краулеров, который поддерживает распределённую архитектуру, а также два режима работы: обычный и режим сторожевого процесса на основе Workerman. Для загрузчика используется Guzzle.
Документация
https://github.com/kiddyuchina/Beanbun/blob/master/docs/chs/README.md
Реклама
Рекомендую SmartProxy — глобальный прокси-сервис, который я недавно обнаружил. Это профессиональный зарубежный HTTP-прокси-провайдер с 1 миллиардом реальных домашних IP-адресов, охватывающих весь мир. Они обеспечивают высокую степень анонимности и маскировки, а также предлагают 100% оригинальные домашние IP-адреса. Сервис подходит для социальных аккаунтов, платформ электронной коммерции и сбора сетевых данных.
SmartProxy также легко решает проблемы с ограничениями IP. Я сам протестировал этот сервис и остался доволен. Сейчас действует весенняя скидка — динамические домашние прокси всего за 65% от обычной стоимости!
Особенности
Установка
Для установки Beanbun можно использовать Composer.
$ composer require kiddyu/beanbun
Быстрый старт
Создайте файл start.php со следующим содержимым:
<?php
use Beanbun\Beanbun;
$beanbun = new Beanbun;
$beanbun->seed = [
'http://www.950d.com/',
'http://www.950d.com/list-1.html',
'http://www.950d.com/list-2.html',
];
$beanbun->afterDownloadPage = function($beanbun) {
file_put_contents(__DIR__ . '/' . md5($beanbun->url), $beanbun->page);
};
$beanbun->start();
Запустите его в командной строке:
$ php start.php
Теперь вы можете просматривать журналы сканирования.
Плагины
beanbun-parser — плагин для извлечения данных https://github.com/kiddyuchina/beanbun-parser
Более подробную информацию см. в документации.
Вы можете оставить комментарий после Вход в систему
Неприемлемый контент может быть отображен здесь и не будет показан на странице. Вы можете проверить и изменить его с помощью соответствующей функции редактирования.
Если вы подтверждаете, что содержание не содержит непристойной лексики/перенаправления на рекламу/насилия/вульгарной порнографии/нарушений/пиратства/ложного/незначительного или незаконного контента, связанного с национальными законами и предписаниями, вы можете нажать «Отправить» для подачи апелляции, и мы обработаем ее как можно скорее.
Комментарии ( 0 )