Crawlab

基于Golang的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架。

查看演示 Demo | 文档 | 文档 (v0.6-beta)

安装

三种方式:

1. Docker（推荐）
2. 直接部署（了解内核）
3. Kubernetes (多节点部署)

要求（Docker）

• Docker 18.03+
• MongoDB 3.6+
• Docker Compose 1.24+ (可选，但推荐)

要求（直接部署）

• Go 1.15+
• Node 12.20+
• MongoDB 3.6+
• SeaweedFS 2.59+

快速开始

请打开命令行并执行下列命令。请保证您已经提前安装了 docker-compose。

git clone https://github.com/crawlab-team/examples
cd examples/docker/basic
docker-compose up -d

接下来，您可以看看 docker-compose.yml (包含详细配置参数)，以及参考 文档 来查看更多信息。

运行

Docker

请用docker-compose来一键启动，甚至不用配置 MongoDB 数据库，当然我们推荐这样做。在当前目录中创建docker-compose.yml文件，输入以下内容。

version: '3.3'
services:
  master: 
    image: crawlabteam/crawlab:latest
    container_name: crawlab_example_master
    environment:
      CRAWLAB_NODE_MASTER: "Y"
      CRAWLAB_MONGO_HOST: "mongo"
    volumes:
      - "./.crawlab/master:/root/.crawlab"
    ports:    
      - "8080:8080"
    depends_on:
      - mongo

  worker01: 
    image: crawlabteam/crawlab:latest
    container_name: crawlab_example_worker01
    environment:
      CRAWLAB_NODE_MASTER: "N"
      CRAWLAB_GRPC_ADDRESS: "master"
      CRAWLAB_FS_FILER_URL: "http://master:8080/api/filer"
    volumes:
      - "./.crawlab/worker01:/root/.crawlab"
    depends_on:
      - master

  worker02: 
    image: crawlabteam/crawlab:latest
    container_name: crawlab_example_worker02
    environment:
      CRAWLAB_NODE_MASTER: "N"
      CRAWLAB_GRPC_ADDRESS: "master"
      CRAWLAB_FS_FILER_URL: "http://master:8080/api/filer"
    volumes:
      - "./.crawlab/worker02:/root/.crawlab"
    depends_on:
      - master

  mongo:
    image: mongo:latest
    container_name: crawlab_example_mongo
    restart: always

然后执行以下命令，Crawlab主节点、工作节点＋MongoDB 就启动了。打开http://localhost:8080就能看到界面。

docker-compose up -d

Docker部署的详情，请见相关文档。

直接部署

请参考相关文档。 Gerapy

Gerapy — это платформа для управления краулерами, разработанная великим мастером Цю Цинкаем. Её установка и развёртывание очень просты, она также основана на scrapyd и имеет красивый пользовательский интерфейс. Поддерживает управление узлами, редактирование кода и настраиваемые правила.

Также платформа не поддерживает краулеры, отличные от scrapy, и, согласно отзывам пользователей, в версии 1.0 есть много ошибок. Ожидается, что версия 2.0 будет улучшена.

SpiderKeeper

SpiderKeeper — это упрощённая версия Scrapyhub, основанная на scrapyd. Имеет лаконичный пользовательский интерфейс и поддерживает запланированные задачи. Возможно, он слишком лаконичен, так как не поддерживает разбиение на страницы, управление узлами или краулеры, кроме scrapy.

Вкладчики

• tikazyq;
• wo10378931;
• yaziming;
• hantmac;
• duanbin0414;
• zkqiang.

Сообщество и спонсорство

Если Crawlab помогает вам в повседневной разработке или компании, пожалуйста, добавьте автора в WeChat (tikazyq1) и укажите «Crawlab». Автор добавит вас в группу. Или вы можете отсканировать QR-код ниже, чтобы поддержать автора и улучшить программное обеспечение для командного сотрудничества или купить чашку кофе.