1 В избранное 0 Ответвления 0

OSCHINA-MIRROR/lztkdr-GuaZi_Spider

Присоединиться к Gitlife
Откройте для себя и примите участие в публичных проектах с открытым исходным кодом с участием более 10 миллионов разработчиков. Приватные репозитории также полностью бесплатны :)
Присоединиться бесплатно
В этом репозитории не указан файл с открытой лицензией (LICENSE). При использовании обратитесь к конкретному описанию проекта и его зависимостям в коде.
Клонировать/Скачать
Внести вклад в разработку кода
Синхронизировать код
Отмена
Подсказка: Поскольку Git не поддерживает пустые директории, создание директории приведёт к созданию пустого файла .keep.
Loading...
README.md

GuaZi_Spider 瓜子二手车 scrapy 爬虫,突破瓜子网反爬实践。

介绍

本项目在python3.6环境开发,代码中包含常见的几种方式的爬虫实现:

  • Spider 方式
  • CrawlSpider 方式
  • scrapy + selenium 方式
  • RedisSpider 分布式
  • RedisCrawlSpider 方式

使用说明

  1. Git Clone 项目
  2. PyCharm 打开项目,设置 GuaZi_Spider Sources Root
  3. 若爆红目录或文件,先安装未安装的包
  4. 查看 Program.py 介绍,使用哪一种方式运行,就把其他方式注释掉。

注意

  1. 瓜子网的反爬机制分析见 spiders guazi.py。
  2. mysql、redis 连接地址见 utils settings。
  3. 代理IP, 使用的是代理精灵,自己调试运行时,请修改 utils proxy_helper.py 中的链接地址。

交流群

  • QQ交流群:加入QQ群 ,推荐点击按钮入群,当然如果无法成功操作,请自行搜索群号132941648进行添加 ),欢迎入群交流!

Комментарии ( 0 )

Вы можете оставить комментарий после Вход в систему

Введение

Описание недоступно Развернуть Свернуть
Отмена

Обновления

Пока нет обновлений

Участники

все

Недавние действия

Загрузить больше
Больше нет результатов для загрузки
1
https://api.gitlife.ru/oschina-mirror/lztkdr-GuaZi_Spider.git
git@api.gitlife.ru:oschina-mirror/lztkdr-GuaZi_Spider.git
oschina-mirror
lztkdr-GuaZi_Spider
lztkdr-GuaZi_Spider
master