1 В избранное 0 Ответвления 0

OSCHINA-MIRROR/gainorloss_259-17KSpider

Присоединиться к Gitlife
Откройте для себя и примите участие в публичных проектах с открытым исходным кодом с участием более 10 миллионов разработчиков. Приватные репозитории также полностью бесплатны :)
Присоединиться бесплатно
Клонировать/Скачать
Внести вклад в разработку кода
Синхронизировать код
Отмена
Подсказка: Поскольку Git не поддерживает пустые директории, создание директории приведёт к созданию пустого файла .keep.
Loading...
README.md

17K小说网定向爬虫

免责声明:

本项目旨在学习Scrapy爬虫框架和使用Mssqlserver数据库,不可使用于商业和个人其他意图。若使用不当,均由个人承担。

项目简介:

借助目前超火的爬虫框架scrapy,使用mssqlserver做持久化 从分类(三级分类)到书目到章节内容的全解析,完全可以依照抓取的数据来做一个自己的小说网

环境、架构

  • 运行环境
  • 开发环境
  • 章节抓取运行截图

相关介绍

项目目录 项目目录

爬取对象

采用技术

采用技术:mssql,scrapy

使用步骤

1.根据项目文件下/src/db.sql sql脚本,建立相关数据库表, 2.进入主项目目录,开启命令行 键入

  • scrapy crawl category(一级和二级分类)
  • scrapy crawl category_third(三级分类)
  • scrapy crawl book(书目)
  • scrapy crawl chapter(章节内容)

Комментарии ( 0 )

Вы можете оставить комментарий после Вход в систему

Введение

Описание недоступно Развернуть Свернуть
MIT
Отмена

Обновления

Пока нет обновлений

Участники

все

Недавние действия

Загрузить больше
Больше нет результатов для загрузки
1
https://api.gitlife.ru/oschina-mirror/gainorloss_259-17KSpider.git
git@api.gitlife.ru:oschina-mirror/gainorloss_259-17KSpider.git
oschina-mirror
gainorloss_259-17KSpider
gainorloss_259-17KSpider
master