1 В избранное 0 Ответвления 0

OSCHINA-MIRROR/mktime-scrapy-douban-group

Присоединиться к Gitlife
Откройте для себя и примите участие в публичных проектах с открытым исходным кодом с участием более 10 миллионов разработчиков. Приватные репозитории также полностью бесплатны :)
Присоединиться бесплатно
Клонировать/Скачать
Внести вклад в разработку кода
Синхронизировать код
Отмена
Подсказка: Поскольку Git не поддерживает пустые директории, создание директории приведёт к созданию пустого файла .keep.
Loading...
README.md

douban_scrapy

Спасибо группе Douban за предоставление данных

Подготовка окружения

Быстрый старт

#: Установите необходимые Python библиотеки

sudo pip install scrapy

sudo pip install pymongo

#: Загрузите изображения локально и сохраните информацию в MongoDB.

scrapy crawl haixiuzu

#: Создайте JSON данные для локальной галереи.

python check.py

#: Настройте локальный HTTP сервер

python -m SimpleHTTPServer 80

#: Откройте браузер и введите http://localhost/gallery

Реализованные возможности

  • Получение информации о публикациях участников (название, ссылка на публикацию, автор, ссылка на профиль автора и т.д.), а также загрузка изображений локально
  • Получение информации о местоположении пользователя
  • Добавлен RandomUserAgent для предотвращения банов
  • Добавлена возможность задержки запросов для предотвращения банов
  • Из-за большого количества загружаемых изображений используется метод хэширования для распределения изображений по нескольким директориям, что повышает скорость доступа к папкам

План реализации возможностей ----------------------------* Локальная галерея с возможностью просмотра изображений в браузере, переход между изображениями с помощью клавиш j, k, space, добавление изображений в закладки, удаление изображений и т.д.

  • Локальная галерея будет основана на примере (fgallery)[http://www.thregr.org/~wavexx/software/fgallery/demo/].
  • Если тема, связанная с изображением, была удалена администратором, она будет выделена жирным шрифтом.Дополнительно

Комментарии ( 0 )

Вы можете оставить комментарий после Вход в систему

Введение

Изучить использование Scrapy для извлечения информации из сети на примере реального проекта. В данном случае, используя Scrapy, извлечь изображения из группы Douban и сохранить соответствующую информацию в MongoDB, а изображения загрузить на локальный компьютер. Развернуть Свернуть
MIT
Отмена

Обновления

Пока нет обновлений

Участники

все

Недавние действия

Загрузить больше
Больше нет результатов для загрузки
1
https://api.gitlife.ru/oschina-mirror/mktime-scrapy-douban-group.git
git@api.gitlife.ru:oschina-mirror/mktime-scrapy-douban-group.git
oschina-mirror
mktime-scrapy-douban-group
mktime-scrapy-douban-group
master