1 В избранное 0 Ответвления 0

OSCHINA-MIRROR/WuJizhu-qccspider

В этом репозитории не указан файл с открытой лицензией (LICENSE). При использовании обратитесь к конкретному описанию проекта и его зависимостям в коде.
Клонировать/Скачать
Внести вклад в разработку кода
Синхронизировать код
Отмена
Подсказка: Поскольку Git не поддерживает пустые директории, создание директории приведёт к созданию пустого файла .keep.
Loading...
README.md

Получение ежедневных данных о новых компаниях с сайта qcc.com

  • Не завершенные работы:
    • Перенос данных из Redis в MySQL
    • Не настроен пул прокси
    • Ограничения сайта qcc.com: количество запросов в минуту не должно превышать примерно 30, все функции не поддерживают параллельное выполнение, не используйте параллельные запросы через прокси, иначе аккаунт будет заблокирован
    • Некоторые работы еще не завершены, требуются дополнительные разработки, можно запросить исходный код для деобфускации приложения, для дальнейшего анализа.
  • Завершенные работы:
    • Ежедневное автоматическое получение данных
    • Автоматическое обновление токена
    • Коды всех провинций и городов
    • Автоматическое обновление токена
    • Автоматическое разделение адреса на провинцию, город и район
    • Сохранение всех данных в Redis
    • Автоматический вход в систему, требуется отдельный аккаунт
    • getnewdata.py - основной входной файл проекта
    • other - содержит коды городов и провинций
    • common - содержит общие методы
    • getmoredata.py - получение дополнительных данных о компаниях, включая сферу деятельности и контактную информацию
    • getnewdata.py - получение ежедневных данных о новых компаниях
    • Отказ от использования старых методов и переход на новые подходы Без лишних слов, смотрите картинку

Комментарии ( 0 )

Вы можете оставить комментарий после Вход в систему

Введение

Приложение Qicha查每日新增企业抓取, можно выполнять ежедневное инкрементное извлечение данных, информацию о компаниях, данные о工商 и т. д. Примечание: В данном случае, имена переменных и функций (Qicha查) оставлены без перевода, как указано в правиле 2.1. Развернуть Свернуть
Отмена

Обновления

Пока нет обновлений

Участники

все

Язык

Недавние действия

Загрузить больше
Больше нет результатов для загрузки
1
https://api.gitlife.ru/oschina-mirror/WuJizhu-qccspider.git
git@api.gitlife.ru:oschina-mirror/WuJizhu-qccspider.git
oschina-mirror
WuJizhu-qccspider
WuJizhu-qccspider
master