Получение ежедневных данных о новых компаниях с сайта qcc.com

• Не завершенные работы:
  • Перенос данных из Redis в MySQL
  • Не настроен пул прокси
  • Ограничения сайта qcc.com: количество запросов в минуту не должно превышать примерно 30, все функции не поддерживают параллельное выполнение, не используйте параллельные запросы через прокси, иначе аккаунт будет заблокирован
  • Некоторые работы еще не завершены, требуются дополнительные разработки, можно запросить исходный код для деобфускации приложения, для дальнейшего анализа.
• Завершенные работы:
  • Ежедневное автоматическое получение данных
  • Автоматическое обновление токена
  • Коды всех провинций и городов
  • Автоматическое обновление токена
  • Автоматическое разделение адреса на провинцию, город и район
  • Сохранение всех данных в Redis
  • Автоматический вход в систему, требуется отдельный аккаунт
  • getnewdata.py - основной входной файл проекта
  • other - содержит коды городов и провинций
  • common - содержит общие методы
  • getmoredata.py - получение дополнительных данных о компаниях, включая сферу деятельности и контактную информацию
  • getnewdata.py - получение ежедневных данных о новых компаниях
  • Отказ от использования старых методов и переход на новые подходы