🚀 Система агрегации вакансий интернет-индустрии на основе данных

Эта система основана на Python и использует веб-интерфейс для отображения всех её функций. Каждый модуль системы — сбор данных с помощью пауков, анализ данных, визуализация данных и взаимодействие — работает независимо друг от друга, но при этом они могут общаться между собой. Все эти функции реализованы с использованием богатого набора библиотек Python.

Для сбора данных используется библиотека Requests, а парсинг выполняется с помощью lxml и BeautifulSoup4. Анализ данных осуществляется с помощью NumPy и Pandas, а визуализация — с помощью PyEcharts. Для создания веб-интерфейса используется Flask. Данные хранятся и передаются через CSV-файлы, базу данных MySQL и конфигурационные файлы.

Для расширения функциональности была внедрена возможность использования планировщика задач, отправки сообщений через WeChat, а также были созданы регистратор функций и итератор параметров. Исходные данные для пауков собираются с сайтов Zhipin, QiLu Talent, Liepin и LaGou, и все необходимые данные присутствуют.

Если вам понравилось, пожалуйста, оставьте звездочку ⭐

Внимание! Некоторые пауки могут уже не работать. Обратите внимание на настройки пауков при использовании.

Онлайн демо http://58.87.66.50/ Сервер закончил срок действия## ToDo

• Добавление недостающих пауков
• Улучшение пользовательского интерфейса во время работы пауков

Скриншоты

Окружение

• Windows / Linux (не тестировалось)
• Python 3.6 : numpy, pandas, requests, pyecharts, lxml, pymysql
• MySQL 8.0.11
• Chrome (версия ядра 60 и выше)

Установка

1. Выполните install_package.bat (если возникнут ошибки, попробуйте запустить с правами администратора).
2. Измените конфигурацию MySQL, расположенную в /analysis/analysis_main.py. Система имеет встроенное визуальное окно конфигурации, поэтому вам не потребуется заново импортировать данные для анализа. Если вы хотите повторно проанализировать данные, вам потребуется импортировать данные из базы данных и изменить содержимое файла input_data.py в соответствии с полями базы данных.
3. Распакуйте js.7z и поместите её в директорию /static.
4. Запустите сервер с помощью server.py.
5. Откройте Chrome и перейдите по адресу http://127.0.0.1.

Поля базы данных

Архитектура

Система имеет следующую общую структуру, представленную ниже:- Директория spider содержит код пауков (скрейперы);

• Директория analysis выполняет задачи импорта, анализа данных, отрисовки графиков и взаимодействия;
• Директория data хранит первичные данные;
• Директория conf содержит конфигурационные файлы для графиков и базы данных MySQL.

Импорт, анализ и визуализация данных осуществляются через единственный входной точкой analysis_main, которая вызывается сервером. Все остальные функции вызываются непосредственно сервером. Все возможности можно запустить с главной страницы.

Благодарность

Благодарю за продукты и техническую поддержку от Server酱, PyEcharts, Tencent Cloud и других.