Пловцы Пекинского Метро

Этот код пауков устарел и больше не поддерживается
Ранее Weibo помещал HTML-код в JS, поэтому можно было извлекать нужные данные непосредственно из кода

Внезапно захотел узнать о ежедневной смене пассажиропотока в Пекинском метро, и написал паука. Результат был очень интересным, еженедельные изменения пассажиропотока были весьма регулярными.

Результат:

https://www.ikaze.cn/sub_flows.html

Другое:

• Использует Python3 для сбора данных, графики Echarts
• Результаты паука сохраняются непосредственно в файлах, так как проект маленький, база данных не используется
• Паук собирает только данные за вчерашний день, для получения всех данных потребуется изменить функцию get_flow_from_html()

def get_flow_from_html(html):

    # Нужно корректировать год в зависимости от количества страниц
    year = 2018

    soup = bs(html, 'html.parser')
    work_list = soup.find_all('div', class_='work_list')
    data = work_list[0].find_all('li')
    for d in data:
        s = d.get_text()
        ...

Затем просто запустите цикл:

page = 200
while page > 0:
    html = get_html(get_page_url(page))
    get_flow_from_html(html)
    ...