Как использовать этот учебник

Этот учебник написан на Python в Jupyter notebook. Для его использования необходимо настроить некоторые элементы среды Python:

1. Python: можно использовать Python 3.6 или 3.7. Рекомендуется установить Anaconda, чтобы получить пакет Python с инструментами для анализа данных.
2. Загрузите учебник на свой компьютер: перейдите по ссылке «Clone or download» в правом верхнем углу этой страницы и используйте git clone или загрузите ZIP-файл.
3. Установите основной пакет для этого учебника — geopandas. Следуйте инструкциям на странице документации geopandas (https://geopandas.readthedocs.io/en/latest/install.html#installing-from-source).
4. Откройте учебник и наслаждайтесь!

Содержание учебника

Учебник состоит из следующих разделов:

• Основы обработки данных:
  • Обработка данных о такси с использованием GPS для создания OD (pandas).
  • Сбор и базовая визуализация данных о такси (matplotlib).
  • Географическая обработка данных о такси (geopandas).
  • Построение ожидаемых линий OD на основе данных GPS и добавление подложки (plot_map).
  • Создание точечных и тепловых карт распределения данных (contourf).
  • Структурирование данных и мышление (теоретический урок).
• Реализация GIS-обработки на Python:
  • Визуализация траекторий пассажиропотока (shapely).
  • Разделение дорог на блоки (shapely).
  • Использование osmnx и plot_map для расчёта и визуализации направлений улиц (YuanLianggg).
• Работа с данными:
  • Парсинг API для получения административных данных (urllib).
  • Анализ данных о миграции населения с помощью данных Baidu (8-.ipynb).
  • Работа с данными из Twitter: визуализация комментариев (api).
• Визуализация:
  • Интерактивные карты на основе folium.
  • Интерактивная визуализация с pyecharts.
  • Доступность городских объектов с использованием pandana (fff2zrx).
  • Введение в pydeck.
• Проекты:
  • Практический проект: как стать успешным водителем такси — часть 1.
  • Практический проект: как стать успешным водителем такси — часть 2.
• Научные уроки:
  • Основные компоненты анализа (PCA): принципы, реализация, недостатки и улучшения.
  • Спектральная кластеризация: принципы и реализация.
  • Глубокое подпространственное кластеризирование на основе самопредставления.
  • Обнаружение сообществ: алгоритм быстрого развёртывания для анализа данных о такси.

Описание учебника

В эпоху больших данных, когда данные становятся всё более доступными, специалисты по данным должны работать с пространственно-временными данными. Данные — это данные, потому что они данные.

Обработка данных — это искусство. При работе с пространственно-временными данными вам нужно не только обрабатывать данные, но и иметь навыки работы с ГИС. Самое главное — это искусство, которое требует вашего вкуса и создания красивых визуализаций.

Раньше я использовал SQL для обработки данных, экспортировал их в Excel для построения графиков и затем переносил в ArcGIS для создания карт. Это был сложный процесс, который требовал использования нескольких программ, и моя эффективность была низкой.

Теперь появился Python с пакетами pandas, geopandas и matplotlib. С помощью Python можно выполнять пакетную обработку данных, создавать карты и многое другое.

Это потрясающе! Python позволяет создавать красивые визуализации, такие как графики, диаграммы и карты. Вы можете создавать столько карт, сколько захотите, в зависимости от объёма ваших данных.

С помощью этого учебника вы узнаете, как обрабатывать пространственно-временные данные с помощью Python. Вы научитесь очищать данные, собирать их, интегрировать и визуализировать. Учебник также включает практические проекты и научные уроки.

Визуализации, созданные в этом учебнике, демонстрируют его возможности:

Использование данных

Данные для этого учебника взяты из открытого набора данных: Данные о такси в Шэньчжэне Urban Data Release V2. Формат данных о такси: 22223, 2013-10-22 08:49:25, 114.116631, 22.582466, 0.

Идентификатор такси, время, широта, долгота, статус занятости, скорость; статус занятости: 1 — с пассажирами, 0 — без пассажиров.

Необходимые знания

Перед изучением этого учебника рекомендуется иметь базовые знания Python. Если у вас их нет, рекомендуется пройти следующие курсы:

• Введение в Python от маленького кальмара (до 35 минут).
• Базовый курс Python для анализа данных от imooc.
• Курс по анализу данных от Udacity.
• Курс машинного обучения от Coursera.
• Динамические нейронные сети PyTorch от Мофань Чжоу.

Ссылки

• Работы автора в Echarts: https://gallery.echartsjs.com/explore.html?u=bd-167860219&type=work#sort=rank~timeframe=all~author=all.

Авторы

Автор учебника — ni1o1. ni1o1

fff2zrx

YuanLianggg