Анализ поведения пользователей платформы «Сяосян»

Введение

Технологии больших данных быстро внедряются в бизнес и приносят пользу. Анализ данных о поведении пользователей позволяет лучше понять их потребности, что способствует быстрому росту компании с ориентацией на клиента.

По мере увеличения затрат предприятия вынуждены менять свой подход к маркетингу, операциям, продажам и обслуживанию клиентов. Они переходят от общих методов к более научно обоснованным и эффективным стратегиям.

После запуска электронной коммерции «Сяосян» возникла необходимость собирать данные о поведении пользователей и использовать анализ больших данных для цифрового управления бизнесом. В ответ на эту потребность была разработана система анализа поведения пользователей «Сяосян», совместимая с открытым исходным кодом Pinpoint SDK. Она собирает данные о действиях пользователей через конечные точки и отправляет их в виде журналов. Для сбора журналов используется Nginx, Flume и Kafka. Данные записываются в HDFS с помощью Flink.

Этот открытый проект включает в себя настройку среды Nginx, расшифровку и обработку журналов с помощью Flume, сохранение данных в открытом виде в теме Kafka, а также использование Flink для записи данных из Kafka в HDFS.

Для удобства предварительной проверки и оптимизации точек входа в Kafka добавлена функция анализа точек входа и сохранения результатов в формате JSON в MySQL. В будущем планируется расширить поддержку точек входа от WeChat и других поставщиков SDK, а также сбор журналов бизнес-систем.

Локальная работа: обратитесь к документации по запуску на локальном компьютере

Свяжитесь с нами через WeChat для получения демонстрационной среды: yubang1010

Изображение:

Основные компоненты проекта

• Сбор журналов (Flume + Kafka)
• Хранение журналов (Flink + HDFS)

Рабочий процесс

Завершение разработки технологий сбора данных и бизнес-дизайна, сотрудничество с поставщиками систем приложений и небольших программ для сбора данных о поведении пользователей, построение онлайн-тегов и изображений на основе данных точек входа.

Изображение:

Архитектурный дизайн

Точки входа — это термин в области сбора данных (особенно в области сбора данных о поведении пользователя), который относится к процессу захвата, обработки и отправки данных, связанных с определёнными действиями или событиями пользователя. Например, количество кликов на определённый значок, продолжительность просмотра видео и т. д.

Изображение:

Бизнес-дизайн

Дизайн точек входа начинается с анализа бизнес-целей и определения того, какие действия следует отслеживать. Рекомендуется использовать модель событий (Event Model) для описания различных действий пользователя, включая события (Events) и пользователей (Users) как основные сущности.

Модель 4W1H может помочь чётко описать поведение пользователя, учитывая следующие аспекты: кто, когда, где, как и что сделал. Объединив эти две сущности, можно точно описать поведение пользователя.

Изображение:

Техническая архитектура

Данные о поведении собираются из различных конечных точек, таких как iOS, Android, Web, H5, WeChat mini-programs и другие. Различные SDK для конечных точек используют соответствующие платформы и основные языки программирования. Собранные данные отправляются в виде JSON через HTTP POST на серверный API.

Серверная часть API состоит из системы доступа к данным, использующей Nginx для приёма данных через API и их записи в файлы журналов. Nginx обеспечивает высокую надёжность и масштабируемость.

Журналы, записанные Nginx в файлы, считываются модулем Source платформы Flume в режиме реального времени. Затем они обрабатываются модулем Channel и публикуются в Kafka через модуль Sink.

Изображение:

Полная архитектура программного обеспечения

Изображение:

Интеграция сторонних SDK точек входа

Процесс интеграции сторонних SDK точек входа включает в себя следующие шаги:

1. Импорт SDK: добавление зависимостей SDK в конфигурационные файлы приложений для разных конечных точек. Процесс импорта может различаться для разных платформ. Подробные инструкции будут представлены в последующих технических документах SDK.
2. Настройка адреса сервера API для отправки отчётов: определение адреса серверного API, куда SDK будет отправлять данные.
3. Включение полного отслеживания точек входа: настройка SDK для автоматического сбора информации о действиях пользователя, таких как запуск приложения, выход из него, просмотр страниц и нажатие кнопок. Это делается с помощью метода инициализации, предоставляемого SDK при запуске.

Дизайн сервиса API доступа

Различные данные точек входа передаются на серверную часть API через HTTP API. Nginx используется в качестве веб-контейнера для приёма данных от клиентских SDK и записи их в файлы журналов. Выбор Nginx обусловлен его высокой производительностью, надёжностью и расширяемостью.

Сценарии сбора поведения пользователей

Анализ сценариев помогает планировать точки входа на основе конкретных ситуаций использования. Сценарии можно разделить на три уровня:

• Общие базовые сценарии: общие операции рассматриваются вместе.
• Важные операционные сценарии: важные операции анализируются в целом.
• Основные бизнес-процессы: бизнес-линии определяют полные процессы.

Изображение:

Результаты применения

Изображения:

Изображения:

Изображение:

Авторские права

Проект анализа поведения пользователей Xiaoxiang использует лицензию Apache 2.0 с открытым исходным кодом. Если вы хотите использовать или переработать этот проект для коммерческих целей, необходимо соблюдать следующие условия:

• Включить файл лицензии Xiaoxiang Analysis, который предоставляет право на бесплатное использование патентов и интеллектуальной собственности Xiaoxiang.
• При внесении изменений в исходный код указать это в изменённых файлах.
• В изменённом и производном коде сохранить исходную лицензию и указать её в коде.
• Если продукт, основанный на нескольких открытых исходных кодах, выпускается для коммерческого использования, необходимо включить файл уведомления, содержащий лицензию Xiaoxiang Analysis. Можно добавить свою собственную лицензию, но нельзя изменять или заменять лицензию Xiaoxiang Analysis.

Если вам требуются услуги по коммерческому улучшению, свяжитесь с нами через WeChat.