Машинное обучение Spark — анализ данных банковской маркетинговой кампании с помощью логистической регрессии

Введение

Машинное обучение Spark — анализ данных банковской маркетинговой кампании с помощью логистической регрессии.

Архитектура программного обеспечения

spark2.4.7-scala-2.12.12-hadoop-2.7.7

Фичи

1. Логистическая регрессия (Logistic Regression)

Алгоритмы машинного обучения делятся на надзорные (супервайзед) и безнадзорные (нон-супервайзед) алгоритмы. В надзорных алгоритмах есть целевая переменная (то есть предсказываемое значение) и переменные признаков. В зависимости от того, являются ли значения целевой переменной дискретными или непрерывными, алгоритмы делятся на классификационные (целевая переменная имеет дискретные значения, такие как да/нет, 0/1) и регрессионные (целевая переменная имеет непрерывные значения).Логистическая регрессия является классификационным алгоритмом, а не регрессионным. Обычно она используется для предсказания значения дискретной целевой переменной на основе известных переменных признаков (например, 0/1, да/нет, истинно/ложно). Это достигается путем подгонки логистической функции для предсказания вероятности события, и предсказанные значения представляют собой вероятности (0-100%). В зависимости от величины вероятности, она отображается в классификационное значение целевой переменной, например: если вероятность больше или равна 50%, то классификационное значение целевой переменной равно 1, если вероятность меньше 50%, то классификационное значение равно 0.##### 2. Инжиниринг признаков

Инжиниринг признаков — это процесс извлечения максимального количества признаков из исходных данных для использования в алгоритмах и моделях. Инжиниринг признаков включает в себя извлечение признаков, преобразование признаков, уменьшение размерности и другие операции. Spark предоставляет множество алгоритмов для инжиниринга признаков, подробная информация доступна в официальной документации.

В этом эксперименте мы используем два алгоритма преобразования признаков: StringIndexer и OneHotEncoder.