Таблицы

Таблица — это базовый тип объекта для представления набора данных. Таблицу можно рассматривать двумя способами:

• как последовательность именованных столбцов, каждый из которых описывает один аспект всех записей в наборе данных;
• или как последовательность строк, каждая из которых содержит всю информацию об одной записи в наборе данных.

Чтобы использовать таблицы, импортируйте все модули с именем datascience, которые были созданы для этой статьи.

from datascience import *

Пустую таблицу можно создать с помощью Table. Пустые таблицы полезны, потому что их можно расширить, чтобы они содержали новые строки и столбцы.

Table()

Метод with_columns таблицы использует столбцы с метками для создания новой таблицы. Каждый столбец таблицы представляет собой массив. Чтобы добавить новый столбец в таблицу, используйте метку и массив при вызове with_column. (Метод with_column имеет тот же эффект.)

Начнём с пустой таблицы без столбцов.

Table().with_columns('Number of petals', make_array(8, 34, 5))

Чтобы добавить два (или более) новых столбца, предоставьте массив и метку для каждого столбца. Все столбцы должны иметь одинаковую длину, иначе будет выдана ошибка.

Table().with_columns(
    'Number of petals', make_array(8, 34, 5),
    'Name', make_array('lotus', 'sunflower', 'rose')
)

Мы можем дать этой таблице имя, а затем использовать другой столбец для её расширения.

flowers = Table().with_columns(
    'Number of petals', make_array(8, 34, 5),
    'Name', make_array('lotus', 'sunflower', 'rose')
)

flowers.with_columns(
    'Color', make_array('pink', 'yellow', 'red')
)

Каждый раз, когда вызывается метод with_columns, создаётся новая таблица, поэтому исходная таблица не изменяется. Например, таблица an_example по-прежнему имеет только два столбца, которые она имела при создании.

flowers

Создание таблиц таким способом требует большого количества ввода. Если данные уже введены где-то ещё, обычно можно использовать Python для чтения их в таблицу вместо того, чтобы вводить их по одному элементу за раз.

Обычно таблицы создаются из файлов, содержащих значения, разделённые запятыми. Эти файлы называются CSV-файлами.

Теперь мы используем метод read_table класса Table, чтобы прочитать CSV-файл, содержащий некоторые данные, которые использовал Минар на своей картине о русской кампании Наполеона. Данные помещаются в таблицу с именем minard.

minard = Table.read_table('minard.csv')
minard

Эти небольшие таблицы будут использоваться для демонстрации некоторых полезных методов работы с таблицами. Затем мы будем использовать эти же методы и разработаем другие методы на больших наборах данных.

Размер таблицы

Метод num_columns возвращает количество столбцов в таблице, а num_rows — количество строк.

minard.num_columns
5
minard.num_rows
8

Метка столбца

Метод labels можно использовать для перечисления меток всех столбцов. Для minard это не особенно полезно, но для очень больших таблиц не все столбцы могут быть видны на экране.

minard.labels
('Longitude', 'Latitude', 'City', 'Direction', 'Survivors')

Мы используем relabeled для изменения метки столбца. Это создаст новую таблицу и сохранит minard без изменений.

minard.relabeled('City', 'City Name')

Однако этот метод не изменяет исходную таблицу.

minard

Обычной практикой является присвоение исходного имени minard новой таблице, чтобы все будущие использования minard ссылались на таблицу с изменёнными метками.

minard = minard.relabeled('City', 'City Name')
minard

Этот текст написан на языке Python. Доступ к данным в столбцах

Мы можем использовать метки столбцов для доступа к массиву данных в столбце.

minard.column('Survivors')
array([145000, 140000, 127100, 100000,  55000,  24000,  20000,  12000])

Пять столбцов имеют индексы 0, 1, 2, 3, 4. Доступ к столбцу Survivors также можно получить с помощью индекса столбца.

minard.column(4)
array([145000, 140000, 127100, 100000,  55000,  24000,  20000,  12000])

Восемь элементов массива имеют индексы от 0 до 7. Элементы столбца можно получить с помощью метода item.

minard.column(4).item(0)
145000
minard.column(4).item(5)
24000

Обработка данных в столбцах

Поскольку столбцы представляют собой массивы, мы можем использовать операции над массивами для получения новой информации. Например, мы можем создать новый столбец, содержащий процент выживших после Смоленска для каждого города.

initial = minard.column('Survivors').item(0)
minard = minard.with_columns(
    'Percent Surviving', minard.column('Survivors')/initial
)
minard

Чтобы отобразить проценты в виде процентов, мы используем опцию PercentFormatter и вызываем метод set_format. Метод set_format принимает объект Formatter, который может быть объектом DateFormatter, CurrencyFormatter, числовым или процентным.

minard.set_format('Percent Surviving', PercentFormatter)

Выбор подмножества столбцов

Метод select создаёт новую таблицу, содержащую только указанные столбцы.

minard.select('Longitude', 'Latitude')

Используя индекс столбца вместо метки, можно выполнить тот же выбор.

minard.select(0, 1)

Результат метода select — это новая таблица, даже если вы выбираете один столбец.

minard.select('Survivors')

Обратите внимание, что результат представляет собой таблицу, а не массив, как в случае с методом column.

minard.column('Survivors')
array([145000, 140000, 127100, 100000,  55000,  24000,  20000,  12000])

Другой способ создания новой таблицы, содержащей подмножество столбцов, — это удаление столбцов, которые вам не нужны.

minard.drop('Longitude', 'Latitude', 'Direction')

Методы select и drop не изменяют исходную таблицу. Напротив, они создают новые небольшие таблицы с общим набором данных. Исходная таблица остаётся полезной! Вы можете создавать множество различных таблиц, рассматривая только определённые столбцы, не беспокоясь о взаимном влиянии.

minard

Все методы, которые мы использовали, могут быть применены к любой таблице. ascending order.

distinct: если True, повторные значения в column_or_label будут опущены.

Возвращает: экземпляр Table, содержащий строки, отсортированные на основе значений в column_or_label.

marbles = Table().with_columns( ... "Цвет", make_array("Красный", "Зелёный", "Синий", "Красный", "Зелёный", "Зелёный"), ... "Форма", make_array("Круглая", "Прямоугольная", "Прямоугольная", "Круглая", "Прямоугольная", "Круглая"), ... "Количество", make_array(4, 6, 12, 7, 9, 2), ... "Цена", make_array(1.30, 1.30, 2.00, 1.75, 1.40, 1.00)) marbles Цвет | Форма | Количество | Цена Красный | Круглая | 4 | 1.3 Зелёный | Прямоугольная | 6 | 1.3 Синий | Прямоугольная | 12 | 2 Красный | Круглая | 7 | 1.75 Зелёный | Прямоугольная | 9 | 1.4 Зелёный | Круглая | 2 | 1 marbles.sort("Количество") Цвет | Форма | Количество | Цена Зелёный | Круглая | 2 | 1 Красный | Круглая | 4 | 1.3 Зелёный | Прямоугольная | 6 | 1.3 Красный | Круглая | 7 | 1.75 Зелёный | Прямоугольная | 9 | 1.4 Синий | Прямоугольная | 12 | 2 marbles.sort("Количество", descending = True) Цвет | Форма | Количество | Цена Синий | Прямоугольная | 12 | 2 Зелёный | Прямоугольная | 9 | 1.4 Красный | Круглая | 7 | 1.75 Зелёный | Прямоугольная | 6 | 1.3 Красный | Круглая | 4 | 1.3 Зелёный | Круглая | 2 | 1 marbles.sort(3) # столбец «Цена» Цвет | Форма | Количество | Цена Зелёный | Круглая | 2 | 1 Красный | Круглая | 4 | 1.3 Зелёный | Прямоугольная | 6 | 1.3 Зелёный | Прямоугольная | 9 | 1.4 Красный | Круглая | 7 | 1.75 Синий | Прямоугольная | 12 | 2 marbles.sort(3, distinct = True) Цвет | Форма | Количество | Цена Зелёный | Круглая | 2 | 1 Красный | Круглая | 4 | 1.3 Зелёный | Прямоугольная | 9 | 1.4 Красный | Круглая | 7 | 1.75 Синий | Прямоугольная | 12 | 2 В таблице help в верхней части появляется сигнатура метода sort.

sort(column_or_label, descending=False, distinct=False)

Это описывает три параметра позиции, имя и значение по умолчанию для sort. При вызове этого метода можно использовать позиционные или именованные параметры, поэтому следующие три вызова полностью эквивалентны.

sort('SALARY', True)
sort('SALARY', descending=True)
sort(column_or_label='SALARY', descending=True)

Когда параметр является просто True или False, включение имени параметра является полезным соглашением, чтобы более явно указать значение параметра.

Выбор строк

Обычно мы хотим извлечь только те строки, которые соответствуют определённому признаку. Например, нам могут понадобиться только строки, соответствующие воинам, или строки с зарплатой более миллиона долларов. Или мы можем захотеть только первые пять человек по зарплате.

Указание строк

Методы Table делают это — им нужен набор указанных строк. Его параметром является индекс строки или массив индексов, он создаёт новую таблицу, содержащую только эти строки.

Например, если мы хотим только первую строку nba, мы можем использовать take.

(опущено 407 строк)

nba.take(0)

Это новая таблица, содержащая только указанную нами единственную строку.

Указывая ряд индексов в качестве параметра, мы также можем получить четвёртую, пятую и шестую строки.

nba.take(np.arange(3, 6))

Если мы хотим первые пять строк самых высокооплачиваемых игроков, мы можем сначала отсортировать по зарплате, а затем взять первые пять строк:

nba.sort('SALARY', descending=True).take(np.arange(5))

Метод where может это сделать. Его вывод представляет собой таблицу, столбцы которой совпадают с исходной таблицей, но только строки с указанным признаком.

Первый параметр метода where — это ярлык столбца, содержащего информацию о том, имеет ли строка интересующий нас признак. Если признак — «зарплата больше 10», то столбец будет SALARY.

Второй параметр метода where определяет способ указания признака. Некоторые примеры делают указанный способ более понятным.

В первом примере мы извлекаем данные обо всех игроках с зарплатой свыше 100 млн долларов.

nba.where('SALARY', are.above(10))

(опущено 59 строк)

Параметр are.above(10) гарантирует, что зарплата каждой выбранной строки превышает 10.

Новая таблица содержит 69 строк, что соответствует 69 игрокам с зарплатой в 100 млн. Последовательность этих строк облегчает анализ данных. Самый «бедный» игрок в этой группе (с зарплатой выше 100 млн) — Демар Дерозан из команды «Торонто Рэпторс».

nba.where('SALARY', are.above(10)).sort('SALARY')

(опущено 59 строк)

Сколько зарабатывает Стивен Карри? Чтобы ответить на этот вопрос, нам нужно обратиться к строке, где значение в столбце PLAYER равно Stephen Curry. Это таблица, состоящая только из одной строки:

nba.where('PLAYER', are.equal_to('Stephen Curry'))

Зарплата Карри составляет менее 11,4 млн долларов. Это большие деньги, но меньше половины зарплаты Леброна Джеймса. Вы можете найти зарплату в таблице «Топ-5» в начале этого раздела или вы можете найти её в коде выше, заменив 'Stephen Curry на 'LeBron James'.

Код снова использует are, но на этот раз это предикат equal_to, а не тот, который использовался ранее. Таким образом, например, вы можете получить таблицу со всеми воинами:

nba.where('TEAM', are.equal_to('Golden State Warriors')).show()

Эта часть таблицы уже упорядочена по зарплате, потому что исходная таблица была упорядочена по зарплате и показывает игроков одной команды. Метод .show() в конце строки гарантирует отображение всех строк, а не только первых 10 строк.

Запрос строки, в которой значение столбца равно определённому значению, очень распространён, поэтому вызов are.equal_to является необязательным. Напротив, можно использовать только имя столбца и значение для вызова метода where, чтобы достичь того же эффекта.

nba.where('TEAM', 'Denver Nuggets') 
# эквивалентно nba.where('TEAM', are.equal_to('Denver Nuggets'))

(пропущено 4 строки)

Несколько признаков

Используя метод where несколько раз, вы можете получать доступ к строкам, которые имеют несколько указанных признаков. Например, это один из способов извлечения данных всех защитников с зарплатой более 150 млн долларов. | Игрок | Позиция | Команда | Зарплата 2015-2016 | | --- | --- | --- | --- | | Деррик Роуз | PG | Чикаго Буллз | 20.0931 | | Кайри Ирвинг | PG | Кливленд Кавальерс | 16.4075 | | Крис Пол | PG | Лос-Анджелес Клипперс | 21.4687 | | Рассел Уэстбрук | PG | Оклахома-Сити Тандер | 16.7442 | | Джон Уолл | PG | Вашингтон Уизардс | 15.852 |

Общая форма

Теперь вы уже осознали, что для создания новой таблицы с использованием метода where и are, а также соответствующих условий, необходимо выбрать строки с заданными характеристиками:

original_table_name.where(column_label_string, are.condition)

nba.where('SALARY', are.between(10, 10.3))

Обратите внимание, что в таблице выше есть игрок Дэнни Грин, который заработал миллион долларов, но нет игрока Монты Эллиса, заработавшего 1,3 миллиона долларов. Как и в других местах Python, диапазон включает левую границу, но не включает правую.

Если мы укажем условие, которое не выполняется ни для одной строки, то получим таблицу с заголовками столбцов, но без строк.

nba.where('PLAYER', are.equal_to('Barack Obama'))

Дополнительные условия

Вот некоторые предикаты, которые могут оказаться полезными. Обратите внимание, что x и y — это числа, STRING — строка, а Z может быть числом или строкой; вы должны указать их в зависимости от того, какой атрибут вы хотите использовать.

Вы также можете указать отрицание любого из этих условий, добавив .not_ перед условием.

И так далее. Обычно применяются обычные логические правила, например, «не больше x» эквивалентно «меньше или равно x».

Мы завершим этот раздел серией примеров.

Использование are.containing помогает сократить количество набираемых символов. Например, вы можете указать Warriors, а не Golden State Warriors:

nba.where('TEAM', are.containing('Warriors')).show()

Можно извлечь данные всех защитников, включая разыгрывающих защитников и атакующих защитников.

nba.where('POSITION', are.containing('G'))

(Опущено 171 строка)

Вы можете получить всех игроков, кроме тех, кто играет за команду Кливленд Кавальерс, и чья зарплата составляет не менее двух миллионов долларов:

other_than_Cavs = nba.where('TEAM', are.not_equal_to('Cleveland Cavaliers'))
other_than_Cavs.where('SALARY', are.not_below(20))

males.where('AGE', are.between(98, 100))

females.where('AGE', are.between(98, 100))

На рисунке ниже показано соотношение полов в зависимости от возраста. Синяя кривая показывает соотношение на 2014 год в зависимости от возраста.

От 0 до 60 лет это соотношение примерно равно 1 (что означает, что мужчин и женщин примерно поровну), но начиная с 65 лет оно начинает резко увеличиваться (женщин больше, чем мужчин).

В США женщин больше, чем мужчин, отчасти из-за значительного гендерного дисбаланса среди пожилых женщин.

ratios.plot('AGE')