Глава 11. Визуализация с помощью Matplotlib, Pandas и Seaborn

В этой главе рассматриваются три темы, ни одна из которых не раскрыта полностью.

In[1]: import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

%matplotlib inline

1. Введение в Matplotlib

Matplotlib предоставляет два способа создания графиков: интерфейс состояний и объектно-ориентированный подход.

# Интерфейс состояний реализуется через модуль pyplot, который отслеживает текущее состояние среды построения графиков.
# Этот метод подходит для быстрого создания простых графиков, но может быть неудобен для сложных графиков и нескольких осей.
 In[2]: x = [-3, 5, 7]
y = [10, 2, 5]

plt.figure(figsize=(15,3))
plt.plot(x, y)
plt.xlim(0, 10)
plt.ylim(-3, 8)
plt.xlabel('X Axis')
plt.ylabel('Y axis')
plt.title('Line Plot')
plt.suptitle('Figure Title', size=20, y=1.03)
Out[2]: Text(0.5,1.03,'Figure Title')

# Объектно-ориентированный метод более понятен, так как изменения вносятся в конкретный объект.
# Кроме того, код более Pythonic и похож на взаимодействие с Pandas.
 In[3]: fig, ax = plt.subplots(figsize=(15,3))
ax.plot(x, y)
ax.set_xlim(0, 10)
ax.set_ylim(-3, 8)
ax.set_xlabel('X axis')
ax.set_ylabel('Y axis')
ax.set_title('Line Plot')
fig.suptitle('Figure Title', size=20, y=1.03)
Out[3]: Text(0.5,1.03,'Figure Title')

# Функция subplots создаёт фигуру с одним Axes.
 In[4]: fig, ax = plt.subplots(nrows=1, ncols=1)

# Проверяем тип fig и ax.
 In[5]: type(fig)
Out[5]: matplotlib.figure.Figure

 In[6]: type(ax)
Out[6]: matplotlib.axes._subplots.AxesSubplot

# Узнаём размер фигуры и увеличиваем его.
 In[7]: fig.get_size_inches()
Out[7]: array([ 6.,  4.])

 In[8]: fig.set_size_inches(14, 4)
        fig
Out[8]:

# Атрибут axes позволяет получить все Axes фигуры.
 In[9]: fig.axes
Out[9]: [<matplotlib.axes._subplots.AxesSubplot at 0x1134202b0>]

# Сравниваем первый элемент списка fig.axes с ранее определённым ax.
 In[10]: fig.axes[0] is ax
Out[10]: True

# Устанавливаем разные уровни серого с использованием чисел с плавающей точкой.
 In[11]: fig.set_facecolor('.9')
         ax.set_facecolor('.7')
         fig
Out[11]:

# Изучаем дочерние элементы Axes, каждый базовый график имеет четыре spine и два axis.
# Spine — это границы данных, то есть четыре ребра.
# Объекты x и y axis содержат больше элементов графика, таких как шкалы и метки.
 In[12]: ax_children = ax.get_children()
         ax_children         
Out[12]: [<matplotlib.spines.Spine at 0x11145b358>,
          <matplotlib.spines.Spine at 0x11145b0f0>,
          <matplotlib.spines.Spine at 0x11145ae80>,
          <matplotlib.spines.Spine at 0x11145ac50>,
          <matplotlib.axis.XAxis at 0x11145aa90>,
          <matplotlib.axis.YAxis at 0x110fa8d30>,
          ...]

# Получаем доступ к spines напрямую через атрибут.
>>> spines = ax.spines
>>> spines
OrderedDict([('left', <matplotlib.spines.Spine at 0x11279e320>),
             ('right', <matplotlib.spines.Spine at 0x11279e0b8>),
             ('bottom', <matplotlib.spines.Spine at 0x11279e048>),
             ('top', <matplotlib.spines.Spine at 0x1127eb5c0>)])

# Выбираем левый край, изменяем его положение и ширину, делаем нижний край невидимым.
 In[13]: spine_left = spines['left']
         spine_left.set_position(('outward', -100))
         spine_left.set_linewidth(5)

         spine_bottom = spines['bottom']
         spine_bottom.set_visible(False)
         fig
Out[13]:

# Изменяем свойства с помощью атрибутов xaxis и yaxis или непосредственно через Axes объект.
 In[14]: ax.xaxis.grid(True, which='major', linewidth=2, color='black', linestyle='--')
         ax.xaxis.set_ticks([.2, .4, .55, .93])
         ax.xaxis.set_label_text('X Axis', family='Verdana', fontsize=15)

         ax.set_ylabel('Y Axis', family='Calibri', fontsize=20)
         ax.set_yticks([.1, .9])
         ax.set_yticklabels(['point 1', 'point 9'], rotation=45)
         fig
Out[14]:

Принцип работы

# Функция plt.subplots возвращает кортеж.
 In[22]: plot_objects = plt.subplots()

 In[23]: type(plot_objects)
Out[23]: tuple

 In[24]: fig = plot_objects[0]
         ax = plot_objects[1]

# Если создано несколько осей, то второй элемент кортежа представляет собой массив NumPy, содержащий все оси.
 In[25]: plot_objects = plt.subplots(2, 4, figsize=(14, 4))

 In[26]: plot_objects[1]
Out[26]: array([[<matplotlib.axes._subplots.AxesSubplot object at 0x113eefa20>, ```
<matplotlib.axes._subplots.AxesSubplot object at 0x113f7ccc0>,
<matplotlib.axes._subplots.AxesSubplot object at 0x11413ed68>,
<matplotlib.axes._subplots.AxesSubplot object at 0x114213e48>],
[<matplotlib.axes._subplots.AxesSubplot object at 0x11424ce80>,
<matplotlib.axes._subplots.AxesSubplot object at 0x1142807b8>,
<matplotlib.axes._subplots.AxesSubplot object at 0x1142b8898>,
<matplotlib.axes._subplots.AxesSubplot object at 0x1142f2898>]], dtype=object)

# Некоторые свойства и эквивалентные им методы get
In[27]: fig.get_axes() == fig.axes
Out[27]: True

In[29]: fig.axes == fig.get_axes()
Out[29]: True

In[30]: ax.xaxis == ax.get_xaxis()
Out[30]: True

In[31]: ax.yaxis == ax.get_yaxis()
Out Out[31]: True

Больше

# Запрос всех свойств xaxis
In[15]: ax.xaxis.properties()
Out[15]: 
{'agg_filter': None,
'alpha': None,
'animated': False,
'children': [Text(0.5,22.2,'X Axis'),
Text(1,23.2,''),
<matplotlib.axis.XTick at 0x113371fd0>,
<matplotlib.axis.XTick at 0x113514240>,
<matplotlib.axis.XTick at 0x1136387b8>,
<matplotlib.axis.XTick at 0x113638f60>],
'clip_box': TransformedBbox(Bbox([[0.0, 0.0], [1.0, 1.0]]), CompositeGenericTransform(CompositeGenericTransform(BboxTransformTo(Bbox([[0.0, 0.0], [1.0, 1.0]])), Affine2D(array([[ 1.,  0.,  0.],
        [ 0.,  1.,  0.],
        [ 0.,  0.,  1.]]))), BboxTransformTo(TransformedBbox(Bbox([[0.125, 0.125], [0.9, 0.88]]), BboxTransformTo(TransformedBbox(Bbox([[0.0, 0.0], [14.0, 4.0]]), Affine2D(array([[ 72.,   0.,   0.],
        [  0.,  72.,   0.],
        [  0.,   0.,   1.]])))))))),
'clip_on': True,
'clip_path': None,
'contains': None,
'data_interval': array([ inf, -inf]),
'figure': <matplotlib.figure.Figure at 0x11332abe0>,
'gid': None,
'gridlines': <a list of 4 Line2D gridline objects>,
'label': Text(0.5,22.2,'X Axis'),
'label_position': 'bottom',
'label_text': 'X Axis',
'major_formatter': <matplotlib.ticker.ScalarFormatter at 0x113543780>,
'major_locator': <matplotlib.ticker.FixedLocator at 0x113648ba8>,
'major_ticks': [<matplotlib.axis.XTick at 0x113371fd0>,
<matplotlib.axis.XTick at 0x113514240>,
<matplotlib.axis.XTick at 0x1136387b8>,
<matplotlib.axis.XTick at 0x113638f60>],
'majorticklabels': <a list of 4 Text major ticklabel objects>,
'majorticklines': <a list of 8 Line2D ticklines objects>,
'majorticklocs': array([ 0.2 ,  0.4 ,  0.55,  0.93]),
'minor_formatter': <matplotlib.ticker.NullFormatter at 0x11341a518>,
'minor_locator': <matplotlib.ticker.NullLocator at 0x113624198>,
'minor_ticks': [],
'minorticklabels': <a list of 0 Text minor ticklabel objects>,
'minorticklines': <a list of 0 Line2D ticklines objects>,
'minorticklocs': [],
'minpos': inf,
'offset_text': Text(1,23.2,''),
'path_effects': [],
'picker': None,
'pickradius': 15,
'rasterized': None,
'scale': 'linear',
'sketch_params': None,
'smart_bounds': False,
'snap': None,
'tick_padding': 3.5,
'tick_space': 26,
'ticklabels': <a list of 4 Text major ticklabel objects>,
'ticklines': <a list of 8 Line2D ticklines objects>,
'ticklocs': array([ 0.2 ,  0.4 ,  0.55,  0.93]),
'ticks_direction': array(['out', 'out', 'out', 'out'],
       dtype='<U3'),
'ticks_position': 'bottom',
'transform': IdentityTransform(),
'transformed_clip_path_and_affine': (None, None),
'units': None,
'url': None,
'view_interval': array([ 0.,  1.]),
'visible': True,
'zorder': 1.5}

2. Визуализация данных с помощью matplotlib

# Чтение набора данных movie, вычисление медианного бюджета по годам, затем вычисление пятилетнего скользящего среднего для сглаживания данных
In[32]: movie = pd.read_csv('data/movie.csv')
med_budget = movie.groupby('title_year')['budget'].median() / 1e6
med_budget_roll = med_budget.rolling(5, min_periods=1).mean()
med_budget_roll.tail()
Out[32]: title_year
         2012.0    20.893
         2013.0    19.893
         2014.0    19.100
         2015.0    17.980
         2016.0    17.780
         Name: budget, dtype: float64

# Преобразование данных в массив NumPy
In[33]: years = med_budget_roll.index.values
years[-5:]
Out[33]: array([ 2012.,  2013.,  2014.,  2015.,  2016.])
``` **Бюджет = med_budget_roll.values**

Бюджет[-5:]  
[20,893; 19,893; 19,1; 17,98; 17,78]

**# plot方法可以用来画线图**

**In[35]: fig, ax = plt.subplots(figsize=(14,4), linewidth=5, edgecolor='.5')**
**ax.plot(years, budget, linestyle='--', linewidth=3, color='.2', label='All Movies')**
**text_kwargs=dict(fontsize=20, family='cursive')**
**ax.set_title('Median Movie Budget', **text_kwargs)**
**ax.set_ylabel('Millions of Dollars', **text_kwargs)**

Out[35]: Текст(0,0.5,'Миллионы долларов')

**# 每年的 кинопроизводство**

**In[36]: movie_count = movie.groupby('title_year')['budget'].count()**
**movie_count.tail()**

title_year
2012.0    191
2013.0    208
2014.0    221
2015.0    192
2016.0     86
Name: budget, dtype: int64

**# На основе предыдущей диаграммы, нарисуем столбчатую диаграмму, показывающую количество фильмов, выпущенных каждый год, так как большинство фильмов были выпущены в последние годы, мы установим начало года на 1970**

**In[37]: ct = movie_count.values**
**ct_norm = ct / ct.max() * budget.max()**

**fifth_year = (years % 5 == 0) & (years >= 1970)**
**years_5 = years[fifth_year]**
**ct_5 = ct[fifth_year]**
**ct_norm_5 = ct_norm[fifth_year]**

**ax.bar(years_5, ct_norm_5, 3, facecolor='.5', alpha=.3, label='Movies per Year')**
**ax.set_xlim(1968, 2017)**
**for x, y, v in zip(years_5, ct_norm_5, ct_5):**
**ax.text(x, y + .5, str(v), ha='center')**
**ax.legend()**
**fig**

**# Найти медианное значение бюджета для первых 10 фильмов каждого года за последние 5 лет**

**In[38]: top10 = movie.sort_values('budget', ascending=False)**
**.groupby('title_year')['budget']**
**.apply(lambda x: x.iloc[:10].median() / 1e6)**

**top10_roll = top10.rolling(5, min_periods=1).mean()**
**top10_roll.tail()**

title_year
2012.0    192,9
2013.0    195,9
2014.0    191,7
2015.0    186,8
2016.0    189,1
Name: бюджет, dtype: float64

**# Построить эти данные на другой диаграмме**

**In[39]: fig2, ax_array = plt.subplots(2, 1, figsize=(14,6), sharex=True)**
**ax1 = ax_array[0]**
**ax2 = ax_array[1]**

**ax1.plot(years, бюджет, linestyle='--', linewidth=3, цвет='.2', метка='Все фильмы')**
**ax1.bar(годы_5, ct_норм_5, 3, лицевая сторона='.5', альфа=.3, метка='Фильмы в год')**
**ax1.легенда(loc='верхний левый')**
**ax1.set_xlim(1968, 2017)**
**plt.setp(ax1.get_xticklines(), видимый=Ложно)**

**для x, y, v в zip(годы_5, ct_норм_5, ct_5):**
**ax1.текст(x, y + .5, ул(v), ха='центр')**

**ax2.plot(годы, топ10_ролл.значения, цвет='.2', метка='Топ-10 фильмов')**
**ax2.легенда(loc='верхний левый')**

**fig2.tight_layout()**
**fig2.suptitle('Медианный бюджет фильма', y=1.02, **text_kwargs)**
**fig2.текст(0, .6, 'Миллионы долларов', вращение='вертикальное', ха='центр', **text_kwargs)**

**импорт ОС**
**путь = os.path.expanduser('~/Desktop/movie_budget.png')**
**fig2.savefig(путь, bbox_inches='tight')**

**# Подтвердить вручную метод rolling**

**In[40]: med_бюджет_ролл.хвост()**

название_год
2012.0 20,893
2013.0 19,893
2014.0 19,100
2015.0 17,980
2016.0 17,780
Имя: бюджет, тип данных: float64

**In[41]: med_бюджет.loc[2012:2016].среднее()**
17.78

**In[42]: med_бюджет.loc[2011:2015].среднее()**
17.98

**In[43]: med_бюджет.loc[2010:2014].среднее()**
19.1

**In[44]: os.path.expanduser('~/Desktop/movie_budget.png')**
'/Users/Ted/Desktop/movie_budget.png'

**# Больше**

**In[45]: cols = ['бюджет', 'название_года', 'imdb_score', 'название фильма']**
**m = фильм[cols].dropna()**

**m['бюджет2'] = m['бюджет'] / 1е6**
**np.random.seed(0)**
**фильм_образец = m.query('название_года >= 2000').образец(100)**

**рис., топор = plt.подзаголовки(размер фигуры=(14,6))** **raise in a subsequent release. Please use .values.reshape(...) instead**

`return getattr(obj, method)(*args, **kwds)`

**Out[63]: Text(0.5, 0.98, '')**

**# 检查超出6个标准偏差的点。用一个DataFrame记录异常点。**

**In[64]:** outliers = flights.iloc[fs[fs['TIME_SCORE'] > 6].index]
outliers = outliers[['AIRLINE', 'ORG_AIR', 'DEST_AIR', 'AIR_TIME', 'DIST', 'ARR_DELAY', 'DIVERTED']]
outliers['PLOT_NUM'] = range(1, len(outliers) + 1)
outliers

**Out[64]**

**# 可以这张表的数据确定异常值。pandas提供了将表格附加于图片底部的方法。**

**In[65]:** ax = fs.plot(x='DIST', y='AIR_TIME', kind='scatter', s=1, figsize=(16, 4), table=outliers)
outliers.plot(x='DIST', y='AIR_TIME', kind='scatter', s=25, ax=ax, grid=True)

outs = outliers[['AIR_TIME', 'DIST', 'PLOT_NUM']]
for t, d, n in outs.itertuples(index=False):
    ax.text(d + 5, t + 5, str(n))

plt.setp(ax.get_xticklabels(), y=.1)
plt.setp(ax.get_xticklines(), visible=False)
ax.set_xlabel('')
ax.set_title('Flight Time vs Distance with Outliers')

**Out[65]: Text(0.5,1,'Flight Time vs Distance with Outliers') **

## **5\. 堆叠面积图，以发现趋势**

**In[66]:** meetup = pd.read_csv('data/meetup_groups.csv', parse_dates=['join_date'], index_col='join_date')
meetup.head()

**Out[66]**

**# 读取meetup_groups数据集**

**In[67]:** group_count = meetup.groupby([pd.Grouper(freq='W'), 'group']).size()
group_count.head()

**Out[67]**

**join_date   group**
2010-11-07  houstonr     5
2010-11-14  houstonr    11
2010-11-21  houstonr     2
2010-12-05  houstonr     1
2011-01-16  houstonr     2
dtype: int64

**In[68]:** gc2 = group_count.unstack('group', fill_value=0)
gc2.tail()

**Out[68]**

**In[69]:** group_total = gc2.cumsum()
group_total.tail()

**Out[69]**

**In[70]:** row_total = group_total.sum(axis='columns')
group_cum_pct = group_total.div(row_total, axis='index')
group_cum_pt.tail()

**Out[70]**

**In[71]:** ax = group_cum_pct.plot(kind='area', figsize=(18, 4), cmap='Greys', xlim=('2013-6', None), ylim=(0, 1), legend=False)
ax.figure.suptitle('Houston Meetup Groups', size=25)
ax.set_xlabel('')
ax.yaxis.tick_right()

plot_kwargs = dict(xycoords='axes fraction', size=15)
ax.annotate(xy=(.1, .7), s='R Users', color='w', **plot_kwargs)
ax.annotate(xy=(.25, .16), s='Data Visualization', color='k', **plot_kwargs)
ax.annotate(xy=(.5, .55), s='Energy Data Science', color='k', **plot_kwargs)
ax.annotate(xy=(.83, .07), s='Data Science', color='k', **plot_kwargs)
ax.annotate(xy=(.86, .78), s='Machine Learning', color='w', **plot_kwargs)

**Out[71]: Text(0.86,0.78,'Machine Learning') **

**In[72]:** pie_data = group_cum_pct.asfreq('3MS', method='bfill').tail(6).to_period('M').T
pie_data

**Out[72]**

**In[73]:** from matplotlib.cm import Greys
greys = Greys(np.arange(50,250,40))

ax_array = pie_data.plot(kind='pie', subplots=True, layout=(2,3), labels=None, autopct='%1.0f%%', pctdistance=1.22, colors=greys)
ax1 = ax_array[0, 0]
ax1.figure.legend(ax1.patches, **6. Seaborn и Pandas: различия**

pie_data.index, ncol=3) for ax in ax_array.flatten(): ax.xaxis.label.set_visible(True) ax.set_xlabel(ax.get_ylabel()) ax.set_ylabel('') ax1.figure.subplots_adjust(hspace=.3)


**Рис. 1.**

6. Seaborn和Pandas的不同点

# 读取employee数据集
 In[74]: employee = pd.read_csv('data/employee.csv', 
                                parse_dates=['HIRE_DATE', 'JOB_DATE'])
         employee.head()

Таблица 1.

	HIRE_DATE	JOB_DATE
0	2015-08-29	NaT
1	2009-03-12	NaT
2	2014-02-22	NaT
3	2013-05-23	NaT
4	2010-07-28	NaT

# 用seaborn画出每个部门的柱状图
 In[75]: import seaborn as sns
 In[76]: sns.countplot(y='DEPARTMENT', data=employee)

Рисунок 2.

# 要是用pandas来做，需要先聚合数据
 In[77]: employee['DEPARTMENT'].value_counts().plot('barh')

Рисунок 3.

# 用seaborn找到每个种族的平均工资
 In[78]: ax = sns.barplot(x='RACE', y='BASE_SALARY', data=employee)
         ax.figure.set_size_inches(16, 4)

Рисунок 4.

# 用pandas来做，需要先按照race分组
 In[79]: avg_sal = employee.groupby('RACE', sort=False)['BASE_SALARY'].mean()
         ax = avg_sal.plot(kind='bar', rot=0, figsize=(16,4), width=.8)
         ax.set_xlim(-.5, 5.5)
         ax.set_ylabel('Mean Salary')

Рисунок 5.

# seaborn还支持在分组内使用第三个参数
 In[80]: ax = sns.barplot(x='RACE', y='BASE_SALARY', hue='GENDER', 
                          data=employee, palette='Greys')
         ax.figure.set_size_inches(16,4)

Рисунок 6.

# pandas则要对race和gender同时分组，并对gender做unstack
 In[81]: employee.groupby(['RACE', 'GENDER'], sort=False)['BASE_SALARY'] \
                 .mean().unstack('GENDER') \
                 .plot(kind='bar', figsize=(16,4), rot=0,
                       width=.8, cmap='Greys')

Рисунок 7.

# 用seaborn话race和gender的盒图
 In[82]: ax = sns.boxplot(x='GENDER', y='BASE_SALARY', data=employee, hue='RACE', palette='Greys')
         ax.figure.set_size_inches(14,4)

Рисунок 8.

# pandas则要为gender创建两个独立的Axes，然后根据race画盒图
 In[83]: fig, ax_array = plt.subplots(1, 2, figsize=(14,4), sharey=True)
         for g, ax in zip(['Female', 'Male'], ax_array):
             employee.query('GENDER== @g') \
                     .boxplot(by='RACE', column='BASE_SALARY', ax=ax, rot=20)
             ax.set_title(g + ' Salary')
             ax.set_xlabel('')
         fig.suptitle('')

Рисунок 9.

# pandas也可以列表分离多个变量，但是画的图不优雅
 In[84]: ax = employee.boxplot(by=['GENDER', 'RACE'], 
                               column='BASE_SALARY', 
                               figsize=(16,4), rot=15)
         ax.figure.suptitle('')

Рисунок 10.