6-5, Использование TPU для тренировки модели

Если вы хотите попробовать использовать TPU в Google Colab для тренировки модели, это также очень удобно, нужно всего лишь добавить 6 строк кода.

В ноутбуке Colab: «Изменить» → «Настройки ноутбука» → «Аппаратный ускоритель», выбрать TPU.

Примечание: следующий код может быть выполнен только в Colab.

Вы можете протестировать эффект через следующую ссылку Colab «tf_TPU»:

https://colab.research.google.com/drive/1XCIhATyE1R7lq6uwFlYlRsUr5d9_-r1s

%tensorflow_version 2.x
import tensorflow as tf
print(tf.__version__)
from tensorflow.keras import *

1. Подготовка данных

MAX_LEN = 300
BATCH_SIZE = 32
(x_train,y_train),(x_test,y_test) = datasets.reuters.load_data()
x_train = preprocessing.sequence.pad_sequences(x_train,maxlen=MAX_LEN)
x_test = preprocessing.sequence.pad_sequences(x_test,maxlen=MAX_LEN)

MAX_WORDS = x_train.max()+1
CAT_NUM = y_train.max()+1

ds_train = tf.data.Dataset.from_tensor_slices((x_train,y_train)) \
          .shuffle(buffer_size = 1000).batch(BATCH_SIZE) \
          .prefetch(tf.data.experimental.AUTOTUNE).cache()
   
ds_test = tf.data.Dataset.from_tensor_slices((x_test,y_test)) \
          .shuffle(buffer_size = 1000).batch(BATCH_SIZE) \
          .prefetch(tf.data.experimental.AUTOTUNE).cache()

2. Определение модели

tf.keras.backend.clear_session()
def create_model():
    
    model = models.Sequential()

    model.add(layers.Embedding(MAX_WORDS,7,input_length=MAX_LEN))
    model.add(layers.Conv1D(filters = 64,kernel_size = 5,activation = "relu"))
    model.add(layers.MaxPool1D(2))
    model.add(layers.Conv1D(filters = 32,kernel_size = 3,activation = "relu"))
    model.add(layers.MaxPool1D(2))
    model.add(layers.Flatten())
    model.add(layers.Dense(CAT_NUM,activation = "softmax"))
    return(model)

def compile_model(model):
    model.compile(optimizer=optimizers.Nadam(),
                loss=losses.SparseCategoricalCrossentropy(from_logits=True),
                metrics=[metrics.SparseCategoricalAccuracy(),metrics.SparseTopKCategoricalAccuracy(5)]) 
    return(model)

3. Тренировка модели

#Добавить следующие 6 строк кода
import os
resolver = tf.distribute.cluster_resolver.TPUClusterResolver(tpu='grpc://' + os.environ['COLAB_TPU_ADDR'])
tf.config.experimental_connect_to_cluster(resolver)
tf.tpu.experimental.initialize_tpu_system(resolver)
strategy = tf.distribute.experimental.TPUStrategy(resolver)
with strategy.scope():
    model = create_model()
    model.summary()
    model = compile_model(model)

ВНИМАНИЕ:tensorflow:Система TPU 10.26.134.242:8470 уже была инициализирована. Повторная инициализация TPU может привести к потере ранее созданных переменных на TPU.
ВНИМАНИЕ:tensorflow:Система TPU 10.26.134.242:8470 уже была инициализирована. Повторная инициализация TPU может привести к потере ранее созданных переменных на TPU.
ИНФОРМАЦИЯ:tensorflow:Инициализация системы TPU: 10.26.134.242:8470
ИНФОРМАЦИЯ:tensorflow:Инициализация системы TPU: 10.26.134.242:8470
ИНФОРМАЦИЯ:tensorflow:Очистка быстрых кэшей
ИНФОРМАЦИЯ:tensorflow:Очистка быстрых кэшей
ИНФОРМАЦИЯ:tensorflow:Завершена инициализация системы TPU.
ИНФОРМАЦИЯ:tensorflow:Завершена инициализация системы TPU.
ИНФОРМАЦИЯ:tensorflow:Найдена система TPU:
ИНФОРМАЦИЯ:tensorflow:Найдена система TPU:
ИНФОРМАЦИЯ:tensorflow:*** Число ядер TPU: 8
ИНФОРМАЦИЯ:tensorflow:*** Число ядер TPU: 8
ИНФОРМАЦИЯ:tensorflow:*** Количество работников TPU: 1
ИНФОРМАЦИЯ:tensorflow:*** Количество работников TPU: 1
ИНФОРМАЦИЯ:tensorflow:*** Ядер TPU на одного работника: 8
ИНФОРМАЦИЯ:tensorflow:*** Ядер TPU на одного работника: 8
ИНФОРМАЦИЯ:tensorflow:*** Доступное устройство: _DeviceAttributes(/job:localhost/replica:0/task:0/device:CPU:0, CPU, 0, 0)
ИНФОРМАЦИЯ:tensorflow:*** Доступное устройство: _DeviceAttributes(/job:localhost/replica:0/task:0/device:CPU:0, CPU, 0, 0)
ИНФОРМАЦИЯ:tensorflow:*** Доступное устройство: _DeviceAttributes(/job:localhost/replica:0/task:0/device:XLA_CPU:0, XLA_CPU, 0, 0)
ИНФОРМАЦИЯ:tensorflow:*** Доступное устройство: _DeviceAttributes(/job:localhost/replica:0/task:0/device:XLA_CPU:0, XLA_CPU, 0, 0)
ИНФОРМАЦИЯ:tensorflow:*** Доступное устройство: _DeviceAttributes(/job:worker/replica:0/task:0/device:CPU:0, CPU, 0, 0)
ИНФОРМАЦИЯ:tensorflow:*** Доступное устройство: _DeviceAttributes(/job:worker/replica:0/task:0/device:CPU:0, CPU, 0, 0)
ИНФОРМАЦИЯ:tensorflow:*** Доступное устройство: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:0, TPU, 0, 0)
ИНФОРМАЦИЯ:tensorflow:*** Доступное устройство: ```
_DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:0, TPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:1, TPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:1, TPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:2, TPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:2, TPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:3, TPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:3, TPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:4, TPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:4, TPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:5, TPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:5, TPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:6, TPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:6, TPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:7, TPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:7, TPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU_SYSTEM:0, TPU_SYSTEM, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU_SYSTEM:0, TPU_SYSTEM, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:XLA_CPU:0, XLA_CPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:XLA_CPU:0, XLA_CPU, 0, 0)
Model: "sequential"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
embedding (Embedding)        (None, 300, 7)            216874    
_________________________________________________________________
conv1d (Conv1D)              (None, 296, 64)           2304      
_________________________________________________________________
max_pooling1d (MaxPooling1D) (None, 148, 64)           0         
_________________________________________________________________
conv1d_1 (Conv1D)            (None, 146, 32)           6176      
_________________________________________________________________
max_pooling1d_1 (MaxPooling1 (None, 73, 32)            0         
_________________________________________________________________
flatten (Flatten)            (None, 2336)              0         
_________________________________________________________________
dense (Dense)                (None, 46)                107502    
=================================================================
Total params: 332,856
Trainable params: 332,856
Non-trainable params: 0
_________________________________________________________________

history = model.fit(ds_train,validation_data = ds_test,epochs = 10)

Обучаемся 281 шаг, валидируем 71 шаг
Эпоха 1/10
281/281 [==============================] - 12s 43ms/step - потеря: 3.4466 - sparse_categorical_accuracy: 0.4332 - sparse_top_k_categorical_accuracy: 0.7180 - val_loss: 3.3179 - val_sparse_categorical_accuracy: 0.5352 - val_sparse_top_k_categorical_accuracy: 0.7195
Эпоха 2/10
281/281 [==============================] - 6s 20ms/step - потеря: 3.3251 - sparse_categorical_accuracy: 0.5405 - sparse_top_k_categorical_accuracy: 0.7302 - val_loss: 3.3082 - val_sparse_categorical_accuracy: 0.5463 - val_sparse_top_k_categorical_accuracy: 0.7235
Эпоха 3/10
281/281 ```
[==============================] - 6с 20мс/шаг - потеря: 3.2961 - sparse_categorical_accuracy: 0.5729 - sparse_top_k_categorical_accuracy: 0.7280 - val_loss: 3.3026 - val_sparse_categorical_accuracy: 0.5499 - val_sparse_top_k_categorical_accuracy: 0.7217
Эпоха 4/10
281/281 [==============================] - 5с 19мс/шаг - потеря: 3.2751 - sparse_categorical_accuracy: 0.5924 - sparse_top_k_categorical_accuracy: 0.7276 - val_loss: 3.2957 - val_sparse_categorical_accuracy: 0.5543 - val_sparse_top_k_categorical_accuracy: 0.7217
Эпоха 5/10
281/281 [==============================] - 5с 19мс/шаг - потеря: 3.2655 - sparse_categorical_accuracy: 0.6008 - sparse_top_k_categorical_accuracy: 0.7290 - val_loss: 3.3022 - val_sparse_categorical_accuracy: 0.5490 - val_sparse_top_k_categorical_accuracy: 0.7231
Эпоха 6/10
281/281 [==============================] - 5с 19мс/шаг - потеря: 3.2616 - sparse_categorical_accuracy: 0.6041 - sparse_top_k_categorical_accuracy: 0.7295 - val_loss: 3.3015 - val_sparse_categorical_accuracy: 0.5503 - val_sparse_top_k_categorical_accuracy: 0.7235
Эпоха 7/10
281/281 [==============================] - 6с 21мс/шаг - потеря: 3.2595 - sparse_categorical_accuracy: 0.6059 - sparse_top_k_categorical_accuracy: 0.7322 - val_loss: 3.3064 - val_sparse_categorical_accuracy: 0.5454 - val_sparse_top_k_categorical_accuracy: 0.7266
Эпоха 8/10
281/281 [==============================] - 6с 21мс/шаг - потеря: 3.2591 - sparse_categorical_accuracy: 0.6063 - sparse_top_k_categorical_accuracy: 0.7327 - val_loss: 3.3025 - val_sparse_categorical_accuracy: 0.5481 - val_sparse_top_k_categorical_accuracy: 0.7231
Эпоха 9/10
281/281 [==============================] - 5с 19мс/шаг - потеря: 3.2588 - sparse_categorical_accuracy: 0.6062 - sparse_top_k_categorical_accuracy: 0.7332 - val_loss: 3.2992 - val_sparse_categorical_accuracy: 0.5521 - val_sparse_top_k_categorical_accuracy: 0.7257
Эпоха 10/10
281/281 [==============================] - 5с 18мс/шаг - потеря: 3.2577 - sparse_categorical_accuracy: 0.6073 - sparse_top_k_categorical_accuracy: 0.7363 - val_loss: 3.2981 - val_sparse_categorical_accuracy: 0.5516 - val_sparse_top_k_categorical_accuracy: 0.7306
Время процессора: пользователь 18,9 с, система: 3,86 с, всего: 22,7 с
Общее время: 1 мин 1 с

Если есть необходимость дальнейшего обсуждения содержания этой книги с автором, пожалуйста, оставьте комментарий в публичном аккаунте «Алгоритмная кухня». Автор ответит по мере возможности.

Также можно написать в фоновом режиме публичного аккаунта ключевое слово: присоединиться, чтобы присоединиться к группе читателей и обсудить с ними.

![Алгоритмная кухня QR-код.jpg](./data/Алгоритмная кухня QR-код.jpg)

OSCHINA-MIRROR/Python_Ai_Road-eat_tensorflow2_in_30_days

6-5, Использование TPU для тренировки модели

1. Подготовка данных

2. Определение модели

3. Тренировка модели

Опубликовать ( 0 )

Введение

Обновления

Участники

Недавние действия

OSCHINA-MIRROR/Python_Ai_Road-eat_tensorflow2_in_30_days .gitee-modal { min-width: 500px !important; } .gitee-modal .close { right: 0.6rem !important; }

6-5, Использование TPU для тренировки модели

1. Подготовка данных

2. Определение модели

3. Тренировка модели

Опубликовать ( 0 )

Введение

Обновления

Участники

Недавние действия

OSCHINA-MIRROR/Python_Ai_Road-eat_tensorflow2_in_30_days