GPT2 для нескольких языков

中文说明 | English

• Упрощение и организация кода для обучения GPT2 (на основе Grover, с поддержкой TPUs).
• Перенос токенизатора bert, добавление поддержки нескольких языков.
• 15 млрд параметров: китайская предварительно обученная модель GPT2 (15G корпус, обучение 10w шагов).
• Демо модели с готовым эффектом использования (открывается в Google Colab).
• 15 млрд параметров: китайская предварительно обученная модель GPT2 (50G корпус, обучение 100w шагов, ожидается к выпуску в декабре).

Предварительно обученные модели

Китайская предварительно обученная модель с 15 миллиардами параметров доступна для скачивания по ссылке:

[Google Drive скачать] (https://drive.google.com/file/d/1IzWpQ6I2IgfV7CldZvFJnZ9byNDZdO4n)

SHA256: 4a6e5124df8db7ac2bdd902e6191b807a6983a7f5d09fb10ce011f9a073b183e

Корпус для обучения взят из THUCNews и nlp_chinese_corpus и после очистки составляет около 15 ГБ текста.

Модель была обучена на Cloud TPU Pod v3-256 (https://cloud.google.com/tpu/docs/types-zones#types) за 10 тысяч шагов.

Google Colab

Чтобы испытать эффект от китайской предварительно обученной модели с 15 миллиардами параметров, достаточно дважды кликнуть мышкой (не считая процесса авторизации в Colab):

[Colab Notebook] (https://colab.research.google.com/github/imcaspar/gpt2-ml/blob/master/pretrained_model_demo.ipynb)

Обучение

Отказ от ответственности

Содержание этого проекта предназначено только для технических исследований и не должно использоваться в качестве вывода.

Цитирование

@misc{GPT2-ML,
  author = {Zhibo Zhang},
  title = {GPT2-ML: GPT-2 for Multiple Languages},
  year = {2019},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/imcaspar/gpt2-ml}},
}

Ссылки

https://github.com/google-research/bert

https://github.com/rowanz/grover

Исследование поддержано облачными TPU от TensorFlow Research Cloud (TFRC) Google.