GPT2 для нескольких языков

GPT2 для нескольких языков

中文说明 | English

• Скрипты обучения Simplifed GPT2 (на основе Grover, поддержка TPU)
• Перенесённый токенизатор bert, совместим с многоязычным корпусом
• 1,5 млрд предварительно обученная китайская модель GPT2 (~15 ГБ корпус, 10 тыс. шагов)
• Демо Colab с батарейками в комплекте #
• 1,5 млрд предварительно обученная китайская модель GPT2 (~50 ГБ корпус, 100 тыс. шагов)

Предварительно обученная модель

1,5 млрд предварительно обученная китайская модель GPT2 [Google Drive]

SHA256: 4a6e5124df8db7ac2bdd902e6191b807a6983a7f5d09fb10ce011f9a073b183e

Корпус из THUCNews и nlp_chinese_corpus

Использование Cloud TPU Pod v3-256 для обучения 10 тысяч шагов

Google Colab

Всего 2 клика (не считая процесса аутентификации Colab), и демо с предварительно обученной китайской моделью на 1,5 миллиарда готово к работе:

[Colab Notebook]

Обучение

Отказ от ответственности

Содержимое этого репозитория предназначено для академических исследований, и мы не предоставляем никаких окончательных замечаний.

Цитирование

@misc{GPT2-ML,
  author = {Zhibo Zhang},
  title = {GPT2-ML: GPT-2 for Multiple Languages},
  year = {2019},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/imcaspar/gpt2-ml}},
}

Ссылка

https://github.com/google-research/bert

https://github.com/rowanz/grover

Исследование поддержано облачными TPU от Google TensorFlow Research Cloud (TFRC).