BART (модель большого размера)

Модель BART предварительно обучена на английском языке. Она была представлена в статье «BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension» Льюиса и др. и впервые выпущена в этом репозитории.

Отказ от ответственности: команда, выпустившая BART, не писала карточку модели для этой модели, поэтому эта карточка модели была написана командой Hugging Face.

Описание модели

BART — это модель кодировщика-декодера на основе трансформера с двунаправленным (похожим на BERT) кодировщиком и авторегрессивным (похожим на GPT) декодером. BART предварительно обучается путём (1) искажения текста произвольной функцией шума и (2) обучения модели восстанавливать исходный текст.

BART особенно эффективна при точной настройке для генерации текста (например, обобщение, перевод), но также хорошо работает для задач понимания (например, классификация текста, ответы на вопросы).

Предполагаемое использование и ограничения

Вы можете использовать необработанную модель для заполнения текста. Однако модель в основном предназначена для точной настройки на контролируемом наборе данных. См. хаб моделей, чтобы найти точно настроенные версии для интересующей вас задачи.

Как использовать

Вот как использовать эту модель в PyTorch:

from transformers import BartTokenizer, BartModel

tokenizer = BartTokenizer.from_pretrained('facebook/bart-large')
model = BartModel.from_pretrained('facebook/bart-large')

inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
outputs = model(**inputs)

last_hidden_states = outputs.last_hidden_state

BibTeX запись и информация о цитировании

@article{DBLP:journals/corr/abs-1910-13461,
  author    = {Mike Lewis and
               Yinhan Liu and
               Naman Goyal and
               Marjan Ghazvininejad and
               Abdelrahman Mohamed and
               Omer Levy and
               Veselin Stoyanov and
               Luke Zettlemoyer},
  title     = {{BART:} Denoising Sequence-to-Sequence Pre-training for Natural Language
               Generation, Translation, and Comprehension},
  journal   = {CoRR},
  volume    = {abs/1910.13461},
  year      = {2019},
  url       = {http://arxiv.org/abs/1910.13461},
  eprinttype = {arXiv},
  eprint    = {1910.13461},
  timestamp = {Thu, 31 Oct 2019 14:02:26 +0100},
  biburl    = {https://dblp.org/rec/journals/corr/abs-1910-13461.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}