@misc{zhang2019pegasus,
    title={PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization},
    author={Jingqing Zhang and Yao Zhao and Mohammad Saleh and Peter J. Liu},
    year={2019},
    eprint={1912.08777},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

gcloud compute instances create \
  ${VM_NAME} \
  --zone=${ZONE} \
  --machine-type=n1-highmem-8 \
  --accelerator type=nvidia-tesla-v100,count=1 \
  --boot-disk-size=500GB \
  --image-project=ml-images \
  --image-family=tf-1-15 \
  --maintenance-policy TERMINATE --restart-on-failure

git clone https://github.com/google-research/pegasus
cd pegasus
export PYTHONPATH=.
pip3 install -r requirements.txt

mkdir ckpt
gsutil cp -r gs://pegasus_ckpt/ ckpt/

python3 pegasus/bin/train.py --params=aeslc_transformer **Перевод текста на русский язык:**

--param_overrides=vocab_filename=ckpt/pegasus_ckpt/c4.unigram.newline.10pct.96000.model \
--train_init_checkpoint=ckpt/pegasus_ckt/model.ckpt-1500000 \
--model_dir=ckpt/pegasus_ckpt/aeslc

Если вы хотите провести тонкую настройку на подмножестве набора данных, обратитесь к [примеру входного шаблона](https://github.com/google-research/pegasus/blob/master/pegasus/data/datasets.py#L186).

Оцените на настроенном наборе данных.

Обратите внимание, что в приведённом выше примере используется один графический процессор, поэтому размер пакета намного меньше, чем результаты, представленные в статье.

## Добавить новый набор данных для тонкой настройки

Поддерживаются два типа форматов наборов данных: [TensorFlow Datasets (TFDS)](https://www.tensorflow.org/datasets) или TFRecords.

[Этот учебник](https://www.tensorflow.org/datasets/add_dataset) показывает, как добавить новый набор данных в TFDS. (Ожидается, что набор данных для точной настройки будет контролируемым, пожалуйста, предоставьте `supervised_keys` в информации о наборе данных).

Формат Tfrecords требует, чтобы каждая запись была tf-примером `{"inputs":tf.string, "targets":tf.string}`.

Например, если вы зарегистрировали набор данных TFDS под названием `new_tfds_dataset` для обучения и оценки, и у вас есть некоторые файлы в формате tfrecord под названием `new_dataset_files.tfrecord*` для теста, они могут быть зарегистрированы в `/pegasus/params/public_params.py`.

## Метрики оценки

Результаты оценки можно найти в `mode_dir`. Для каждой точки оценки автоматически рассчитываются метрики суммирования.

-   [ROUGE](https://www.aclweb.org/anthology/W04-1013.pdf) является основной метрикой качества суммирования.
-   [BLEU](https://www.aclweb.org/anthology/P02-1040.pdf) — альтернативная метрика качества для генерации языка.
-   [Охват и плотность экстракционных фрагментов](https://arxiv.org/pdf/1804.11283.pdf) являются метриками, которые измеряют абстрактность резюме.
-   Частота повторения измеряет режимы отказа генерации повторений.
-   Статистика длины измеряет распределение длины декодирования по сравнению с золотым резюме.

В `model_dir` можно найти несколько типов выходных файлов:

-   text_metrics-*.txt: указанные выше метрики в текстовом формате. Каждая строка содержит название метрики, значение нижней границы 95%, среднее значение, значение верхней границы 95%.
-   inputs-*.txt, targets-*.txt, predictions-*.txt: необработанные текстовые файлы входных данных модели/выходов.

# Предварительное обучение

Предварительное обучение (на C4 или любом другом корпусе) требует специально созданного тензорного потока, который включает операции для синтаксического анализа «на лету», который обрабатывает необработанный текстовый документ во входные данные модели и идентификаторы целей. Пожалуйста, обратитесь к pegasus/ops/pretrain_parsing_ops.cc и pegasus/data/parsers.py для получения подробной информации.

# Благодарности
Содержит части кода и дизайна для обучения и оценки моделей суммирования, первоначально созданные Беном Гудричем <bgoodrich@google.com>.