Эксперименты с SentencePiece

Эксперимент 1 (модели на основе subwords против моделей на основе слов)

Настройки эксперимента

• Алгоритмы сегментации:

  • SentencePiece: SentencePiece с сегментацией на основе языковой модели. (--model_type=unigram)
  • SentencePiece(BPE): SentencePiece с использованием Byte Pair Encoding. [Sennrich et al.] (--model_type=bpe)
  • Moses: токенизатор Moses для английского языка.
  • KyTea: KyTea для японского языка.
  • MeCab: MeCab для японского языка.
  • neologd: MeCab с neologd для японского языка.
  • (Moses/KyTea)+SentencePiece: Применение SentencePiece (Unigram) к предварительно токенизованным предложениям. У нас есть несколько вариантов с различными токенизаторами, например, (Moses/MeCab)+SentencePiece, (MeCab/Moses)+SentencePiece.
  • char: Разбиение предложения на символы.

• Наборы данных:

  • KFTT

• Параметры NMT: (система Google для нейронного машинного перевода применяется ко всем экспериментам.)

  • Вероятность dropout: 0.2
  • Число узлов: 512
  • Число LSTM: 6
  • Параметры декодера (α и β) оптимизируются с помощью разработочных данных.* Оценочные метрики:
  • Case-sensitive BLEU для дефрагментированного текста с использованием NIST scorer и KyTea segmenter. Используется встроенный правилом-подобный дефрагментатор для Moses/KyTea/MeCab/neologd. ### Результаты (оценки BLEU)

Английский к Японскому

Японский к английскому

• SentencePiece (Unigram/BPE) превосходит методы на основе слов (Moses/KyTea/MeCab/neologd) даже при меньшем размере словаря (10% от методов на основе слов).
• Количество символов для представления японских предложений почти одинаково между SentencePiece (unigram) и KyTea, хотя размер словаря SentencePiece значительно меньше. Это указывает на то, что SentencePiece эффективно сжимает предложения с использованием меньшего набора лексики.
• Предварительная токенизация может немного повысить значения BLEU для перевода с английского на японский. В переводе с японского на английский предварительная токенизация не помогает улучшить значение BLEU.
• Neologd показывает низкие значения BLEU. Токенизация предложений с использованием большого словаря имен существительных может оказаться неэффективной в нейронной обработке текста.
• SentencePiece(Unigram) демонстрирует немного лучший коэффициент сжатия текста по сравнению с BPE, но значительных различий в значениях BLEU нет.
• Выбор размера словаря для SentencePiece чувствителен при переводе с английского на японский. Вероятно, это связано с тем, что размер словаря будет сильно влиять на результаты токенизации в японском языке, который не имеет явных пробелов между словами.## Эксперименты 2 (токенизация на уровне подслов с различными предварительными токенизациями)

Настройки эксперимента

Мы оценили токенизацию SentencePiece с помощью следующих конфигураций.* Алгоритмы сегментации: * BPE (Byte Pair Encoding) [Sennrich et al.] (--model_type=bpe) * Unigram. Сегментация на основе языковой модели. (--model_type=unigram)* Методы претокенизации: * NoPretok: Отсутствие претокенизации. Мы обучаем SentencePiece непосредственно на основе сырого текста (--split_by_whitespace=false). * WsPretok: Обучение SentencePiece модели на основе предварительно разделённых пробелами предложений (--split_by_whitespace=true). При работе с CJK этот метод практически эквивалентен NoPretok. * MosesPretok: Обучение SentencePiece модели на основе предварительно разделённых предложениям Moses tokenizer. Для японского мы использовали KyTea, а для корейского и китайского — встроенные сегментаторы соответственно.

• Параметры NMT:

  • 16k общего словаря (словарь используется одинаково для источника и целевого текста. Мы обучаем единую модель SentencePiece путём объединения сырого текста источника и целевого текста)
  • Вероятность dropout: 0.2
  • Количество узлов: 512
  • Количество LSTM: 8

• Оценочные метрики:

  • Case-sensitive BLEU для детокенизированного текста с использованием NIST scorer.
  • Для CJK перед применением NIST scorer используются те же сегментаторы.
  • Детокенизатор не применяется для NoPretok и WsPretok, которые могут выдавать детокенизованные предложения напрямую.
  • Применяются Moses детокенизатор и встроенный правильный детокенизатор (для CJK) для MosesPretok.* Наборы данных:
  • KFTT
  • MultiUN (Первые 5 миллионов и следующие 5 тысяч/5 тысяч предложений используются для обучения и развития/тестирования соответственно.)
  • WMT16
  • Внутренние данные: (Используются 5 миллионов параллельных предложений для обучения)

NoPretok и WsPretok не используют никаких языковых зависимостей. BPE + MosePretok почти такой же конфигурацией, как в [Sennrich et al.] и [Wu et al.].

Результаты (оценки BLEU)

• Предтокенизация с пробелами является разумным выбором. Она не требует специализированных ресурсов для конкретного языка.
• Без предтокенизации показывает низкие оценки BLEU. Однографемные модели более устойчивы, чем BPE, когда нет предтокенизатора.