Пример генерации результатов

• Продолжение "Дворец битв":

  Для таких угрожающих слов, как сказанные здесь, Xiao Yan был ещё слишком молод. Если бы его духовная сила была слабее, он наверняка уже давно бы вышел вперёд.
  
  "Хаха, маленький друг, теперь что ты достиг уровня Ду Цзун, я больше не буду скрываться. Эта энергия внутри тебя должна находиться на поздней стадии Небесного царства?" Улыбнувшись, сказал Xiao Yan, после чего снова закрыл глаза и начал медитировать.
  
  Когда услышала эти слова от Xiao Yan, Xuan'er слегка прищурилась. Она знала, что в теле Xiao Yana есть странный внутренний двор, а сейчас они好不容易得到了异火，却完全无法相信。
  
  "Тогда продолжим ждать, пока они не сделают следующий ход!"
  
  Бросив взгляд, Xiao Yan изменил свои печати, и его внутренняя Ци начала бурно кипеть на поверхности его тела. Вскоре на его ладонях появились странные знаки, а черные глаза стали холодными.
  
  "Брат Xiao Yan, поздравляю вас. Все вопросы, связанные с кланом Xiao, я возьму на себя." — услышав спокойные слова Xiao Yana, лицо Xuan'er слегка изменилось, и она медленно ответила.
  
  "Я надеюсь, что ты смог бы достичь такого уровня сегодня," — улыбнулся Xiao Yan, зная, что Xuan'er имела в виду именно это.
  
  "Я знаю, что тебе не очень нравится то, что произошло с твоим телом," — глаза Xuan'er заблистали, но она не стала отрицать.

  Они好不容易得到了异火，却完全无法相信。

  "Тогда продолжим ждать, пока они не сделают следующий ход!"

  Бросив взгляд, Xiao Yan изменил свои печати, и его внутренняя Ци начала бурно кипеть на поверхности его тела. Вскоре на его ладонях появились странные знаки, а черные глаза стали холодными.

  "Брат Xiao Yan, поздравляю вас. Все вопросы, связанные с кланом Xiao, я возьму на себя." — услышав спокойные слова Xiao Yana, лицо Xuan'er слегка изменилось, и она медленно ответила.

  "Я надеюсь, что ты смог бы достичь такого уровня сегодня," — улыбнулся Xiao Yan, зная, что Xuan'er имела в виду именно это.

  "Я знаю, что тебе не очень нравится то, что произошло с твоим телом," — глаза Xuan'er заблистали, но она не стала отрицать.Лоб Xiao Yana слегка нахмурился, когда он хотел было что-то сказать, но Xiao Xuan внезапно шепнул ему:

"Я думаю, что ты боишься, что наш клан Xiao столкнётся с проблемами из-за того, что ты сказал."

Генерация древних стихотворений:

Одна жизнь проходит через четыре моря, все события остаются в вечной памяти. Бедность и болезнь не покидают нас, голод и холод делают нас самостоятельными. Ветер и снег проникают в больное тело, дождь и туман затмевают возвращение домой. Последние мысли о возвращении, пустое небо юга остается в памяти.

Бесконечность горизонта, эта ночь снова освещена осенней темнотой. Кто же разделит эту красоту? Обычно одинокие чувства всегда вызывают сожаление. Ясная луна и холодный ветер, холодная ночь и ледяной воздух. Одиноко опираясь на перила, светлое зрелище можно увидеть лишь в нескольких местах.

Горы и реки свежи после дождя, птицы поют среди деревьев после дождя. Сердце путешественника полон мечты, мирские дела кажутся более печальными. Старые глаза радуются цветам, старый год и лишний месяц делают траву более милой. Одиночество и простота сливаются с весной, кто поможет мне выпить мои печали?Чистая река окружает мой дом, осенний ветер проникает через короткую стену. Растительность и деревья создают запутанные тропинки, горы и реки становятся чистыми и светлыми. Поэзия рождает три вздоха, алкоголь пробуждает одно желание. Я также позволяю себе радость, но не могу разделить её, собираюсь записать свои мысли в монастыре.

Сегодняшний день был особенно продуктивным. Я завершил несколько важных проектов и получил множество новых идей для будущего развития. Кроме того, я встретился с несколькими коллегами и обсудил последние новости в нашей области. Мы поговорили о новых технологиях и методах работы, которые могут значительно повысить эффективность наших команд.

После рабочего дня я решил немного расслабиться и провести время со своей семьёй. Мы отправились в парк и просто прогулялись, наслаждаясь теплым вечерним воздухом. Это помогло мне успокоиться и подготовиться к следующему дню.

Мы скоро завершим обучение, поэтому давайте рассмотрим требования тех, кто занимается такой работой. Мы можем записывать эти требования, а также учиться здесь больше, так как мы всего лишь люди, которым нужна работа. Здесь также необходима профессиональная студия, а также подходящие условия для работы. В зависимости от наших предпочтений, зарплата сотрудников компании выше других требований, поэтому требования компании превышают требования нашего рабочего места. Наше представление о нашей работе должно быть новым, поскольку наши требования превышают требования нашего рабочего места. Если вы...```### Введение

Реализовано использование Transformer XL для задач генерации текста, код основан на https://github.com/kimiyoung/transformer-xl. Для начала работы рекомендую ознакомиться с этим репозиторием. Основные изменения внесены в следующих местах:

• Исходный код содержал только тренировочные и тестовые части, была добавлена часть для вывода прогнозов (inference), что реализовано в модификациях файла train_gpu.
• Добавлены скрипты для визуализации каждого уровня внимания и просмотра каждого результата-кандидата, находятся в файле visualize_attention.py.
• В модели добавлена возможность вывода прогнозов, подробнее в функциях файла model.py.

Требования

Python 3; TensorFlow >=1.12.0

Использование

• Пример использования для обучения на основе романов, аналогично можно использовать для других типов данных, для стихов используйте shi_base_gpu, а для повседневных тем — zhihu_base_gpu (в каталоге tf).

  Сначала подготовьте данные, параметры регулируются в файле doupo_base_gpu.

  bash scripts/doupo_base_gpu.sh train_data

  Обучение:

  bash scripts/doupo_base_gpu.sh train

  Вывод прогнозов:

  bash scripts/doupo_base_gpu.sh inference

  (Не забудьте изменить имя набора данных в строке 504 файла train_gpu.py.)

Внедрение новых данных для обучения (для китайского языка, если требуется обучение на английском, просто замените vocabulary.py на old_vocabulary.py в каталоге tf)

```+ Создайте новый каталог в папке data, назовите его как вам угодно, затем переименуйте ваши тренировочные данные в `train.txt` и `valid.txt`.

• Создайте новый bash-скрипт в каталоге tf/scripts, названия могут быть произвольными, начните с копирования существующего скрипта и замените пути на новые, также измените остальные соответствующие имена.
• Выполните команду bash scripts/[новый bash-скрипт] train_data в каталоге tf.
• Затем выполните команду bash scripts/[новый bash-скрипт] train для обучения.
• Наконец, выполните команду bash scripts/[новый bash-скрипт] inference для тестирования.

Визуализация внимания для каждого head и каждого слоя,

в функции inference файла train_gpu.py указаны места для визуализации, помеченные todo, по умолчанию это 10 голов и 16 слоёв, при необходимости измените соответствующие значения в файле visualize_attention.py. Пример визуализации:

(Извините, не знаю, как вставить фотографии... /(_(ツ)_/)\) Посмотреть можно в каталоге tf/attention_pic.