ESPnet: end-to-end speech processing toolkit

Система / PyTorch версия	1.12.1	1.13.1	2.0.1	2.1.0
Ubuntu / Python 3.10 / pip
Ubuntu / Python 3.9 / pip
Ubuntu / Python 3.8 / pip
Ubuntu / Python 3.7 / pip
Debian 11 / Python 3.10 / conda
CentOS 7 / Python 3.10 / conda
Windows / Python 3.10 / pip
macOS / Python 3.10 / pip
macOS / Python 3.10 / conda

ESPnet — это комплексный инструментарий для обработки речи, охватывающий распознавание речи, синтез речи, перевод речи, улучшение речи, разделение речи по дикторам, понимание разговорной речи и т. д.

ESPnet использует PyTorch в качестве движка глубокого обучения, а также следует стилю обработки данных Kaldi, формату извлечения/представления признаков и рецептам для обеспечения полной настройки различных экспериментов по обработке речи.

Серия учебных пособий

• Учебное пособие 2019 года на Interspeech:
  • Материал: https://github.com/espnet/interspeech2019-tutorial.
• Учебное пособие 2021 года в CMU:
  • Онлайн-видео: https://youtu.be/2mRz3wH1vd0.
  • Материал: https://colab.research.google.com/github/espnet/notebook/blob/master/espnet2_tutorial_2021_CMU_11751_18781.ipynb.
• Учебное пособие 2022 года в CMU:
  • Использование ESPnet (на примере распознавания речи):
    • Онлайн-видео: https://youtu.be/YDN8cVjxSik.
    • Материал: https://colab.research.google.com/github/espnet/notebook/blob/master/espnet2_recipe_tutorial_CMU_11751_18781_Fall2022.ipynb.
  • Добавление новых моделей/задач в ESPnet:
    • Онлайн-видео: https://youtu.be/Css3XAes7SU.
    • Материал: https://colab.research.google.com/github/espnet/notebook/blob/master/espnet2_new_task_tutorial_CMU_11751_18781_Fall2022.ipynb.

Основные функции

Стиль Kaldi с полным рецептом

• Поддержка множества рецептов ASR (WSJ, Switchboard, CHiME-4/5, Librispeech, TED, CSJ, AMI, HKUST, Voxforge, REVERB, Gigaspeech и др.).
• Поддержка множества рецептов TTS (LJSpeech, LibriTTS, M-AILABS и др.) аналогично рецептам ASR.
• Поддержка множества ST-рецептов (Fisher-CallHome Spanish, Libri-trans, IWSLT'18, How2, Must-C, Mboshi-French и др.).
• Поддержка множества MT-рецептов (IWSLT'14, IWSLT'16, вышеупомянутые ST-рецепты и др.).
• Поддержка множества SLU-рецептов (CATSLU-MAPS, FSC, Grabo, IEMOCAP, JDCINAL, SNIPS, SLURP, SWBD-DA и др.).
• Поддержка множества SE/SS-рецептов (DNS-IS2020, LibriMix, SMS-WSJ, VCTK-noisyreverb, WHAM!, WHAMR!, WSJ-2mix и др.).
• Поддержка рецепта преобразования голоса (VCC2020 baseline).
• Поддержка рецепта разделения речи по дикторам (mini_librispeech, librimix).
• Поддержка рецепта синтеза поющего голоса (ofuton_p_utagoe_db, opencpop, m4singer и др.).

Распознавание речи (ASR)

• Передовое качество в нескольких тестах ASR (сопоставимое или превосходящее гибридные DNN/HMM и CTC).
• Гибридное распознавание речи CTC/внимание на основе сквозного распознавания речи:
  • Быстрая и точная тренировка с многозадачным обучением CTC/внимания.
  • Совместное декодирование CTC/внимания для улучшения монотонного выравнивания при декодировании.
  • Кодер: VGG-подобная CNN + BiRNN (LSTM/GRU), субдискретизированная BiRNN (LSTM/GRU), Transformer, Conformer, Branchformer или E-Branchformer.
  • Декодер: RNN (LSTM/GRU), Transformer или S4.
  • Внимание: точечное произведение, пространственно-зависимое внимание, варианты многоголового внимания.
  • Включение RNNLM/LSTMLM/TransformerLM/N-грамм, обученных только на текстовых данных.
  • Пакетное декодирование GPU.
  • Увеличение данных.
• Распознавание речи на основе преобразователя:
  • Архитектура: пользовательский кодер, поддерживающий RNNs, Conformer, Branchformer (с вариантами), 1D Conv / TDNN; декодер с параметрами, общими для блоков, поддерживающих RNN, без состояния с 1D Conv, MEGA и RWKV.
  • Алгоритмы поиска: жадный поиск, ограниченный одним излучением за временной шаг; алгоритм поиска луча по умолчанию [[Graves, 2012]] без префиксного поиска; синхронное декодирование с выравниванием по длине [[Saon et al., 2017]]. Системы распознавания и синтеза речи ESPnet2

1. Распознавание речи (ASR)
   • Синхронное декодирование по времени (Time Synchronous Decoding).
   • N-шаговый ограниченный поиск луча, модифицированный из работы Kim et al., 2020.
   • Модифицированный адаптивный поиск с расширением на основе Kim et al., 2021, и NSC.

• Особенности:
  • Унифицированный интерфейс для офлайн- и потокового распознавания речи.
  • Многозадачное обучение с различными вспомогательными потерями:
    • Кодер: CTC, вспомогательный преобразователь и симметричная дивергенция KL.
    • Декодер: перекрёстная энтропия с сглаживанием меток.
  • Трансферное обучение с акустической моделью и/или языковой моделью.
  • Обучение с методом регуляризации FastEmit Yu et al., 2021.

Пожалуйста, обратитесь к странице учебника для получения полной документации.

• Сегментация CTC.

• Модель без авторегрессии на основе Mask-CTC.

• Примеры ASR для поддержки документации исчезающих языков (подробности см. в egs/puebla_nahuatl и egs/yoloxochitl_mixtec).

• Предварительно обученная модель Wav2Vec2.0 в качестве кодера, импортированная из FairSeq.

• Самостоятельное обучение представлениям в качестве признаков с использованием восходящих моделей в S3PRL во внешнем интерфейсе.

  • Установите для frontend значение s3prl.
  • Выберите любую восходящую модель, установив для frontend_conf соответствующее имя.

• Трансфертное обучение:

  • Простота использования и перенос от моделей, ранее обученных вашей группой, или моделей из репозитория ESPnet Hugging Face.
  • Документация и игрушечный пример, который можно запустить в colab.

• Потоковое распознавание речи с помощью Transformer/Conformer ASR с блочным синхронным поиском луча.

• Ограниченное самовнимание на основе Longformer в качестве кодировщика для длинных последовательностей.

• Модель OpenAI Whisper, надёжное распознавание речи на основе крупномасштабного слабоконтролируемого многозадачного обучения.

Демонстрация:

• Демонстрация в реальном времени с ESPnet2.
• Веб-демонстрация Gradio на Hugging Face Spaces. Посмотрите веб-демонстрацию.
• Локальная демонстрация потокового распознавания речи с ESPnet2.

TTS: Синтез речи

2. Синтез речи (TTS)

• Архитектура:
  • Tacotron2.
  • Transformer-TTS.
  • FastSpeech.
  • FastSpeech2.
  • Conformer FastSpeech & FastSpeech2.
  • VITS.
  • JETS.
• Расширение для нескольких динамиков и языков:
  • Предварительно обученное встраивание динамиков (например, X-вектор).
  • Встраивание идентификатора динамика.
  • Встраивание языка.
  • Глобальное стилевое токеновое (GST) встраивание.
  • Сочетание вышеперечисленных вложений.
• Сквозное обучение:
  • Сквозная модель text2wav (например, VITS, JETS и т. д.).
  • Совместное обучение text2mel и вокодера.
• Поддержка различных языков:
  • En / Jp / Zn / De / Ru и другие.
• Интеграция с нейронными вокодерами:
  • Parallel WaveGAN.
  • MelGAN.
  • Multi-band MelGAN.
  • HiFiGAN.
  • StyleMelGAN.
  • Комбинации вышеперечисленных моделей.

Демонстрация:

• Демо в реальном времени с ESPnet2.
• Интегрировано с Hugging Face Spaces с Gradio. Смотрите демо. Пространства](https://img.shields.io/badge/%F0%9F%A4%97%20Hugging%20Face-Spaces-blue)](https://huggingface.co/spaces/akhaliq/ESPnet2-TTS)

Для обучения нейронного вокодера проверьте следующие репозитории:

• kan-bayashi/ParallelWaveGAN;
• r9y9/wavenet_vocoder.

SE: улучшение и разделение речи

• Улучшение речи одного говорящего;
• Разделение речи нескольких говорящих;
• Объединённая структура кодировщика-разделителя-декодировщика для моделей в частотной и временной областях:
  • Кодировщик/декодировщик: STFT/iSTFT, свёртка/транспонированная свёртка;
  • Разделители: BLSTM, Transformer, Conformer, TasNet, DPRNN, SkiM, SVoice, DC-CRN, DCCRN, Deep Clustering, Deep Attractor Network, FaSNet, iFaSNet, Neural Beamformers и др.
• Гибкая интеграция ASR: работа как отдельная задача или как интерфейс ASR;
• Простота импорта предварительно обученных моделей из Asteroid: поддерживаются как предварительно обученные модели из Asteroid, так и специфическая конфигурация.

Демонстрация:

• Интерактивная демонстрация SE с ESPnet2 ;
• Демонстрация потоковой передачи SE с ESPnet2 .

ST: перевод речи и MT: машинный перевод

• Передовые показатели в нескольких тестах ST (сопоставимы/превосходят каскадные ASR и MT);
• Новый! Трансформер-основанный сквозной ST;
• Новый! Трансформер-основанный сквозной MT.

VC: преобразование голоса

• Трансформер и Tacotron2-основанное параллельное VC с использованием спектрограммы Mel;
• Сквозное VC на основе каскадных ASR+TTS (базовая система для Voice Conversion Challenge 2020!).

SLU: понимание разговорной речи

Архитектура:

• Трансформер-основанный кодировщик;
• Конформер-основанный кодировщик;
• Основанный на Branchformer кодировщик;
• Основанный на E-Branchformer кодировщик;
• RNN-основанный декодер;
• Трансформер-основанный декодер. Поддержка многозадачности с ASR: предсказание как намерения, так и расшифровки ASR. Поддержка многозадачности с NLU: двухпроходная модель на основе делиберационного кодировщика. Использование предварительно обученных моделей ASR: Hubert, Wav2vec2, VQ-APC, TERA и др. Использование предварительно обученных NLP-моделей: BERT, MPNet и др. Различные языки поддержки: En, Jp, Zn, Nl и др. Поддержка использования контекста из предыдущих высказываний. Поддержка использования других задач, таких как SE, в конвейерном режиме. Поддержка двухпроходного SLU, который объединяет аудио и расшифровку ASR. Демонстрация:
• Выполнение шумного понимания разговорной речи с помощью модели улучшения речи, за которой следует модель понимания разговорной речи. ;
• Выполнение двухпроходного понимания разговорной речи, где вторая проходная модель учитывает как акустическую, так и семантическую информацию. ;
• Интеграция с Hugging Face Spaces с Gradio. Смотрите демонстрацию SLU на нескольких языках: . SUM: Speech Summarization

• End to End Speech Summarization Recipe for Instructional Videos using Restricted Self-Attention [Sharma et al., 2022]

SVS: Singing Voice Synthesis

• Framework merge from Muskits
• Architecture
  • RNN-based non-autoregressive model
  • Xiaoice
  • Tacotron-singing
  • DiffSinger (в процессе разработки)
  • VISinger
  • VISinger 2 (его вариации с различными архитектурами вокодеров)
• Поддержка многопользовательского и многоязычного синтеза пения
  • Встраивание идентификатора говорящего
  • Встраивание языкового идентификатора
• Различная языковая поддержка
  • Jp / En / Kr / Zh
• Тесная интеграция с нейронными вокодерами (такими же, как TTS)

SSL: Самостоятельное обучение

• Поддержка предварительного обучения HuBERT:
  • Пример рецепта: egs2/LibriSpeech/ssl1

UASR: Неконтролируемое распознавание речи (EURO: ESPnet Неконтролируемое Распознавание — Open-source)

• Архитектура
  • wav2vec-U (с различными моделями самостоятельного обучения)
  • wav2vec-U 2.0 (в процессе разработки)
• Поддержка PrefixBeamSearch и K2-based WFST декодирования

S2T: Речь в текст с многоязычными мультизадачными моделями Whisper-style

• Воспроизводит обучение Whisper-стиля с нуля, используя общедоступные данные: OWSM
• Поддерживает несколько задач в одной модели
  • Многоязычное распознавание речи
  • Перевод речи «любой к любому»
  • Идентификация языка
  • Прогнозирование временных меток на уровне высказываний (сегментация)

DNN Framework

• Гибкая сетевая архитектура благодаря Chainer и PyTorch
• Гибкий фронтэнд-процесс благодаря kaldiio и поддержке HDF5
• Мониторинг на основе Tensorboard

ESPnet2

См. ESPnet2.

• Независим от Kaldi/Chainer, в отличие от ESPnet1
• Извлечение функций и обработка текста в реальном времени при обучении
• Поддержка DistributedDataParallel и DaraParallel
• Поддержка обучения на нескольких узлах и интегрирована с Slurm или MPI
• Поддержка Sharded Training, предоставляемая fairscale
• Шаблонный рецепт, который можно применить ко всем корпусам
• Возможность обучать корпуса любого размера без ошибки памяти процессора
• ESPnet Model Zoo
• Интегрирован с wandb

Установка

• Если вы собираетесь проводить полные эксперименты, включая обучение DNN, см. Установка.

• Если вам нужен только модуль Python:

  # Мы рекомендуем установить PyTorch перед установкой espnet, следуя https://pytorch.org/get-started/locally/
  pip install espnet
  # Для установки последней версии
  # pip install git+https://github.com/espnet/espnet
  # Чтобы установить дополнительные пакеты
  # pip install "espnet[all]"

  Если вы используете ESPnet1, установите chainer и cupy.

  pip install chainer==6.0.0 cupy==6.0.0    # [Option]

  Вам могут потребоваться некоторые пакеты в зависимости от каждой задачи. Мы подготовили различные сценарии установки в tools/installers.

• (ESPnet2) После установки запустите wandb login и установите --use_wandb true, чтобы включить отслеживание запусков с помощью W&B.

Docker Container

Перейдите в docker/ и следуйте инструкциям.

Вклад

Спасибо, что уделили время ESPnet! Любые вклады в ESPnet приветствуются, и не стесняйтесь задавать вопросы или запросы по проблемам. Если это ваш первый вклад в ESPnet, пожалуйста, следуйте руководству по вкладу.

Результаты ASR

TEDLIUM3 dev/test | N/A | 9.6/7.6

WSJ dev93/eval92 | 3.2/2.1 | 7.0/4.7

ESPnet2 WSJ dev93/eval92 | 1.1/0.8 | 2.8/1.8

Обратите внимание, что производительность задач CSJ, HKUST и Librispeech была значительно улучшена за счёт использования широкой сети (#units = 1024) и больших субсловных единиц, о чём сообщалось в RWTH.

Если вы хотите проверить результаты других рецептов, пожалуйста, проверьте egs/<name_of_recipe>/asr1/RESULTS.md.

ASR demo

Вы можете распознавать речь в файле WAV с помощью предварительно обученных моделей. Перейдите в каталог рецептов и запустите utils/recog_wav.sh следующим образом:

# перейдите в каталог рецептов и путь к инструментам espnet
cd egs/tedlium2/asr1 && . ./path.sh
# давайте распознаем речь!
recog_wav.sh --models tedlium2.transformer.v1 example.wav

где example.wav — файл WAV, который нужно распознать. Частота дискретизации должна соответствовать частоте данных, используемых при обучении.

В демо-скрипте доступны следующие предварительно обученные модели.

SE результаты

Мы приводим результаты трёх разных моделей на WSJ0-2mix, которые являются одним из наиболее широко используемых эталонных наборов данных для разделения речи. | SAR | SDR | SIR | | ------------------------------------------------- | ---- | ----- | ----- | ----- | | TF Masking | 0,89 | 11,40 | 10,24 | 18,04 | | Conv-Tasnet | 0,95 | 16,62 | 15,94 | 25,90 | | DPRNN-Tasnet | 0,96 | 18,82 | 18,29 | 28,92 |

SE demos

Вы можете попробовать интерактивную демонстрацию с Google Colab. Пожалуйста, нажмите на следующую кнопку, чтобы получить доступ к демонстрациям.

Она основана на ESPnet2. Доступны предварительно обученные модели как для задач улучшения речи, так и для разделения речи.

Демонстрации потокового разделения речи:

ST results

Мы приводим 4-граммовый BLEU основных задач ST.

End-to-end system

Cascaded system

Если вы хотите проверить результаты других рецептов, пожалуйста, проверьте egs/<name_of_recipe>/st1/RESULTS.md.

ST demo

(New!) Мы сделали новую демонстрацию E2E-ST + TTS в реальном времени в Google Colab. Пожалуйста, перейдите по кнопке в ноутбуке и наслаждайтесь переводом речи в реальном времени!

Вы можете переводить речь из файла WAV с помощью предварительно обученных моделей. Перейдите в каталог с рецептами и запустите utils/translate_wav.sh следующим образом:

# Перейдите в каталог с рецептами и путь к инструментам espnet
cd egs/fisher_callhome_spanish/st1 && . ./path.sh
# Скачайте пример файла WAV
wget -O - https://github.com/espnet/espnet/files/4100928/test.wav.tar.gz | tar zxvf -
# Переведите речь!
translate_wav.sh --models fisher_callhome_spanish.transformer.v1.es-en test.wav

где test.wav — файл WAV для перевода. Частота дискретизации должна соответствовать частоте данных, использованных при обучении.

В демо-скрипте доступны следующие предварительно обученные модели.

Результаты MT

# Перейдите в каталог рецептов и путь к инструментам espnet
cd egs/ljspeech/tts1 && . ./path.sh

# Мы используем последовательность символов верхнего регистра для модели по умолчанию.
echo "ЭТО ДЕМОНСТРАЦИЯ ПРЕОБРАЗОВАНИЯ ТЕКСТА В РЕЧЬ." > example.txt

# Давайте синтезируем речь!
synth_wav.sh example.txt

echo "ЭТО ДЕМОНСТРАЦИЯ ПРЕОБРАЗОВАНИЯ ТЕКСТА В РЕЧЬ." > example_multi.txt
echo "ПРЕОБРАЗОВАНИЕ ТЕКСТА В РЕЧЬ — ЭТО МЕТОД ПРЕОБРАЗОВАНИЯ ТЕКСТА В РЕЧЬ." >> example_multi.txt
synth_wav.sh example_multi.txt

synth_wav.sh --models ljspeech.fastspeech.v1 example.txt

synth_wav.sh --vocoder_models ljspeech.wavenet.mol.v1 example.txt

synth_wav.sh --help

cd egs/tedlium2/align1/
# data directory
align_dir=data/demo
mkdir -p ${align_dir}
# wav file
base=ctc_align_test
wav=../../../test_utils/${base}.wav
# recipe files
echo "batchsize: 0" > ${align_dir}/align.yaml

cat << EOF > ${align_dir}/utt_text
${base} THE SALE OF THE HOTELS
${base} IS PART OF HOLIDAY'S STRATEGY
${base} TO SELL OFF ASSETS
${base} AND CONCENTRATE
${base} ON PROPERTY MANAGEMENT
EOF

min_confidence_score=-7
# здесь мы предполагаем, что вывод был записан в файл `segments`
awk -v ms=${min_confidence_score} '{ if ($5 > ms) {print} }' segments

@inproceedings{watanabe2018espnet,
  author={Shinji Watanabe and Takaaki Hori and Shigeki Karita and Tomoki Hayashi and Jiro Nishitoba and Yuya Unno and Nelson {Enrique Yalta Soplin} and Jahn Heymann and Matthew Wiesner and Nanxin Chen and Adithya Renduchintala and Tsubasa Ochiai},
  title={{ESPnet}: End-to-End Speech Processing Toolkit},
  year={2018},
  booktitle={Proceedings of Interspeech},
  pages={2207--2211},
  doi={10.21437/Interspeech.2018-1456},
  url={http://dx.doi.org/10.21437/Interspeech.2018-1456}
}
@inproceedings{hayashi2020espnet,
  title={{Espnet-TTS}: Unified, reproducible, and integratable open source end-to-end text-to-speech toolkit},
  author={Hayashi, Tomoki and Yamamoto, Ryuichi and Inoue, Katsuki and Yoshimura, Takenori and Watanabe, Shinji and Toda, Tomoki and Takeda, Kazuya and Zhang, Yu and Tan, Xu},
  booktitle={Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},
  pages={7654--7658},
  year={2020},
  organization={IEEE}
}
@inproceedings{inaguma-etal-2020-espnet,
    title = "{ESP}net-{ST}: All-in-One Speech Translation Toolkit",
    author = "Inaguma, Hirofumi  and
      Kiyono, Shun  and
      Duh, Kevin  and
      Karita, Shigeki  and
      Yalta, Nelson  and
      Hayashi, Tomoki  and
      Watanabe, Shinji",
    booktitle = "Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations",
    month = jul,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.acl-demos.34",
    pages = "302--311",
}
@article{hayashi2021espnet2,
  title={Espnet2-tts: Extending the edge of tts research},
  author={Hayashi, Tomoki and Yamamoto, Ryuichi and Yoshimura, Takenori and Wu, Peter and Shi, Jiatong and Saeki, Takaaki and Ju, Yooncheol and Yasuda, Yusuke and Takamichi, Shinnosuke and Watanabe, Shinji},
  journal={arXiv preprint arXiv:2110.07840},
  year={2021}
}
@inproceedings{li2020espnet,
  title={{ESPnet-SE}: End-to-End Speech Enhancement and Separation Toolkit Designed for {ASR} Integration},
  author={Chenda Li and Jing Shi and Wangyou Zhang and Aswin Shanmugam Subramanian and Xuankai Chang and Naoyuki Kamo and Moto Hira and Tomoki Hayashi and Christoph Boeddeker and Zhuo Chen and Shinji Watanabe},
  booktitle={Proceedings of IEEE Spoken Language Technology Workshop (SLT)},
  pages={785--792},
  year={2021},
  organization={IEEE},
}
@inproceedings{arora2021espnet,
  title={{ESPnet-SLU}: Advancing Spoken Language Understanding through ESPnet},
  author={Arora, Siddhant and Dalmia, Siddharth and Denisov, Pavel and Chang, Xuankai and Ueda, Yushi and Peng, Yifan and Zhang, Yuekai and Kumar, Sujay and Ganesan, Karthik and Yan, Brian and others},
  booktitle={ICASSP 2022-2022 IEEE International Conference on Acoustics, Speech and

*Примечание: в запросе не удалось определить основной язык текста.* **Shi Jiatong, Guo Shuai, Qian Tao, Huo Nan, Hayashi Tomoki, Wu Yuning, Xu Frank, Chang Xuankai, Li Huazhe, Wu Peter, Watanabe Shinji, Jin Qin. Muskits: an End-to-End Music Processing Toolkit for Singing Voice Synthesis.**

Muskits — это комплексный инструментарий для обработки музыки, предназначенный для синтеза поющего голоса. Авторы статьи представляют набор инструментов, который позволяет пользователям легко создавать и настраивать системы синтеза поющих голосов. Инструментарий включает в себя модули для анализа аудио, генерации спектрограмм, синтеза звука и управления параметрами голоса.

**Lu Yen-Ju, Chang Xuankai, Li Chenda, Zhang Wangyou, Cornell Samuele, Ni Zhaoheng, Masuyama Yoshiki, Yan Brian, Scheibler Robin, Wang Zhong-Qiu, Tsao Yu, Qian Yanmin, Watanabe Shinji. ESPnet-SE++: Speech Enhancement for Robust Speech Recognition, Translation, and Understanding.**

В статье представлен ESPnet-SE++, инструмент для улучшения качества речи, который может быть использован для повышения надёжности систем распознавания, перевода и понимания речи. Инструмент использует методы машинного обучения для удаления шума и искажений из аудиозаписей, что позволяет улучшить качество речи и повысить точность работы соответствующих систем.

**Gao Dongji, Shi Jiatong, Chuang Shun-Po, Garcia Leibny Paola, Lee Hung-yi, Watanabe Shinji, Khudanpur Sanjeev. EURO: ESPnet Unsupervised ASR Open-source Toolkit.**

EURO — это открытый инструментарий для автоматического распознавания речи (ASR), основанный на методах обучения без учителя. Инструментарий разработан как часть проекта ESPnet и предоставляет пользователям возможность создавать и обучать модели ASR без необходимости в размеченных данных.

**Peng Yifan, Tian Jinchuan, Yan Brian, Berrebbi Dan, Chang Xuankai, Li Xinjian, Shi Jiatong, Arora Siddhant, Chen William, Sharma Roshan и др. Reproducing Whisper-Style Training Using an Open-Source Toolkit and Publicly Available Data.**

Статья описывает попытку воспроизведения процесса обучения модели Whisper с использованием открытого инструментария и общедоступных данных. В статье представлены результаты экспериментов и анализ полученных результатов.