Этот репозиторий содержит ресурсы нашей статьи "Переосмысление пресетированных моделей для китайской естественной языковой обработки" (Revisiting Pre-trained Models for Chinese Natural Language Processing), которая будет опубликована в "Findings of EMNLP". Вы можете прочитать нашу окончательную версию статьи через ACL Anthology или предварительную версию arXiv.

Переосмысление пресетированных моделей для китайской естественной языковой обработки
Yiming Cui, Wanxiang Che, Ting Liu, Bing Qin, Shijin Wang, Guoping Hu

Для других ресурсов кроме MacBERT, пожалуйста, посетите следующие репозитории:

• Серия китайского BERT-wwm: https://github.com/ymcui/Chinese-BERT-wwm
• Китайский ELECTRA: https://github.com/ymcui/Chinese-ELECTRA
• Китайский XLNet: https://github.com/ Yöntem: ymcui/Chinese-XLNet

Более ресурсов от HFL: https://github.com/ymcui/HFL-Anthology

Новости

[3 ноября 2020 года] Пресетированные модели MacBERT доступны для скачивания непосредственно с помощью Загрузки или Быстрого запуска. Используйте его так же, как и оригинальный BERT (кроме того, что он не может выполнять оригинальное MLM).[15 сентября 2020 года] Наша статья "Переосмысление пресетированных моделей для китайской естественной языковой обработки" принята к публикации в Findings of EMNLP в виде полной статьи.## Обзор

• Маскирование целых слов (WWM)
• Маскирование n-грамм
• Предсказание порядка предложения (SOP)

Обратите внимание, что наш MacBERT может быть непосредственно заменён оригинальным BERT, так как нет различий в основной нейронной архитектуре.

Для более подробной технической информации обратитесь к нашей статье: Переоценка предобученных моделей для китайской естественной языковой обработки

Скачать

Основные предобученные модели MacBERT доступны в TensorFlow 1.x.

• MacBERT-large, Китайский: 24 слоя, 1024 скрытых, 16 голов, 324M параметров
• MacBERT-base, Китайский: 12 слоёв, 768 скрытых, 12 голов, 102M параметров

Версия PyTorch/TensorFlow2

Если вам нужны эти модели в PyTorch/TensorFlow2,

1. Преобразуйте checkpoint TensorFlow в PyTorch/TensorFlow2 с помощью 🤗Transformers
2. Скачайте с https://huggingface.co/hflШаги: выберите одну из моделей на странице выше → нажмите "показать все файлы модели" в конце страницы модели → скачайте bin/json файлы из появившегося окна.

Быстрая загрузка

С помощью Huggingface-Transformers вы можете легко получить доступ к и загрузить указанные выше модели через следующие коды.

tokenizer = BertTokenizer.from_pretrained("MODEL_NAME")
model = BertModel.from_pretrained("MODEL_NAME")

Примечание: Для загрузки моделей MacBERT используйте BertTokenizer и BertModel.

Действительные модели и их MODEL_NAME приведены ниже.

Результаты

Мы представляем результаты работы MacBERT на следующих шести задачах (для других результатов прочтите нашу статью).

• CMRC 2018 (Cui et al., 2019): Span-Extraction Machine Reading Comprehension (упрощённый китайский)
• DRCD (Shao et al., 2018): Span-Extraction Machine Reading Comprehension (традиционный китайский)
• XNLI (Conneau et al., 2018): Natural Language Inference
• ChnSentiCorp: Sentiment Analysis
• LCQMC (Liu et al., 2018): Sentence Pair Matching
• BQ Corpus (Chen et al., 2018): Sentence Pair Matching

Чтобы обеспечить стабильность результатов, мы выполняли каждое экспериментальное испытание 10 раз и отчитывались о максимальных и средних значениях (в скобках).### CMRC 2018 Датасет CMRC 2018 был выпущен совместной лабораторией НИИ ХЭТУ и iFLYTEK Research. Модели должны отвечать на вопросы на основе предоставленного текста, что аналогично SQuAD. Критерии оценки: EM / F1

DRCD

DRCD также является набором данных для машинного чтения с выделением spans, выпущенным Дельта研究中心. Текст написан на традиционном китайском языке. Оценочные метрики: EM / F1| Модель | Разработка | Тест | #Параметров | | :------------------------ | :--------------: | :--------------: | :----------: | | BERT-base | 83.1 (82.7) / 89.9 (89.6) | 82.2 (81.6) / 89.2 (88.8) | 102М | | BERT-wwm | 84.3 (83.4) / 90.5 (90.2) | 82.8 (81.8) / 89.7 (89.0) | 102М | | BERT-wwm-ext | 85.0 (84.5) / 91.2 (90.9) | 83.6 (83.0) / 90.4 (89.9) | 102М | | RoBERTa-wwm-ext | 86.6 (85.9) / 92.5 (92.2) | 85.6 (85.2) / 92.0 (91.7) | 102М | | ELECTRA-base | 87.5 (87.0) / 92.5 (92.3) | 86.9 (86.6) / 91.8 (91.7) | 102М | | MacBERT-base | 89.4 (89.2) / 94.3 (94.1) | 89.5 (88.7) / 93.8 (93.5) | 102М | | ELECTRA-large | 88.8 (88.7) / 93.3 (93.2) | 88.8 (88.2) / 93.6 (93.2) | 324М | | RoBERTa-wwm-ext-large | 89.6 (89.1) / 94.8 (94.4) | 89.6 (88.9) / 94.5 (94.1) | 324М | | MacBERT-large | 91.2 (90.8) / 95.6 (95.3) | 91.7 (90.9) / 95.6 (95.3) | 324М |

XNLI

Для тестирования задачи NLI мы используем данные XNLI. Оценочные метрики: Accuracy

BQ Corpus

BQ Corpus — это набор данных для сопоставления пар предложений, который можно рассматривать как задачу бинарной классификации. Оценочные метрики: точность.| Модель | Разработка | Тест | #Параметров | | :------------------------ | :---------: | :-------: | :----------: | | BERT | 86.0 (85.5)| 84.8 (84.6)| 102М | | BERT-wwm | 86.1 (85.6)| 85.2 (84.9)| 102М | | BERT-wwm-ext | 86.4 (85.5)| 85.3 (84.8)| 102М | | RoBERTa-wwm-ext | 86.0 (85.4)| 85.0 (84.6)| 102М | | ELECTRA-base | 84.8 (84.7)| 84.5 (84.0)| 102М | | MacBERT-base | 86.0 (85.5)| 85.2 (84.9)| 102М | | ELECTRA-large | 86.7 (86.2)| 85.1 (84.8)| 324М | | RoBERTa-wwm-ext-large | 86.3 (85.7)| 85.8 (84.9)| 324М | | MacBERT-large | 86.2 (85.7)| 85.6 (85.0)| 324М |

Часто задаваемые вопросы (FAQ)

**Вопрос 1: Есть ли английская версия MacBERT?**A1: К сожалению, мы не предоставляем английскую версию предобученного MacBERT.

Вопрос 2: Как использовать MacBERT?

A2: Используйте его так же, как вы бы использовали оригинальный BERT на этапе мелкотонкой настройки (просто замените файлы конфигурации и точки сохранения). Также можно выполнить дальнейшее предобучение на наших точках сохранения с целями MLM/NSP/SOP.

Вопрос 3: Вы можете предоставить код для предобучения MacBERT?

A3: К сожалению, мы не можем предоставить исходный код в данный момент, возможно, мы выпустим его в будущем, но это не гарантируется.

Вопрос 4: Будете ли вы выпускать данные для предобучения?

A4: У нас нет прав на перераспределение этих данных, что может привести к потенциальным юридическим нарушениям.

Вопрос 5: Будете ли вы выпускать предобученный MacBERT на больших данных?

A5: В настоящее время у нас нет планов на это.## Цитирование Если наш ресурс или статья вам полезна, пожалуйста, рассмотрите возможность включения следующего цитирования в вашу работу.

• https://arxiv.org/abs/2004.13922

@inproceedings{cui-etal-2020-revisiting,
    title = "Переоценка предобученных моделей для обработки естественного языка на китайском",
    author = "Cui, Yiming  and
              Che, Wanxiang  and
              Liu, Ting  and
              Qin, Bing  and
              Wang, Shijin  and
              Hu, Guoping",
    booktitle = "Доклады на конференции Empirical Methods in Natural Language Processing 2020: Найденные решения",
    month = nov,
    year = "2020",
    address = "Онлайн",
    publisher = "Ассоциация по вычислительной лингвистике",
    url = "https://www.aclweb.org/anthology/2020.findings-emnlp.58",
    pages = "657--668",
}
```## Благодарность
Первый автор хотел бы поблагодарить программу Google TensorFlow Research Cloud (TFRC).

## Проблемы
Прежде чем отправить проблему:

- **Вы рекомендованы прочитать [Часто задаваемые вопросы (FAQ)](#FAQ) перед тем, как отправить проблему.**
- Повторяющиеся и нерелевантные проблемы будут проигнорированы и закрыты ботом [stable-bot](stale · GitHub Marketplace). Спасибо за понимание и поддержку.
- Мы не можем удовлетворить каждую заявку, поэтому помните, что нет гарантии, что ваш запрос будет выполнен.
- Всегда будьте вежливы при отправке проблемы.