OSCHINA-MIRROR/XiaGongJin-OpenPrompt

Рамка с открытым исходным кодом для обучения на основе запросов.

Обзор • Установка • Как использовать • Документы • Статья • Цитирование • Производительность •

Что нового?

Июль 2022: OpenPrompt теперь поддерживает OPT.
Март 2022: Мы добавили учебник в ответ на проблему 124, который использует настраиваемый tokenizer_wrapper для выполнения задач, не входящих в стандартную конфигурацию OpenPrompt (например, Bert tokenizer+T5 model).
Февраль 2022: Ознакомьтесь с нашим сестринским репозиторием OpenDelta!
Декабрь 2021: pip install openprompt
Декабрь 2021: Добавлены результаты SuperGLUE.
Декабрь 2021: Мы поддерживаем парадигму генерации для всех задач, добавив новый verbalizer:GenerationVerbalizer и учебник: 4.1_all_tasks_are_generation.py.
Ноябрь 2021: Теперь мы выпустили статью OpenPrompt: Рамка с открытым исходным кодом для обучения на основе запросов.
Ноябрь 2021 PrefixTuning теперь поддерживает t5.
Ноябрь 2021: Мы внесли некоторые серьёзные изменения по сравнению с последней версией, где недавно был представлен гибкий язык шаблонов! Часть документов устарела, и мы скоро это исправим.

Обзор

Обучение на основе запросов — это новейшая парадигма адаптации предварительно обученных языковых моделей (PLM) к задачам обработки естественного языка (NLP), которая модифицирует входной текст с помощью текстового шаблона и напрямую использует PLM для проведения предварительно обученных задач. Эта библиотека предоставляет стандартный, гибкий и расширяемый фреймворк для развёртывания конвейера обучения на основе запросов. OpenPrompt поддерживает загрузку PLM непосредственно из huggingface transformers. В будущем мы также будем поддерживать PLM, реализованные другими библиотеками. Для получения дополнительной информации об обучении на основе запросов, пожалуйста, ознакомьтесь с нашим списком статей.

Что вы можете сделать с помощью OpenPrompt?

Использовать реализации текущих подходов к обучению на основе запросов.* Мы реализовали различные методы запросов, включая шаблоны, вербализацию и стратегии оптимизации в соответствии со стандартом. Вы можете легко вызывать и понимать эти методы.
Разрабатывать собственные идеи обучения на основе запросов. Благодаря расширяемости OpenPrompt вы можете быстро применять свои идеи обучения на основе запросов на практике.

Установка

Примечание: Для OpenPrompt рекомендуется использовать Python 3.8+

Использование Pip

Наш репозиторий протестирован на Python 3.8+ и PyTorch 1.8.1+. Установите OpenPrompt с помощью pip следующим образом:

pip install openprompt

Чтобы поиграть с последними функциями, вы также можете установить OpenPrompt из исходного кода.

Использование Git

Клонируйте репозиторий с github:

git clone https://github.com/thunlp/OpenPrompt.git
cd OpenPrompt
pip install -r requirements.txt
python setup.py install

Измените код:

python setup.py develop

Использование OpenPrompt

Основные понятия

Объект PromptModel содержит PLM, один (или несколько) Template и один (или несколько) Verbalizer, где класс Template определён для переноса исходного ввода с шаблонами, а класс Verbalizer предназначен для построения проекции между метками и целевыми словами в текущем словаре. И объект PromptModel практически... ## Наборы данных

Мы предоставляем серию скриптов для скачивания в папке dataset/, не стесняйтесь использовать их для загрузки бенчмарков.

Отчёт о производительности

OpenPrompt поддерживает слишком много возможных комбинаций. Мы стараемся как можно скорее протестировать производительность различных методов. Результаты будут постоянно обновляться в таблицах.

Также мы призываем пользователей находить лучшие гиперпараметры для своих задач и сообщать о результатах, создавая пулреквесты.

Известные проблемы

В будущем ожидается значительное улучшение/расширение функционала.

— Мы внесли некоторые значительные изменения по сравнению с предыдущей версией, поэтому часть документации устарела. Мы скоро это исправим.

Цитирование

Пожалуйста, цитируйте нашу статью, если вы используете OpenPrompt в своей работе:

@article{ding2021openprompt,
  title={OpenPrompt: An Open-source Framework for Prompt-learning},
  author={Ding, Ning and Hu, Shengding and Zhao, Weilin and Chen, Yulin and Liu, Zhiyuan and Zheng, Hai-Tao and Sun, Maosong},
  journal={arXiv preprint arXiv:2111.01998},
  year={2021}
}

Участники проекта

Благодарим всех участников этого проекта, ждём новых участников!