Быстрый вывод ERNIE (C++)

API быстрого вывода ERNIE на C++ предоставляет более эффективный план онлайн-прогнозирования, который можно напрямую скомпилировать в производственную среду для повышения производительности. Его реализация основана на fluid inference. Убедитесь, что ваша версия fluid inference выше 1.7 для получения правильных результатов прогнозирования. На этой странице представлен демонстрационный тест ERNIE C++ fast inference.

Подготовка

Демонстрационные данные взяты из тестового набора данных XNLI и находятся в папке ./data. Данные представлены в формате открытого текста id, где одна строка представляет собой пакет, содержащий четыре поля:

src_ids, pos_ids, sent_ids, self_attn_mask

Поля разделены точкой с запятой (;), а внутри полей есть две части: shape и data, разделённые двоеточием (:); shape и data разделены пробелами; self_attn_mask имеет тип FLOAT32, остальные поля имеют тип INT64.

Для быстрого вывода ERNIE требуется модель в формате inference_model, которую можно создать, следуя инструкциям в разделе здесь.

При использовании модели inference_model, созданной с помощью propeller, требуются только поля src_ids и sent_ids. Поэтому необходимо соответствующим образом изменить файл данных.

Компиляция и запуск

Чтобы скомпилировать этот демонстрационный проект, компилятор C++ должен поддерживать стандарт C++11.

Скачайте соответствующую библиотеку fluid_inference и выберите версию, соответствующую вашей версии paddle и конфигурации (используете ли вы avx, mkl, cuda, cudnn). Распакуйте файлы и получите папку fluid_inference, поместите её в тот же каталог, что и файл inference.cc.

Скомпилируйте с помощью следующей команды:

cd ./gpu # cd ./cpu
mkdir build
cd build
cmake ..
make

Запустите с помощью следующей команды:

./run.sh ../data/sample /path/to/inference_mode_dir

Тестирование производительности

Тестовый образец: тестовый набор данных XNLI, BatchSize=1, SequenceLength=128. Повторите 5 раз и возьмите среднее значение.