Форвард — библиотека для высокопроизводительного вывода глубокого обучения на графических процессорах NVIDIA

• Форвард — библиотека для высокопроизводительного вывода глубокого обучения на графических процессорах NVIDIA
  • Что такое Форвард
  • Почему стоит выбрать Форвард
  • Быстрый старт
    • Предварительные требования
    • Сборка с помощью CMake
    • Использование Forward-Cpp
    • Использование Forward-Python
    • Использование Forward-Bert
    • Другие варианты использования
    • Логирование
  • Модели и операторы
    • Модели
    • Операторы
  • Ссылки
  • Вклад в проект
  • Лицензия

[中文版]

Что такое Форвард

Форвард — это библиотека для высокопроизводительного вывода моделей глубокого обучения на графических процессорах NVIDIA. Она предоставляет хорошо продуманную схему, которая напрямую преобразует модели Tensorflow/PyTorch/Keras/ONNX в высокопроизводительный движок на основе TensorRT. По сравнению с TensorRT, она проста в использовании и расширении. На данный момент Форвард поддерживает не только основные модели глубокого обучения в области компьютерного зрения, обработки естественного языка и рекомендаций, но и некоторые продвинутые модели, такие как BERT, GAN, FaceSwap и StyleTransfer.

Почему стоит выбрать Форвард

• Высокопроизводительная оптимизация: использование API TensorRT и настроенных операторов для высокопроизводительного вывода;
• Широкий спектр поддержки: поддержка продвинутых моделей, таких как BERT, GAN, FaceSwap и StyleTransfer, помимо основных моделей глубокого обучения в областях компьютерного зрения, обработки естественного языка и рекомендаций;
• Несколько режимов: поддержка режимов FLOAT/HALF/INT8;
• Простота использования: прямая загрузка моделей Tensorflow(.pb)/PyTorch(.pth)/Keras(.h5)/ONNX(.onnx) с последующим выводом с использованием TensorRT;
• Лёгкость расширения: регистрация настроенных слоёв в соответствии с add_support_op.md;
• Предоставление интерфейсов C++ и Python.

Быстрый старт

Предварительные требования

• NVIDIA CUDA >= 10.0, CuDNN >= 7 (рекомендуемая версия: >= CUDA 10.2)
• TensorRT >= 7.0.0.11 (рекомендуемая версия: TensorRT-7.2.1.6)
• CMake >= 3.12.2
• GCC >= 5.4.0, ld >= 2.26.1
• PyTorch >= 1.7.0
• TensorFlow >= 1.15.0 (для пользователей Linux загрузите Tensorflow 1.15.0 и разархивируйте все файлы .so в папке Forward/source/third_party/tensorflow/lib)
• Keras HDF5 (построен из Forward/source/third_party/hdf5 по умолчанию)

Сборка с помощью CMake

Используйте CMake для создания Makefiles или проекта Visual Studio (Windows). При использовании Форварда он может быть собран для различных фреймворков, таких как Fwd-Torch, Fwd-Python-Torch, Fwd-Tf, Fwd-Python-Tf, Fwd-Keras, Fwd-Python-Keras, Fwd-Onnx и Fwd-Python-Onnx.

Пример ниже показывает процесс сборки под системой Linux.

Шаг 1: клонируйте проект

1 git clone https://github.com/Tencent/Forward.git

Шаг 2: загрузите Tensorflow 1.15.0 (необходимо только при использовании Форварда с фреймворком Tensorflow под Linux)

1 cd Forward/source/third_party/tensorflow/
2 wget https://github.com/neargye-forks/tensorflow/releases/download/v1.15.0/libtensorflow-cpu-linux-x86_64-1.15.0.tar.gz
3 tar -xvf libtensorflow-gpu-linux-x86_64-1.15.0.tar.gz

Шаг 3: создайте папку build

1 cd ~/Forward/
2 rm -rf build
3 mkdir -p build
4 cd build/

Шаг 4: запустите cmake, чтобы создать зависимости, и путь установки TensorRT_ROOT должен быть указан

1 cmake ..  -DTensorRT_ROOT=<путь_к_TensorRT> -DENABLE_TENSORFLOW=ON -DENABLE_UNIT_TESTS=ON

Шаг 5: запустите make, чтобы собрать проект

1 make -j

Шаг 6: запустите unit_test, чтобы проверить, успешно ли был собран проект

cd bin/
./unit_test Любая форма вклада приветствуется. Вышеупомянутые участники были официально выпущены компанией Tencent.

Мы очень приветствуем разработчиков, которые вносят свой вклад в открытый исходный код Tencent, и мы также предоставим им стимулы, чтобы выразить признательность и поблагодарить их. Здесь мы предоставляем официальное описание вклада открытого исходного кода Tencent. Конкретные правила вклада для каждого проекта формулируются командой проекта. Разработчики могут выбрать подходящий проект и участвовать в соответствии с соответствующими правилами. Комитет по управлению проектами Tencent будет регулярно отчитываться перед квалифицированными участниками, а награды будут выдаваться официальным контактным лицом.

## Лицензия
Apache License v2.0 (ЛИЦЕНЗИЯ)