Форвард: фреймворк для ускорения вывода в глубоком обучении

Форвард — это высокопроизводительный фреймворк для вывода в глубоком обучении, разработанный компанией Tencent. Он предлагает решение для оптимизации вывода, которое позволяет напрямую загружать модели из популярных фреймворков (TensorFlow, PyTorch, Keras и ONNX) и преобразовывать их в ускоренные версии с использованием TensorRT. Это помогает пользователям избежать сложных шагов по преобразованию моделей или построению сетей.

В дополнение к поддержке распространённых моделей для компьютерного зрения, обработки естественного языка и рекомендательных систем, Форвард также поддерживает некоторые продвинутые модели, такие как BERT, FaceSwap и StyleTransfer.

Преимущества Форварда:

• Высокая оптимизация производительности моделей на основе API TensorRT;
• Широкий спектр поддерживаемых моделей;
• Поддержка различных режимов вывода (FLOAT, HALF, INT8);
• Простой и удобный интерфейс для импорта готовых моделей TensorFlow (.pb), PyTorch (.pth), Keras (.h5) и ONNX (.onnx) с последующим неявным преобразованием в высокопроизводительные ускорители вывода;
• Возможность расширения для поддержки пользовательских сетевых уровней;
• Поддерживает интерфейсы C++ и Python.

Начало работы с Форвардом:

Для начала работы с Форвардом необходимо выполнить следующие шаги:

1. Установить зависимости: NVIDIA CUDA 10.0 или выше, CuDNN 7 или выше (рекомендуется CUDA 10.2 или выше), TensorRT 7.0.0.11 или выше (рекомендуется TensorRT-7.2.1.6), CMake 3.12.2 или выше, GCC 5.4.0 или выше, ld 2.26.1 или выше. Также требуется установить PyTorch 1.7.0 или выше, TensorFlow 1.15.0 (для Linux необходимо дополнительно загрузить Tensorflow 1.15.0 и скопировать файлы .so в каталог Forward/source/third_party/tensorflow/lib).
2. Собрать проект с помощью CMake или Visual Studio. Форвард можно собрать в виде библиотек, подходящих для разных фреймворков, таких как Fwd-Torch, Fwd-Python-Torch, Fwd-Tf, Fwd-Python-Tf, Fwd-Keras, Fwd-Python-Keras, Fwd-Onnx и Fwd-Python-Onnx.
3. Использовать библиотеки и примеры кода для создания собственных приложений.

Более подробную информацию о сборке проекта, использовании C++ и Python интерфейсов, а также о других аспектах работы с Форвардом можно найти в документации. Пример конфигурации файла forward_log.conf

* GLOBAL:
  FORMAT               =  "[%level] %datetime %fbase(%line): %msg"
  FILENAME             =  "Forward.log"
  ENABLED              =  true
  TO_FILE              =  true
  TO_STANDARD_OUTPUT   =  true
  PERFORMANCE_TRACKING =  true
  MAX_LOG_FILE_SIZE    =  2097152 ## 2MB - Комментарий начинается с двух символов #
  LOG_FLUSH_THRESHOLD  =  100 ## Очистка после каждых 100 журналов

Модели и операторы поддерживаются

Текущая поддержка моделей и операторов Forward представлена следующим образом. Если требуется добавить дополнительную поддержку, пожалуйста, свяжитесь с нами, чтобы создать Issue. Если вы хотите самостоятельно расширить поддержку, обратитесь к Open source co-creation: процесс добавления поддержки операций.

Модели:

• CV модель (doc/operator_support.md#cv);
• Языковая модель (doc/operator_support.md#nlp);
• Рекомендательная модель (doc/operator_support.md#recommender).

Операторы:

• PyTorch (doc/operator_support.md#pytorch);
• TensorFlow (doc/operator_support.md#tensorflow).

Справочные материалы:

1. Процесс построения логического вывода;
2. Методы использования логического вывода;
3. Инструменты и тестирование;
4. Часто задаваемые вопросы.

Вклад:

1. Свяжитесь с группой обсуждения открытого исходного кода, QQ группа: 776314438.
2. Пожалуйста, следуйте CONTRIBUTING.md для участия в открытом исходном коде.

Aster JIAN

Zexi YUAN

Ao LI

Paul LU

Zhaoyi LUO

Jett Hu

Ryosuke1eep

Спасибо всем вкладчикам, и мы приглашаем больше людей присоединиться к нам.

Лицензия

Подробности см. в LISENCE.