Документация | Русская документация

русский | English

Tengine

![Оценка языка: C/C++]()

Введение

Tengine был создан командой OPEN AI LAB с целью удовлетворения потребностей в быстром и эффективном развертывании моделей глубинной нейронной сети на устройствах с ограниченными ресурсами. Проект реализован на языке C, что позволяет легко выполнять кросс-платформенные развертывания во многих AIoT приложениях. Для достижения этой цели проект использует глубокую оптимизацию фреймворков, адаптированных к ограничениям ресурсов на устройстве.

Конечный код Tengine состоит из четырёх основных модулей:- устройство: модуль backend для операторов NN, предоставляющий примеры для работы с CPU, GPU и NPU;

• планировщик: ядро системы, которое управляет распределением вычислений между NNIR, графами вычислений, аппаратными ресурсами и анализаторами моделей;
• оператор: модуль frontend для операторов NN, который регистрирует и инициализирует операторы;
• серIALIZER: анализатор модели, который обеспечивает парсинг параметров сетей в формате tmfile.

Архитектурный анализ

Быстрый старт

Компиляция

• Быстрая компиляция реализованная с помощью CMake для простого кросс-платформенного сборки.

Примеры

• Примеры предоставляют базовые примеры классификации и детекции алгоритмов, обновляемые в соответствии с требованиями из раздела "Issues".
• Установка с помощью APT-GET предоставляет команды установки через APT-GET для системы Ubuntu, поддерживаются аппаратные платформы x86/A311D.

Модели

• Baidu Netdisk (Код доступа: Yö5)
• Google Drive

Инструменты преобразования- Предварительно скомпилированный вариант: Предварительно скомпилированный инструмент преобразования моделей для системы Ubuntu 18.04;

• Онлайн версия преобразования: Реализовано с использованием WebAssembly (локальное преобразование в браузере, модели не отправляются);
• Исходный код: Рекомендовано компилирование на серверах или ПК, используйте следующие команды:

  mkdir build && cd build
  cmake -DTENGINE_BUILD_CONVERT_TOOL=ON ..
  make -j`nproc`
  ```### Инструменты квантования
  
• Исходный код: Открытый исходный код инструмента квантования, поддерживающий uint8/int8.

Оценка производительности

• Benchmark Инструмент оценки производительности базовых сетей, приветствуем ваши обновления.

Набор плагинов TIM-VX

• TIM-VX Руководство по использованию TIM-VX от компании VeriSilicon.

Плагины AutoKernel

• AutoKernel Простой и удобный инструмент автоматической оптимизации операторов с низкими порогами входа; плагин AutoKernel позволяет легко внедрять оптимизацию операторов в Tengine.

Контейнеры

• SuperEdge Открытая система управления контейнерами для вычислений на краю сети, обеспечивающая более удобное управление бизнесом;
• Как использовать Tengine с SuperEdge Руководство по использованию контейнеров;
• Руководство пользователя Video Capture Руководство по созданию зависимых файлов для демонстраций.

План развития

• План развития

Благодарность

Tengine Lite основан и вдохновлен следующими проектами:- Caffe

• TensorFlow

• MegEngine

• ONNX

• ncnn

• FeatherCNN

• MNN

• Paddle Lite

• ACL

• stb

• convertmodel

• TIM-VX

• SuperEdge## Лицензия

• Apache 2.0

Уточнение

• [Функция онлайн-отчетности] Функция онлайн-отчетности предназначена для сбора информации о использовании Tengine с целью его улучшения и развития. Эта функция активна по умолчанию, но может быть отключена путем изменения конфигурации в файле CMakeLists.txt (опция OPTION(TENGINE_ONLINE_REPORT "online report" OFF)).

Часто задаваемые вопросы

• Часто задаваемые вопросы

Технические обсуждения

• GitHub Issues
• QQ группа: 829565581
• Почта: support@openailab.com