Слияние кода завершено, страница обновится автоматически
Компания NVIDIA выпустила отличный Hello AI world учебник, который идеально подходит для обучения низкозатратному AI (классификация изображений, распознавание объектов, сегментация смысла, обнаружение позиций и т. д.) с использованием GPU-ускорения, встроенной в Jetson Nano.
Соответствующий код доступен по адресу https://github.com/dusty-nv/jetson-inference.
Однако доступ к GitHub из Китая нестабилен, а некоторые большие файлы находятся на Box, что затрудняет установку. В этом гайде я собрал инструкцию по установке без использования VPN, и весь процесс установки займет около одного часа.
Во-первых, необходимо установить систему Ubuntu на Jetson Nano и последнюю версию Jetpack 4.6. Инструкции по установке:
Код GitHub был скопирован на китайский Gitee, последний коммит от 4 октября 2021 года. https://gitee.com/duping812/jetson-inference
$ git clone --recursive https://gitee.com/duping812/jetson-inference
```Обратите внимание, что опция `--recursive` установит 6 подмодулей: jetson_utils, camera-capture, pytorch-classification, pytorch-detection, pytorch-segmentation, trt_pose. В подмодуле pytorch-detection есть ещё один подмодуль pytorch-ssd, адреса которых я уже заменил на источники Gitee в файле .gitmodules.## 3. Установка с помощью Docker
Преимущества использования контейнеров Docker заключаются в том, что все необходимые программы и среды уже настроены, и вы можете сразу начать работу, что намного проще, чем установка из исходного кода.
```bash
$ cd jetson-inference
$ docker/run.sh
При запуске интерфейса по умолчанию будут выбраны некоторые часто используемые модели, которые недоступны из-за отсутствия подключения к Box из Китая. Не выбирайте никакие модели и установите Docker-образ. Когда вы увидите приглашение ввода root@xxx, это означает, что установка завершена. В этот момент вы можете выйти из Docker.```
## 4. Загрузка модели
Используемые ранее модели я загрузил на облачное хранилище.
- Бaidu Yun [https://pan.baidu.com/s/1O8L70uIyn7Cuj-APsA5pAw](https://pan.baidu.com/s/1O8L70uIyn7Cuj-APsA5pAw) Код для извлечения: 82ex
- Tsinghua Yun [https://cloud.tsinghua.edu.cn/d/7bd45188869e4434b28b/](https://cloud.tsinghua.edu.cn/d/7bd45188869e4434b28b/)
При необходимости загрузите модель и распакуйте её, затем скопируйте её в ~/jetson-inference/data/networks
## 5. Проверка установки
Запустите Docker снова
```bash
$ docker/run.sh
Перейдите в директорию с исполняемыми файлами
# cd build/aarch64/bin
Проверьте камеру (необходимо подключить камеру до запуска Docker)
# ./video-viewer /dev/video0
```Классификация изображений по умолчанию использует модель GoogleNet. Обратите внимание, что при первом запуске модель будет оптимизирована, что может занять несколько минут. Оптимизированная модель будет кэширована на SD-карте, и следующий запуск будет быстрым.
Обнаружение объектов по умолчанию использует модель SSD-Mobilenet-v2.
<img src="https://github.com/dusty-nv/jetson-inference/raw/master/docs/images/deep-vision-header.jpg" width="100%">
# Развертывание глубокого обучения
Добро пожаловать в наш учебный гид по инференсу и библиотеке реального времени [DNN vision](#api-reference) для NVIDIA **[Jetson Nano/TX1/TX2/Xavier NX/AGX Xavier](http://www.nvidia.com/object/embedded-systems.html)**.
Этот репозиторий использует NVIDIA **[TensorRT](https://developer.nvidia.com/tensorrt)** для эффективного развертывания нейронных сетей на встраиваемой платформе Jetson, улучшая производительность и энергоэффективность с помощью графических оптимизаций, объединения ядер и точности FP16/INT8.Основные элементы визуализации, такие как [`imageNet`](docs/imagenet-console-2.md) для распознавания изображений, [`detectNet`](docs/detectnet-console-2.md) для обнаружения объектов, [`segNet`](docs/segnet-console-2.md) для семантического сегментирования и [`poseNet`](docs/posenet.md) для оценки позы, наследуются от общего объекта [`tensorNet`](c/tensorNet.h). Примеры предоставляются для потокового ввода из живого потока камеры и обработки изображений. См. раздел **[API Reference](#api-reference)** для подробной справочной документации на C++ и Python.<img src="https://github.com/dusty-nv/jetson-inference/raw/dev/docs/images/deep-vision-primitives.jpg">Следуйте [руководству Hello AI World](#hello-ai-world) для выполнения инференса и переносного обучения на вашем устройстве Jetson, включая сборку собственных наборов данных и обучение собственных моделей. Этот руководство охватывает классификацию изображений, обнаружение объектов, семантическое сегментирование, оценку поз и моно-глубину.
### Содержание
* [Hello AI World](#hello-ai-world)
* [Видео-руководства](#video-walkthroughs)
* [API справочник](#api-reference)
* [Примеры кода](#code-examples)
* [Предварительно обученные модели](#pre-trained-models)
* [Требования к системе](#recommended-system-requirements)
* [Журнал изменений](CHANGELOG.md)
> Поддерживается JetPack 4.6, а также [обновленные контейнеры](docs/aux-docker.md). <br/>
> Попробуйте новые [руководства по оценке поз](docs/posenet.md) и [моно-глубине](docs/depthnet.md)! <br/>
> Узнайте о [Журнале изменений](CHANGELOG.md) для последних обновлений и новых функций. <br/>
## Hello AI WorldПриветственный мир AI можно запустить полностью на вашем устройстве Jetson, включая инференс с помощью TensorRT и переносное обучение с помощью PyTorch. Часть инференса Приветственного мира AI, которая включает в себя написание собственных приложений для классификации изображений и обнаружения объектов на Python или C++, а также демонстрации с использованием камеры в реальном времени, может быть выполнена на вашем устройстве Jetson за два часа или меньше, в то время как переносное обучение лучше всего оставить на всю ночь.#### Настройка системы
* [Настройка Jetson с помощью JetPack](docs/jetpack-setup-bk.md)
* [Запуск контейнера Docker](docs/aux-docker.md)
* [Компиляция проекта из исходного кода](docs/building-repo.md)
#### Инференс
* [Классификация изображений с помощью ImageNet](docs/imagenet-console-2.md)
* [Использование программы ImageNet на Jetson](docs/imagenet-console-2.md)
* [Разработка собственной программы распознавания изображений (Python)](docs/imagenet-example-python-2.md)
* [Разработка собственной программы распознавания изображений (C++)](docs/imagenet-example-2.md)
* [Запуск демонстрационного приложения распознавания изображений с помощью камеры](docs/imagenet-camera-2.md)
* [Обнаружение объектов с помощью DetectNet](docs/detectnet-console-2.md)
* [Обнаружение объектов на изображениях](docs/detectnet-console-2.md#detecting-objects-from-the-command-line)
* [Запуск демонстрационного приложения обнаружения объектов с помощью камеры](docs/detectnet-camera-2.md)
* [Разработка собственной программы обнаружения объектов](docs/detectnet-example-2.md)
* [Семантическое сегментирование с помощью SegNet](docs/segnet-console-2.md)
* [Сегментация изображений с помощью командной строки](docs/segnet-console-2.md#segmenting-images-from-the-command-line)
* [Запуск демонстрационного приложения сегментации изображений с помощью камеры](docs/segnet-camera-2.md)
* [Оценка позы с помощью PoseNet](docs/posenet.md)
* [Монокулярная глубина с помощью DepthNet](docs/depthnet.md)
#### Обучение* [Перенос обучения с PyTorch](docs/pytorch-transfer-learning.md)
* Классификация/Распознавание (ResNet-18)
* [Переобучение на наборе данных кошек/собак](docs/pytorch-cat-dog.md)
* [Переобучение на наборе данных PlantCLEF](docs/pytorch-plants.md)
* [Сбор собственных наборов данных классификации](docs/pytorch-collect.md)
* Обнаружение объектов (SSD-Mobilenet)
* [Переобучение SSD-Mobilenet](docs/pytorch-ssd.md)
* [Сбор собственных наборов данных обнаружения](docs/pytorch-collect-detection.md)#### Приложения
* [Трансляция с камеры и мультимедиа](docs/aux-streaming.md)
* [Манипуляции с изображениями с помощью CUDA](docs/aux-image.md)
* [Узлы глубокого обучения для ROS/ROS2](https://github.com/dusty-nv/ros_deep_learning)
## Видео пошаговые руководстваНиже приведены скринкасты "Hello AI World", записанные для курса [Jetson AI Certification](https://developer.nvidia.com/embedded/learn/jetson-ai-certification-programs):| Описание | Видео |
|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| <a href="https://www.youtube.com/watch? v=QXIwdsyK7Rw&list=PL5B692fm6--uQRRDTPsJDp4o0xbzkoyf8&index=9" target="_blank">**Установка Hello AI World**</a><br/>Скачайте и запустите контейнер Hello AI World на Jetson Nano, протестируйте поток с камеры и увидите, как передавать его через сеть с помощью RTP. | <a href="https://www.youtube.com/watch? v=QXIwdsyK7Rw&list=PL5B692fm6--uQRRDTPsJDp4o0xbzkoyf8&index=9" target="_blank"><img src=https://github.com/dusty-nv/jetson-inference/raw/master/docs/images/thumbnail_setup.jpg width="750"></a> |
| <a href="https://www.youtube.com/watch? v=4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a4a| <a href="https://www.youtube.com/watch?v=QatH8iF0Efk&list=PL5B692fm6--uQRRDTPsJDp4o0xbzkoyf8&index=10" target="_blank">**Выводы по классификации изображений**</a><br/>Напишите собственную Python-программу для классификации изображений с использованием Jetson Nano и глубокого обучения, затем проведите эксперименты с реальными классификациями на потоке с камеры. | <a href="https://www.youtube.com/watch?v=QatH8iF0Efk&list=PL5B692fm6--uQRRDTPsJDp4o0xbzkoyf8&index=10" target="_blank"><img src=https://github.com/dusty-nv/jetson-inference/raw/master/docs/images/thumbnail_imagenet.jpg width="750"></a> |
| <a href="https://www.youtube.com/watch?v=sN6aT9TpltU&list=PL5B692fm6--uQRRDTPsJDp4o0xbzkoyf8&index=11" target="_blank">**Обучение моделей классификации изображений**</a><br/>Узнайте, как обучать модели классификации изображений с использованием PyTorch на Jetson Nano, и собирайте собственные наборы данных для создания пользовательских моделей. | <a href="https://www.youtube.com/watch?v=sN6aT9TpltU&list=PL5B692fm6--uQRRDTPsJDp4o0xbzkoyf8&index=11" target="_blank"><img src=https://github.com/dusty-nv/jetson-inference/raw/master/docs/images/thumbnail_imagenet_training.jpg width="750"></a> |
| <a href="https://www.youtube.com/watch?v=obt60r8ZeB0&list=PL5B692fm6--uQRRDTPsJDp4o0xbzkoyf8&index=12" target="_blank">**Вывод объектов с помощью детекции**</a><br/>Напишите собственную программу на Python для детекции объектов с использованием Jetson Nano и глубокого обучения, а затем проведите эксперименты с реального времени детекции на потоке видеосигнала с камеры. | <a href="https://www.youtube.com/watch?v=obt60r8ZeB0&list=PL5B692fm6--uQRRDTPsJDp4o0xbzkoyf8&index=12" target="_blank"><img src=https://github.com/dusty-nv/jetson-inference/raw/master/docs/images/thumbnail_detectnet.jpg width="750"></a> || <a href="https://www.youtube.com/watch?v=2XMkPW_sIGg&list=PL5B692fm6--uQRRDTPsJDp4o0xbzkoyf8&index=13" target="_blank">**Обучение моделям детекции объектов**</a><br/>Узнайте, как обучать модели детекции объектов с использованием PyTorch на Jetson Nano, и собирайте собственные наборы данных для создания пользовательских моделей. | <a href="https://www.youtube.com/watch?v=2XMkPW_sIGg&list=PL5B692fm6--uQRRDTPsJDp4o0xbzkoyf8&index=13" target="_blank"><img src="https://github.com/dusty-nv/jetson-inference/raw/master/docs/images/thumbnail_detectnet_training.jpg" width="750"></a> |
| <a href="https://www.youtube.com/watch?v=AQhkMLaB_fY&list=PL5B692fm6--uQRRDTPsJDp4o0xbzkoyf8&index=14" target="_blank">**Семантическое сегментирование**</a><br/>Проведите эксперименты с полностью свёрточными сетями семантического сегментирования на Jetson Nano, и запустите реального времени сегментирования на потоке видеосигнала с камеры. | <a href="https://www.youtube.com/watch?v=AQhkMLaB_fY&list=PL5B692fm6--uQRRDTPsJDp4o0xbzkoyf8&index=14" target="_blank"><img src="https://github.com/dusty-nv/jetson-inference/raw/master/docs/images/thumbnail_segnet.jpg" width="750"></a> |
## Справочник по API#### jetson-inference
| | [C++](https://rawgit.com/dusty-nv/jetson-inference/dev/docs/html/group__deepVision.html) | [Python](https://rawgit.com/dusty-nv/jetson-inference/dev/docs/html/python/jetson.inference.html) |
|-------------------|--------------|--------------|
| Распознавание изображений | [`imageNet`](https://rawgit.com/dusty-nv/jetson-inference/dev/docs/html/classimageNet.html) | [`imageNet`](https://rawgit.com/dusty-nv/jetson-inference/dev/docs/html/python/jetson.inference.html#imageNet) |
| Обнаружение объектов | [`detectNet`](https://rawgit.com/dusty-nv/jetson-inference/dev/docs/html/classdetectNet.html) | [`detectNet`](https://rawgit.com/dusty-nv/jetson-inference/dev/docs/html/python/jetson.inference.html#detectNet) |
| Сегментация | [`segNet`](https://rawgit.com/dusty-nv/jetson-inference/dev/docs/html/classsegNet.html) | [`segNet`](https://rawgit.com/dusty-nv/jetson-inference/pytorch/docs/html/python/jetson.inference.html#segNet) |
| Оценка позы | [`poseNet`](https://rawgit.com/dusty-nv/jetson-inference/dev/docs/html/classposeNet.html) | [`poseNet`](https://rawgit.com/dusty-nv/jetson-inference/dev/docs/html/python/jetson.inference.html#poseNet) |
| Оценка глубины | [`depthNet`](https://rawgit.com/dusty-nv/jetson-inference/dev/docs/html/classdepthNet.html) | [`depthNet`](https://rawgit.com/dusty-nv/jetson-inference/dev/docs/html/python/jetson.inference.html#depthNet) |
#### jetson-utils
* [C++](https://rawgit.com/dusty-nv/jetson-inference/dev/docs/html/group__util.html)
* [Python](https://rawgit.com/dusty-nv/jetson-inference/dev/docs/html/python/jetson.utils.html)
Эти библиотеки могут быть использованы в внешних проектах путем ссылки на `libjetson-inference` и `libjetson-utils`.
## Примеры кода
Введение в использование библиотеки через шаги туториала "Hello AI World" охватывает следующие разделы:* [Создание собственной программы распознавания изображений (Python)](docs/imagenet-example-python-2.md)
* [Создание собственной программы распознавания изображений (C++)](docs/imagenet-example-2.md)Дополнительные примеры на C++ и Python для запуска сетей на статических изображениях и потоковых данных с веб-камеры можно найти здесь:
| | C++ | Python |
|-------------------|---------------------|---------------------|
| Распознавание изображений | [`imagenet.cpp`](examples/imagenet/imagenet.cpp) | [`imagenet.py`](python/examples/imagenet.py) |
| Обнаружение объектов | [`detectnet.cpp`](examples/detectnet/detectnet.cpp) | [`detectnet.py`](python/examples/detectnet.py) |
| Сегментация | [`segnet.cpp`](examples/segnet/segnet.cpp) | [`segnet.py`](python/examples/segnet.py) |
| Оценка позы | [`posenet.cpp`](examples/posenet/posenet.cpp) | [`posenet.py`](python/examples/posenet.py) |
| Монокулярная глубина | [`depthnet.cpp`](examples/depthnet/segnet.cpp) | [`depthnet.py`](python/examples/depthnet.py) |
> **Примечание**: для работы с numpy массивами, см. [Конвертация в numpy массивы](docs/aux-image.md#converting-to-numpy-arrays) и [Конвертация из numpy массивов](docs/aux-image.md#converting-from-numpy-arrays)
Эти примеры будут автоматически компилироваться при [Сборке проекта из исходного кода](docs/building-repo-2.md), и они могут запускать предварительно обученные модели, перечисленные ниже, а также пользовательские модели. Запустите каждый пример с помощью `--help` для получения информации о использовании.## Предварительно обученные модели
Проект включает в себя несколько предварительно обученных моделей, доступных через [**Инструмент загрузки моделей**](docs/building-repo-2.md#downloading-models):
#### Распознавание изображений
| Сеть | Аргумент CLI | NetworkType enum |
| --------------|----------------|------------------|
| AlexNet | `alexnet` | `ALEXNET` |
| GoogleNet | `googlenet` | `GOOGLENET` |
| GoogleNet-12 | `googlenet-12` | `GOOGLENET_12` |
| ResNet-18 | `resnet-18` | `RESNET_18` |
| ResNet-50 | `resnet-50` | `RESNET_50` |
| ResNet-101 | `resnet-101` | `RESNET_101` |
| ResNet-152 | `resnet-152` | `RESNET_152` |
| VGG-16 | `vgg-16` | `VGG_16` |
| VGG-19 | `vgg-19` | `VGG_19` |
| Inception-v4 | `inception-v4` | `INCEPTION_V4` |
#### Обнаружение объектов
| Сеть | Аргумент CLI | Тип сети enum | Классы объектов |
| ---------------------|--------------------|-----------------|-----------------------|
| SSD-Mobilenet-v1 | `ssd-mobilenet-v1` | `SSD_MOBILENET_V1` | 91 ([Классы COCO](data/networks/ssd_coco_labels.txt)) |
| SSD-Mobilenet-v2 | `ssd-mobilenet-v2` | `SSD_MOBILENET_V2` | 91 ([Классы COCO](data/networks/ssd_coco_labels.txt)) |
| SSD-Inception-v2 | `ssd-inception-v2` | `SSD_INCEPTION_V2` | 91 ([Классы COCO](data/networks/ssd_coco_labels.txt)) |
| DetectNet-COCO-Dog | `coco-dog` | `COCO_DOG` | собаки |
| DetectNet-COCO-Bottle| `coco-bottle` | `COCO_BOTTLE` | бутылки |
| DetectNet-COCO-Chair | `coco-chair` | `COCO_CHAIR` | стулья |
| DetectNet-COCO-Airplane| `coco-airplane` | `COCO_AIRPLANE` | самолеты |
| ped-100 | `pednet` | `PEDNET` | пешеходы |
| multiped-500 | `multiped` | `PEDNET_MULTI` | пешеходы, багаж |
| facenet-120 | `facenet` | `FACENET` | лица |#### Семантическое сегментирование| Датасет | Разрешение | Аргумент CLI | Точность | Jetson Nano | Jetson Xavier |
|:------------:|:----------:|--------------|:--------:|:-----------:|:-------------:|:-------------:|
| [Cityscapes](https://www.cityscapes-dataset.com/) | 512x256 | `fcn-resnet18-cityscapes-512x256` | 83.3% | 48 кадров/с | 480 кадров/с |
| [Cityscapes](https://www.cityscapes-dataset.com/) | 1024x512 | `fcn-resnet18-cityscapes-1024x512` | 87.3% | 12 кадров/с | 175 кадров/с |
| [Cityscapes](https://www.cityscapes-dataset.com/) | 2048x1024 | `fcn-resnet18-cityscapes-2048x1024` | 89.6% | 3 кадра/с | 47 кадров/с |
| [DeepScene](http://deepscene.cs.uni-freiburg.de/) | 576x320 | `fcn-resnet18-deepscene-576x320` | 96.4% | 26 кадров/с | 360 кадров/с |
| [DeepScene](http://deepscene.cs.uni-freiburg.de/) | 864x480 | `fcn-resnet18-deepscene-864x480` | 96.9% | 14 кадров/с | 190 кадров/с |
| [Multi-Human](https://lv-mhp.github.io/) | 512x320 | `fcn-resnet18-mhp-512x320` | 86.5% | 34 кадра/с | 370 кадров/с |
| [Multi-Human](https://lv-mhp.github.io/) | 640x360 | `fcn-resnet18-mhp-512x320` | 87.1% | 23 кадра/с | 325 кадров/с |
| [Pascal VOC](http://host.robots.ox.ac.uk/pascal/VOC/) | 320x320 | `fcn-resnet18-voc-320x320` | 85.9% | 45 кадров/с | 508 кадров/с |
| [Pascal VOC](http://host.robots.ox.ac.uk/pascal/VOC/) | 512x320 | `fcn-resnet18-voc-512x320` | 88.5% | 34 кадров/с | 375 кадров/с |
| [SUN RGB-D](http://rgbd.cs.princeton.edu/) | 512x400 | `fcn-resnet18-sun-512x400` | 64.3% | 28 кадров/с | 340 кадров/с |
| [SUN RGB-D](http://rgbd.cs.princeton.edu/) | 640x512 | `fcn-resnet18-sun-640x512` | 65.1% | 17 кадров/с | 224 кадров/с |
* Если разрешение не указано в аргументе командной строки, загружается модель с наименьшим разрешением.
* Точность указывает на точность классификации пикселей по всему набору данных проверки модели.
* Высокая производительность измеряется в режиме GPU FP16 с JetPack 4.2.1, `nvpmodel 0` (MAX-N).<details>
<summary>Устаревшие модели сегментации</summary>
| Сеть | Аргумент командной строки | Символ NetworkType enum | Классы |
| ------------------------|---------------------------------|---------------------------------|---------|
| Cityscapes (2048x2048) | `fcn-alexnet-cityscapes-hd` | `FCN_ALEXNET_CITYSCAPES_HD` | 21 |
| Cityscapes (1024x1024) | `fcn-alexnet-cityscapes-sd` | `FCN_ALEXNET_CITYSCAPES_SD` | 21 |
| Pascal VOC (500x356) | `fcn-alexnet-pascal-voc` | `FCN_ALEXNET_PASCAL_VOC` | 21 |
| Synthia (CVPR16) | `fcn-alexnet-synthia-cvpr` | `FCN_ALEXNET_SYNTHIA_CVPR` | 14 |
| Synthia (Summer-HD) | `fcn-alexnet-synthia-summer-hd` | `FCN_ALEXNET_SYNTHIA_SUMMER_HD` | 14 |
| Synthia (Summer-SD) | `fcn-alexnet-synthia-summer-sd` | `FCN_ALEXNET_SYNTHIA_SUMMER_SD` | 14 |
| Aerial-FPV (1280x720) | `fcn-alexnet-aerial-fpv-720p` | `FCN_ALEXNET_AERIAL_FPV_720p` | 2 |
</details>
#### Оценка позы
| Модель | Аргумент командной строки | Символ NetworkType enum | Точки ключевые |
| ------------------------|--------------------|--------------------|-----------|
| Pose-ResNet18-Body | `resnet18-body` | `RESNET18_BODY` | 18 |
| Pose-ResNet18-Hand | `resnet18-hand` | `RESNET18_HAND` | 21 |
| Pose-DenseNet121-Body | `densenet121-body` | `DENSENET121_BODY` | 18 |
## Рекомендованные системные требования* Jetson Nano Developer Kit с JetPack 4.2 или более новой версией (Ubuntu 18.04 aarch64).
* Jetson Nano 2GB Developer Kit с JetPack 4.4.1 или более новой версией (Ubuntu 18.04 aarch64).
* Jetson Xavier NX Developer Kit с JetPack 4.4 или более новой версией (Ubuntu 18.04 aarch64).
* Jetson AGX Xavier Developer Kit с JetPack 4.0 или более новой версией (Ubuntu 18.04 aarch64).
* Jetson TX2 Developer Kit с JetPack 3.0 или более новой версией (Ubuntu 16.04 aarch64).
* Jetson TX1 Developer Kit с JetPack 2.3 или более новой версией (Ubuntu 16.04 aarch64). Секция [Transfer Learning с PyTorch](#training) учебника описывает использование PyTorch для обучения DNN на борту Jetson, однако тот же код PyTorch можно использовать на ПК, сервере или облачном экземпляре с дискретным GPU NVIDIA для более быстрого обучения.## Дополнительные ресурсы
В этом разделе приведены ссылки и ресурсы для глубокого обучения:
* [ros_deep_learning](http://www.github.com/dusty-nv/ros_deep_learning) - ROS-узлы для инференса с TensorRT
* [NVIDIA AI IoT](https://github.com/NVIDIA-AI-IOT) - Репозитории GitHub NVIDIA Jetson
* [Jetson eLinux Wiki](https://www.eLinux.org/Jetson) - Wiki Jetson eLinux
## Два дня до демонстрации (DIGITS)
> **Примечание:** учебник DIGITS/Caffe ниже устарел. Рекомендуется следовать [учебнику Transfer Learning с PyTorch](#training) из "Hello AI World".<details>
<summary>Разверните этот раздел, чтобы увидеть оригинальный учебник DIGITS (устарел)</summary>
<br/>
Учебник DIGITS включает обучение DNN в облаке или на ПК, а также инференс на Jetson с TensorRT, и может занять около двух дней или больше в зависимости от настройки системы, загрузки наборов данных и скорости обучения вашего GPU.
* [Поток работы DIGITS](docs/digits-workflow.md)
* [Настройка системы DIGITS](docs/digits-setup.md)
* [Настройка Jetson с помощью JetPack](docs/jetpack-setup.md)
* [Компиляция проекта из исходного кода](docs/building-repo.md)
* [Классификация изображений с использованием ImageNet](docs/imagenet-console.md)
* [Использование консольной программы на Jetson](docs/imagenet-console.md#using-the-console-program-on-jetson)
* [Программирование собственной программы распознавания изображений](docs/imagenet-example.md)
* [Запуск демонстрационного приложения распознавания изображений в реальном времени](docs/imagenet-camera.md)
* [Переобучение сети с использованием DIGITS](docs/imagenet-training.md)
* [Загрузка набора данных для распознавания изображений](docs/imagenet-training.md#downloading-image-recognition-dataset)
* [Настройка классов объектов](docs/imagenet-training.md#customizing-the-object-classes)
* [Импорт набора данных классификации в DIGITS](docs/imagenet-training.md#importing-classification-dataset-into-digits)
* [Создание модели классификации изображений с использованием DIGITS](docs/imagenet-training.md#creating-image-classification-model-with-digits)
* [Тестирование модели классификации в DIGITS](docs/imagenet-training.md#testing-classification-model-in-digits)
* [Загрузка снимка модели на Jetson](docs/imagenet-snapshot.md)
</details> * [Загрузка пользовательских моделей на Jetson](docs/imagenet-custom.md)
* [Обнаружение объектов с использованием DetectNet](docs/detectnet-training.md)
* [Форматирование данных обнаружения в DIGITS](docs/detectnet-training.md#detection-data-formatting-in-digits)
* [Загрузка набора данных обнаружения](docs/detectnet-training.md#downloading-the-detection-dataset)
* [Импорт набора данных обнаружения в DIGITS](docs/detectnet-training.md#importing-the-detection-dataset-into-digits)
* [Создание модели DetectNet с использованием DIGITS](docs/detectnet-training.md#creating-detectnet-model-with-digits)
* [Тестирование модели обнаружения DetectNet в DIGITS](docs/detectnet-training.md#testing-detectnet-model-inference-in-digits)
* [Загрузка модели обнаружения на Jetson](docs/detectnet-snapshot.md)
* [Патчи DetectNet для TensorRT](docs/detectnet-snapshot.md#detectnet-patches-for-tensorrt)
* [Обнаружение объектов из командной строки](docs/detectnet-console.md)
* [Многоклассовые модели обнаружения объектов](docs/detectnet-console.md#multi-class-object-detection-models)
* [Запуск демонстрационного приложения обнаружения объектов в реальном времени на Jetson](docs/detectnet-camera.md)
* [Семантическое сегментирование с использованием SegNet](docs/segnet-dataset.md)
* [Загрузка набора данных беспилотников](docs/segnet-dataset.md#downloading-aerial-drone-dataset)
* [Импорт аэрокосмического набора данных в DIGITS](docs/segnet-dataset.md#importing-the-aerial-dataset-into-digits)
* [Генерация предобученной FCN-Alexnet](docs/segnet-pretrained.md)
* [Обучение FCN-Alexnet с помощью DIGITS](docs/segnet-training.md)
* [Тестирование модели вывода в DIGITS](docs/segnet-training.md#testing-inference-model-in-digits)
* [Фрагменты FCN-Alexnet для TensorRT](docs/segnet-patches.md)* [Запуск моделей сегментации на Jetson](docs/segnet-console.md)</details>##
<p align="center"><sup>© 2016-2019 NVIDIA | </sup><a href="#развертывание-глубокого-обучения"><sup>Содержание</sup></a></p>
Вы можете оставить комментарий после Вход в систему
Неприемлемый контент может быть отображен здесь и не будет показан на странице. Вы можете проверить и изменить его с помощью соответствующей функции редактирования.
Если вы подтверждаете, что содержание не содержит непристойной лексики/перенаправления на рекламу/насилия/вульгарной порнографии/нарушений/пиратства/ложного/незначительного или незаконного контента, связанного с национальными законами и предписаниями, вы можете нажать «Отправить» для подачи апелляции, и мы обработаем ее как можно скорее.
Комментарии ( 0 )