########  ##       ##              ##
                                ##     ## ##       ##    ##        ##
                                ##     ## ##       ##    ##        ##
                       **$**    ##     ## ##       ##    ##        ##    **$**
                                ##     ## ##       ######### ##    ##
                                ##     ## ##             ##  ##    ##
                                ########  ########       ##   ######
              .   :::: :   :    :   :     : ::::  :     ::::    :::::  :::: ::::  :::::   .
              .   :    :   :   : :  ::   :: :   : :     :       :   :  :    :   : :   :   .
              .   :     : :   :   : : : : : :   : :     :       :   :  :    :   : :   :   .
              .   :::    :    :   : :  :  : ::::  :     :::     :::::  :::  ::::  :   :   .
              .   :     : :   ::::: :     : :     :     :       :  :   :    :     :   :   .
              .   :    :   :  :   : :     : :     :     :       :   :  :    :     :   :   .
              .   :::: :   :  :   : :     : :     ::::: ::::    :    : :::: :     :::::   .

Для поддержки, пожалуйста, перейдите на: https://community.konduit.ai

Мы не часто мониторим проблемы GitHub этого репозитория.## Введение Экосистема Eclipse Deeplearning4J (DL4J) представляет собой набор проектов, предназначенных для поддержки всех потребностей приложения на основе JVM для глубокого обучения. Это означает, что начиная с сырых данных, загрузки и предварительной обработки их из любого формата и источника, до построения и настройки широкого спектра простых и сложных сетей глубокого обучения. Стек DL4J включает в себя:

• DL4J: Высокий уровень API для построения MultiLayerNetworks и ComputationGraphs с использованием различных слоев, включая пользовательские. Поддерживает импорт моделей Keras из h5, включая tf.keras модели (начиная с версии 1.0.0-M2) и также поддерживает распределенное обучение на Apache Spark.

• ND4J: Общедоступная библиотека линейной алгебры с более чем 500 математическими, линейными алгебраическими и глубокими обучающими операциями. ND4J основана на высокооптимизированном C++ кодовом базисе LibND4J, который обеспечивает поддержку и ускорение для ЦПУ (AVX2/512) и GPU (CUDA) с использованием библиотек, таких как OpenBLAS, OneDNN (MKL-DNN), cuDNN, cuBLAS и т. д.

• SameDiff: Часть библиотеки ND4J, SameDiff является нашим автоматическим дифференциальным / глубоким обучающим фреймворком. SameDiff использует графический подход (определение, затем выполнение), похожий на режим графа TensorFlow. Планируется поддержка графа с жадным выполнением (режим TensorFlow 2.x жадного выполнения / PyTorch).SameDiff поддерживает импорт формата замороженной модели TensorFlow .pb (protobuf). Планируется поддержка импорта моделей ONNX, TensorFlow SavedModel и Keras. Deeplearning4j также имеет полную поддержку SameDiff для легкого написания пользовательских слоев и функций потерь.

• DataVec: ETL для данных машинного обучения в различных форматах и файлах (HDFS, Spark, изображения, видео, аудио, CSV, Excel и т. д.).

• LibND4J: C++ библиотека, которая лежит в основе всего. Для получения дополнительной информации о том, как JVM получает доступ к нативным массивам и операциям, обратитесь к JavaCPP.

Все проекты в экосистеме DL4J поддерживают Windows, Linux и macOS. Поддержка аппаратного обеспечения включает CUDA GPU (10.0, 10.1, 10.2, кроме OSX), x86 CPU (x86_64, avx2, avx512), ARM CPU (arm, arm64, armhf) и PowerPC (ppc64le).## Предварительные требования Этот пример репозитория состоит из нескольких отдельных Maven Java проектов, каждый из которых имеет свои собственные файлы pom.xml. Maven — это популярный инструмент автоматизации сборки для Java-проектов. Содержимое файла "pom.xml" определяет конфигурации. Подробнее о том, как настроить Maven, можно прочитать здесь.

Пользователи также могут обратиться к простому образцу проекта, предоставленному здесь, чтобы начать работу с чистым проектом с нуля.

Инструменты сборки считаются стандартной практикой в области программной инженерии. Кроме того, сложности, возникающие из-за проектов в экосистеме DL4J, делают управление зависимостями вручную слишком сложным. Все проекты в экосистеме DL4J могут использоваться с другими инструментами сборки, такими как Gradle, SBT и т.д. Дополнительная информация об этом доступна здесь.

Поддержка

Для получения помощи с примерами, пожалуйста, перейдите на наш форум поддержки

Примечание для пользователей версий 1.0.0-beta7 и более ранних: некоторые примеры и модули были удалены, чтобы отразить изменения в направлении фреймворка. Подробнее об этом можно прочитать здесьЕсли вам нужен обходной путь для чего-то, что вы можете потерять, пожалуйста, оставьте сообщение на форумах, и мы постараемся помочь вам.

Примеры содержимого

Проекты основаны на функциональности, демонстрируемой включёнными примерами, а не обязательно на том, в какой библиотеке из стека DL4J эта функциональность находится.

Примеры в проекте в целом разделены на "quickstart" и "advanced".

Каждый проект README также содержит список всех примеров, которые он содержит, с рекомендованным порядком их изучения.

• dl4j-examples Этот проект содержит набор примеров, демонстрирующих использование высокого уровня API DL4J для построения различных нейронных сетей. Некоторые из этих примеров являются end-to-end, то есть они начинаются с сырых данных, обрабатывают их и затем строят и обучают нейронные сети на этих данных.

• tensorflow-keras-import-examples Этот проект содержит набор примеров, демонстрирующих, как импортировать модели Keras h5 и замороженные модели TensorFlow pb в экосистему DL4J. После импорта в DL4J эти модели можно использовать как любые другие модели DL4J — это означает, что вы можете продолжать обучение на них, модифицировать их с помощью API переносного обучения или просто выполнять инференс.- dl4j-distributed-training-examples Этот проект содержит набор примеров, демонстрирующих, как выполнять распределенное обучение, инференс и оценку в DL4J на Apache Spark. Распределенное обучение в DL4J использует "гибридный" асинхронный метод SGD — дополнительные сведения можно найти в документации по распределенному обучению здесь.- cuda-specific-examples Этот проект содержит набор примеров, демонстрирующих, как использовать несколько GPU для параллельного обучения нейронных сетей для повышения производительности.

• samediff-examples Этот проект содержит набор примеров, демонстрирующих API SameDiff. SameDiff (который является частью библиотеки ND4J) можно использовать для построения более низкоуровневых вычислительных графов с автоматическим дифференцированием. Аналог API SameDiff по отношению к API DL4J — это низкоуровневый API TensorFlow по отношению к более высокому уровню абстракции API Keras.

• data-pipeline-examples Этот проект содержит набор примеров, демонстрирующих, как загружать, разделять и предобрабатывать сырые данные в различных форматах для построения сериализуемых (и, следовательно, воспроизводимых) ETL-пайплайнов.

• nd4j-ndarray-examples Этот проект содержит набор примеров, демонстрирующих, как манипулировать NDArrays. Функциональность ND4J, показанная здесь, аналогична функциональности библиотеки NumPy.

• rl4j-examples Этот проект содержит примеры использования библиотеки RL4J для обучения с подкреплением в DL4J.- android-examples Этот проект содержит пример проекта для Android, демонстрирующий использование DL4J в приложении для Android.## Обратная связь и вклад Хотя этот набор примеров не охватывает все функции, доступные в DL4J, цель состоит в том, чтобы охватить функциональность, необходимую большинству пользователей — как начинающим, так и продвинутым. Если у вас есть отзывы или запросы на новые функции, которые не охвачены здесь, создайте задачу. Мы также доступны через наше сообщество для ответов на вопросы. Мы приветствуем вклады от сообщества. Более подробная информация доступна здесь Мы любим получать от вас обратную связь. Спасибо!