Слияние кода завершено, страница обновится автоматически
(русский|English)
***Paddle Serving использует глубокое обучение PaddlePaddle для предоставления высокопроизводительной, гибкой и удобной в использовании онлайн-системы вывода для разработчиков глубокого обучения и предприятий. Paddle Serving поддерживает протоколы RESTful, gRPC, bRPC и другие. Он предлагает решения для вывода на различных типах аппаратного обеспечения и операционных системах, а также примеры использования множества классических предварительно обученных моделей. Основные характеристики представлены ниже:
Интеграция высокопроизводительной серверной системы вывода Paddle Inference и клиентской системы Paddle Lite, а также возможность миграции моделей с других платформ машинного обучения (Caffe/TensorFlow/ONNX/PyTorch) с помощью инструмента x2paddle.
Предоставление двух высокоэффективных систем: C++ Serving и удобной в использовании Python Pipeline. C++ Serving основана на высокопроизводительном сетевом фреймворке bRPC и обеспечивает высокую пропускную способность и низкие задержки при выводе. Python Pipeline использует сетевые фреймворки gRPC/gRPC-Gateway и язык программирования Python для создания удобной и производительной системы вывода. Подробнее о выборе технологий см. раздел технический выбор.
Поддержка протоколов HTTP, gRPC, bRPC и других.; предоставление SDK на языках C++, Python и Java.
Реализация асинхронной системы вывода на основе направленного ациклического графа (DAG), поддерживающая работу с несколькими моделями, асинхронное планирование, параллельный вывод, динамическое группирование запросов, вывод на нескольких картах и потоках, кэширование запросов и др.
Поддержка различных аппаратных конфигураций: x86 (Intel) процессоры, ARM процессоры, Nvidia GPU, Kunlun XPU, Huawei Ascend 310/910, Hygon DCU, Nvidia Jetson и др.
Интеграция библиотек ускорения Intel MKLDNN и Nvidia TensorRT, а также использование низкопрямичной квантовой модели вывода.
Предоставление решения по безопасному развертыванию моделей, включающее шифрование моделей, проверку авторизации, HTTPS-безопасный шлюз, применяемое в реальных проектах.
Поддержка облачного развертывания; пример развертывания Paddle Serving на кластере Kubernetes Baidu Cloud Intelligent Cloud.
Предоставление множества примеров развертывания классических моделей, таких как PaddleOCR, PaddleClas, PaddleDetection, PaddleSeg, PaddleNLP, PaddleRec и др., всего более 40 предобученных моделей.
Поддержка распределенного развертывания больших моделей со слабо связанными параметрами, включая работу с несколькими таблицами, фрагментами и копиями, локальным кэшем высокочастотных запросов, возможностью развертывания на одном компьютере или в облаке.- Поддержка мониторинга сервиса, предоставляющая данные о производительности через Prometheus и отслеживание доступа к портам.
Установка и развертывание
Эта глава поможет вам пройти через шаги установки и развертывания. Рекомендуется использовать Docker для развертывания Paddle Serving. Если вы не используете Docker, пропустите шаги, связанные с Docker. На облачных серверах можно использовать Kubernetes для развертывания Paddle Serving. Для компиляции и использования Paddle Serving на неоднородных устройствах, таких как ARM CPU, Kunlun XPU, Huawei Ascend NPU, Hygon DCU и Jetson, прочитайте следующие документы. Каждый день создается последняя версия разработки для разработчиков.
После установки Paddle Serving следуйте быстрому руководству для запуска Serving. Конкретные шаги приведены ниже:
Первый шаг — вызвать модель для сохранения интерфейса, чтобы сгенерировать конфигурационный файл модели (.prototxt) для использования в клиентской и серверной части.Второй шаг — прочитайте конфигурацию и параметры запуска, а затем запустите службу;
Третий шаг — используйте API и вашу конкретную ситуацию, чтобы написать запрос клиента с помощью SDK и протестировать сервис вывода. Для получения более подробной информации о сценариях использования и методах работы с различными возможностями обратитесь к следующим документам.- Быстрое начало
Для разработчиков Paddle Serving предлагается возможность создания пользовательских операторов и обработки данных переменной длины.
Paddle Serving и набор моделей Paddle тесно взаимодействуют, обеспечивая массовое развертывание в виде сервисов, включая примеры различных типов, таких как распознавание изображений, детекция объектов, распознавание текста естественного языка, анализ части речи китайского языка, анализ тональности, рекомендательные системы и многое другое, а также проекты целиком на основе Paddle, всего 46 моделей.
| Распознавание изображений | NLP | Рекомендательные системы | Распознавание лиц | Детекция объектов | Распознавание текста | Разделение изображений | Определение ключевых точек | Анализ видео |
|---|---|---|---|---|---|---|---|---|
| 14 | 6 | 3 | 1 | 10 | 8 | 2 | 1 | 1 |
Дополнительные примеры моделей доступны по ссылке библиотека моделей.
Вы хотите общаться с другими разработчиками и пользователями? Приглашаем вас присоединиться к нашему сообществу через следующие способы:### WeChat
Вклад в код
Если вы хотите внести свой вклад в Paddle Serving, пожалуйста, обратитесь к Руководству по вкладу (англ.).
list[str]
Обратная связь
Если у вас есть какие-либо предложения или обнаружены баги, пожалуйста, отправьте их в GitHub Issue.
ЛицензияЛицензия Apache 2.0
Вы можете оставить комментарий после Вход в систему
Неприемлемый контент может быть отображен здесь и не будет показан на странице. Вы можете проверить и изменить его с помощью соответствующей функции редактирования.
Если вы подтверждаете, что содержание не содержит непристойной лексики/перенаправления на рекламу/насилия/вульгарной порнографии/нарушений/пиратства/ложного/незначительного или незаконного контента, связанного с национальными законами и предписаниями, вы можете нажать «Отправить» для подачи апелляции, и мы обработаем ее как можно скорее.
Комментарии ( 0 )