FauxPilot

Это попытка создать локальную альтернативу GitHub Copilot. Он использует модели SalesForce CodeGen внутри NVIDIA Triton Inference Server с бэкендом FasterTransformer.

Необходимые условия

Вам понадобятся:

• Docker;
• docker compose версии 1.28 или выше;
• Графический процессор NVIDIA с Compute Capability не ниже 6.0 и объёмом видеопамяти, достаточным для запуска нужной вам модели;
• nvidia-docker;
• Программы curl и zstd для скачивания и распаковки моделей.

Обратите внимание, что требования к объёму видеопамяти, указанные в setup.sh, являются общими — если у вас несколько графических процессоров, вы можете разделить модель между ними. Так, если у вас есть два графических процессора NVIDIA RTX 3080, вы должны иметь возможность запустить модель 6B, разместив половину на каждом графическом процессоре.

Поддержка и гарантия

Хорошо, ладно, теперь у нас есть некоторая минимальная информация на вики и форуме для обсуждений, где вы можете задавать вопросы. Однако официальной поддержки или гарантии всё ещё нет!

Настройка

В этом разделе описывается, как установить сервер и клиенты Fauxpilot.

Настройка сервера FauxPilot

Запустите скрипт установки, чтобы выбрать модель для использования. Это загрузит модель из Huggingface/Moyix в формате GPT-J, а затем преобразует её для использования с FasterTransformer.

Пожалуйста, обратитесь к разделу Как настроить сервер.

Конфигурация клиента для FauxPilot

Мы предлагаем несколько способов подключения к серверу FauxPilot. Например, вы можете создать клиент, используя Openai API, плагин Copilot, REST API.

Пожалуйста, ознакомьтесь с разделом Как настроить клиент.

Термины

• API: интерфейс прикладного программирования;
• CC: вычислительные возможности;
• CUDA: унифицированная архитектура вычислительных устройств;
• FT: Faster Transformer;
• JSON: нотация объектов JavaScript;
• gRPC: удалённый вызов процедур от Google;
• GPT-J: модель трансформатора, обученная с использованием Mesh Transformer JAX Бена Ванга;
• REST: передача состояния представления.