Слияние кода завершено, страница обновится автоматически
Цель проекта — создание модульного робота-практика для официального сайта MindSpore, который позволит разработчикам решать 80% вопросов самостоятельно, улучшая удобство использования документации MindSpore.
В настоящее время инструментальная цепочка MindSpore полностью поддерживается на Linux, поэтому ниже приведены инструкции по установке на Ubuntu 18.04.
MindSpore предоставляет автоматизированные скрипты установки для Ubuntu. Следуйте инструкциям по установке, чтобы установить Python 3.9 и версию MindSpore 1.7.0. Выполните следующие команды:
# Установка MindSpore 1.7.0, Python 3.9 и CUDA 11.1.
wget https://gitee.com/mindspore/mindspore/raw/master/scripts/install/ubuntu-gpu-pip.sh
PYTHON_VERSION=3.9 MINDSPORE_VERSION=1.7.0 bash -i ./ubuntu-gpu-pip.sh
Или используйте Conda для установки версии MindSpore с поддержкой GPU:
# Установка Python 3.9, CUDA 11.1 и последней версии MindSpore
wget https://gitee.com/mindspore/mindspore/raw/master/scripts/install/ubuntu-gpu-conda.sh
PYTHON_VERSION=3.9 bash -i ./ubuntu-gpu-conda.sh
pip install mindinsight.3. Установка инструмента интерпретации XAI:XAI — это инструментарий интерпретации AI, основанный на MindSpore. В настоящее время многие глубокие нейронные сети являются черными ящиками, которые хорошо работают, но имеют слабую интерпретируемость. Цель XAI — предоставить пользователям объяснения для принятых моделями решений, чтобы помочь им лучше понять, доверять моделям и улучшать их при возникновении ошибок. XAI также предлагает методы оценки эффективности объяснений, что позволяет пользователям сравнивать и выбирать наиболее подходящие методы объяснения для конкретных сценариев.
curl -O https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.5.0/Xai/any/mindspore_xai-1.5.0-py3-none-any.whl
pip install mindspore_xai-1.5.0-py3-none-any.whl
MindArmour — это подпроект MindSpore, который обеспечивает возможности безопасности и защиты конфиденциальности для MindSpore. Он включает в себя такие технологии, как противодействие устойчивым атакам, безопасное тестирование моделей, дифференциальное обучение с приватностью, оценку рисков утечки конфиденциальной информации и обнаружение смещения данных.
version=1.7.0
pip install https://ms-release.obs.cn-north-4.myhuaweicloud.com/{version}/MindArmour/any/mindarmour-${version}-py3-none-any.whl --trusted-host ms-release.obs.cn-north-4.myhuaweicloud.com -i https://pypi.tuna.tsinghua.edu.cn/simple
```5. Установка MindSpore Serving:
MindSpore Serving — это серверная часть для выполнения инференса в MindSpore, используемая для развертывания сервисов инференса на стороне облака. В настоящий момент поддерживаются различные аппаратные платформы (Nvidia GPU, чипы Ascend, CPU). В данном проекте Serving используется для развертывания сервисов инференса на стороне облака.
```bash
arch=x86_64
version=1.7.0
python_version=3.9.0
pip install https://ms-release.obs.cn-north-4.myhuaweicloud.com/${version}/Serving/${arch}/mindspore_serving-${version}-${python_version}-linux_${arch}.whl --trusted-host ms-release.obs.cn-north-4.myhuaweicloud.com -i https://pypi.tuna.tsinghua.edu.cn/simple
MindSpore Lite — это фреймворк для выполнения инференса на стороне устройства, используемый для развертывания моделей на устройствах. В данном проекте он используется для развертывания моделей в IDE и выполнения инференса.
curl -O https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.7.0/MindSpore/lite/release/linux/x86_64/mindspore-lite-1.7.0-linux-x64.tar.gz
tar -xvzf mindspore-lite-1.7.0-linux-x64.tar.gz
File -> Settings -> Plugins -> Install Plugin from Disk, и загрузить zip-архив с локального диска. После перезапуска IDE плагин будет доступен для использования.infra находится файл docker-compose, который позволяет запустить Jenkins с помощью команды docker-compose up -d. Для получения пароля для входа в Jenkins используйте команду docker-compose logs. После этого вы сможете приступить к настройке Jenkins, перейдя по адресу localhost:8080 в вашем браузере.Создайте кластер CCE Turbo на Huawei Cloud и добавьте два узла ECS.
Установите и настройте kubectl:
Скачайте kubectl с помощью команды curl -LO "https://dl.k8s.io/release/$(curl -L -s https://dl.k8s.io/release/stable.txt)/bin/linux/amd64/kubectl", затем установите его с помощью команды sudo install -o root -g root -m 0755 kubectl /usr/local/bin/kubectl.
На странице с подробной информацией о кластере CCE Turbo привяжите публичный IP-адрес, затем скачайте сертификаты и создайте директорию $HOME/.kube, добавив сертификаты в файл $HOME/.kube/config. Затем переключитесь на режим доступа через интернет с помощью команды kubectl config use-context external.
Используйте команду kubectl get nodes, чтобы получить информацию о узлах и проверить правильность настройки:
$ kubectl get nodes
NAME STATUS ROLES AGE VERSION
192.168.0.34 Ready <none> 5d1h v1.19.10-r0-CCE21.12.1.B004
192.168.0.39 Ready <none> 5d1h v1.19.10-r0-CCE21.12.1.B004
```### Настройка MLops-пайплайна
Проект сообщества робототехники охватывает несколько областей, таких как данные, признаки, модели и разработка приложений. Чтобы улучшить эффективность работы и взаимодействия между инженерами данных, исследователями моделей и разработчиками приложений, мы внедрили пайплайн MLops для упрощения E2E-цикла задач машинного обучения. Текущая версия построена на основе проекта [MLOps-Tools](https://github.com/TECH4DX/MLops-Tools#readme), а инструкции по настройке можно найти в репозитории проекта. Вы можете использовать [getting-started-guide.md](https://github.com/TECH4DX/MLops-Tools/blob/main/cd/examples/getting-started-guide.md), чтобы быстро и легко настроить свой первый пайплайн.## Подготовка данных
Файл `data.csv` находится в каталоге `data` и содержит данные, извлеченные из официальной документации. Сначала перейдите в каталог `src/model` и запустите скрипт `prepare_data.py`, чтобы подготовить данные.
* Файл `resource_sentence_encode.json` содержит закодированные вопросы из FAQ, где ключ — это вопрос, а значение — код вопроса после обработки с помощью BERT.
* Файл `q_a.json` содержит все данные FAQ, где ключ — это вопрос, а значение — ответ.
## Командная строка тест
Запустив `q_a.py` с параметром вопроса, можно найти ответ в существующей базе знаний.
* Выполнение: `python q_a.py изменение пути установки зависимых библиотек`
* Возвращаемый результат: Зависимые библиотеки по умолчанию устанавливаются в директорию build/mindspore/.mslib. Для изменения пути установки можно задать переменную окружения MSLIBS_CACHE_PATH, например `export MSLIBS_CACHE_PATH=~/.mslib`.
## Вызов Restful интерфейса
Перейдите в папку `src/qaRobot`, выполните команду `python manage.py runserver`
Для доступа используйте `http://127.0.0.1:8000/robot/api/?q=установка mindspore`, где параметр q — это вопрос:
```json
{
"question": "установка mindspore",
"answer": "Вы можете скачать whl пакет с [официального сайта MindSpore](https://www.mindspore.cn/versions) и установить его с помощью команды `pip install`."
}
Вы можете оставить комментарий после Вход в систему
Неприемлемый контент может быть отображен здесь и не будет показан на странице. Вы можете проверить и изменить его с помощью соответствующей функции редактирования.
Если вы подтверждаете, что содержание не содержит непристойной лексики/перенаправления на рекламу/насилия/вульгарной порнографии/нарушений/пиратства/ложного/незначительного или незаконного контента, связанного с национальными законами и предписаниями, вы можете нажать «Отправить» для подачи апелляции, и мы обработаем ее как можно скорее.
Комментарии ( 0 )