Калибровка DepthAI Factory

Обзор

Этот пакет содержит две рабочие области ROS: одну для узла захвата и калибровки depthai, а другую для управления роботом-манипулятором Interbotix ViperX 300 6DOF (KIT-VIPX300-6DOF) с использованием moveit.

В этом репозитории содержится плата charuco, используемая в этой калибровочной установке.

Причина наличия двух рабочих областей заключается в том, что нам нужен python3 для depthai и python2 для интерфейса interbotix moveit, предоставляемого interbotix здесь.

Python3 на ROS Melodic

Следуйте видео здесь до 30 минут, затем установите depthai.

Процедура настройки рабочей области на Ubuntu 18.04

1. Установите ROS melodic отсюда.
2. Установите зависимости → sudo apt install git cmake python-pip python3-pip.
3. Установите виртуальную среду python с помощью sudo pip install virtualenv.
4. Перейдите в домашний каталог cd ~.
5. Клонируйте репозиторий git clone https://github.com/luxonis/Factory-calibration-DepthAI.git.

Настройка узла калибровки

1. Перейдите в каталог python_ws cd ~/Factory-calibration-DepthAI/python3_ws.
2. Создайте виртуальную среду с помощью virtualenv py3venv --python=python3.
3. Активируйте виртуальную среду source py3venv/bin/activate.
4. Перейдите в основной каталог репозитория cd ~/Factory-calibration-DepthAI.
5. Установите библиотеки в виртуальной среде с помощью python -m pip install -r requirements.txt.
6. Вернитесь в рабочую область python3_ws cd ~/Factory-calibration-DepthAI/python3_ws.
7. Соберите пакет калибровки с помощью catkin_make.
8. Добавьте источник пакета ros в .bashrc echo "source ~/Factory-calibration-DepthAI/python3_ws/devel/setup.bash" >> ~/.bashrc.
9. Правила USB для Movidius echo 'SUBSYSTEM=="usb", ATTRS{idVendor}=="03e7", MODE="0666"' | sudo tee /etc/udev/rules.d/80-movidius.rules.
10. Перезагрузите правила usb sudo udevadm control --reload-rules && udevadm trigger.

Настройка узла робота-манипулятора Interbotix viperx 300s arm

1. Откройте новый терминал.
2. Установите rosdep sudo apt install python-rosdep2.
3. Откройте рабочую область interbotix_ws cd ~/Factory-calibration-DepthAI/interbotix_ws.
4. Инициализируйте rosdep с помощью sudo rosdep init.
5. Соберите проект с помощью catkin_make (будут выданы ошибки, это нормально).
6. rosdep update обновляет необходимые зависимости.
7. Установите недостающие зависимости с помощью rosdep install --from-paths src --ignore-src -r -y.
8. Соберите пакет ещё раз. catkin_make.
9. Установка зависимостей python, не объявленных в package.xml python -m pip install rospkg pygame.
10. Добавьте пути пакетов в echo "source ~/Factory-calibration-DepthAI/interbotix_ws/devel/setup.bash" >> ~/.bashrc.
11. Загрузите правила usb sudo cp src/interbotix_sdk/10-interbotix-udev.rules /etc/udev/rules.d.
12. Перезагрузите правила usb sudo udevadm control --reload-rules && udevadm trigger.

Запуск калибровки с использованием робота-манипулятора Interbotix ViperX 300

1. Откройте два терминала, скажем, #1 и #2.
2. В #1 активируйте виртуальную среду с помощью source ~/Factory-calibration-DepthAI/python3_ws/py3venv/bin/activate.
3. В #1 запустите узел калибровки с помощью roslaunch calibration depthai_calib.launch brd:=bw1098obc (измените имя платы и добавьте файл конфигурации, если он недоступен).
4. В #2 используйте следующую команду для запуска руки roslaunch interbotix_moveit_interface moveit_interface.launch robot_name:=vx300s use_actual:=true dof:=6.
5. Альтернатива шагу 4. Во время сборки был создан значок приложения под названием «узел руки», который также можно использовать для запуска руки. Используйте catkin_make install в interbotix_ws, чтобы включить это. Без руки робота (не рекомендуется. Пожалуйста, используйте скрипт на Python здесь).
6. Откройте три терминала, назовите их #1, #2 и #3.
7. В терминале #1 активируйте виртуальное окружение с помощью команды source ~/Factory-calibration-DepthAI/python3_ws/py3venv/bin/activate.
8. В терминале #1 запустите узел калибровки с помощью команды roslaunch calibration depthai_calib.launch brd:=bw1098obc.
9. Выберите CCM в окне. (Это окно локального логирования и на данный момент никак не влияет на калибровку, но необходимо для продолжения.)
10. Выполните все следующие команды в терминале #3.
11. Сначала выполните команду rosservice call /device_status "name: ''", чтобы проверить соединение и сделать окно доступным.
12. Если используется ветка rgb_calibration, запустите rqt визуализацию rqt_image_view (в правом верхнем углу окна выберите color).
13. Выполните команду rosservice call /capture_checkerboard "name: 'right_1'" для захвата изображения в нужном положении. (Необходимо выполнить эту команду для разных положений и при этом изменять имя в команде.) Одновременно проверьте окно, созданное терминалом #2, чтобы убедиться, что изображение чёткое и не расфокусировано.
14. После захвата 6+ чётких изображений в разных положениях выполните следующую команду для калибровки и записи в eeprom: rosservice call /calibrate_stereo "name: 'charuco'".
15. Альтернативный вариант шагу 4: во время сборки был создан значок приложения под названием «arm node», который также можно использовать для запуска руки.

Пример результатов успешной и неудачной калибровки в графическом интерфейсе

Пример результата калибровки

Компоненты оборудования и стоимость

• Interbotix ViperX 300 Robot Arm 6DOF (KIT-VIPX300-6DOF): $5,000
• Intel NUC 8 (NUC8i5BEH): $300
• Corsair Memory Kit 16GB ((2x8GB) DDR4 2400MHz SODIMM Memory): $75
• Samsung 970 EVO Plus SSD 500GB (MZ-V7S500B/AM): $90
• 4-Port USB 3.0 Hub (HB-UM43): $11 (USB-хаб позволяет подключать более короткие кабели прямо на руке.)

ИТОГО: $5,476