[!ВАЖНО]
В связи с созданием новой организации Mixed Reality Toolkit, теперь существует два репозитория MRTK, один для версии 3+ и один legacy для версии 2.
MRTK v3+
Новые версии Mixed Reality Toolkit будут выпускаться организацией Mixed Reality Toolkit с использованием репозитория по адресу https://github.com/MixedRealityToolkit/MixedRealityToolkit-Unity. Посетите этот репозиторий для последней версии проекта MRTK, и при создании новых задач или тем для обсуждения для версии MRTK 3 или выше.
MRTK v2 (Legacy)
Старый репозиторий MRTK2, https://github.com/microsoft/MixedRealityToolkit-Unity, остаётся под управлением Microsoft и остаётся на версии 2. Microsoft обязуется поддерживать следующую версию MRTK и рекомендует приложениям перейти на версию MRTK 3 или выше. Однако Microsoft продолжит поддерживать и решать критические проблемы MRTK2 до тех пор, пока MRTK2 не будет отозван. Пожалуйста, открывайте задачи и темы для обсуждения MRTK2 с использованием старого репозитория.
# Что такое Mixed Reality Toolkit
MRTK-Unity — это проект, управляемый Microsoft, который предоставляет набор компонентов и функций, используемых для ускорения разработки кросс-платформенных приложений MR в Unity. Вот некоторые из его функций:
XR SDK Plugin (Unity XR Plugin Management Providers) | Поддерживаемые устройства |
---|---|
Unity OpenXR Plugin (Unity 2020 или 2021 LTS) (Mixed Reality OpenXR Plugin требуется для некоторых функций на некоторых устройствах) |
Microsoft HoloLens 2 Windows Mixed Reality шлемы Meta Quest Устройство, работающее на SteamVR через OpenXR |
Windows XR Plugin | Microsoft HoloLens Microsoft HoloLens 2 Windows Mixed Reality шлемы |
Oculus XR Plugin (Unity 2019 или более поздняя LTS) | Meta Quest (через пакет интеграции Oculus) |
ARCore XR Plug-in | Android (через AR Foundation) |
ARKit XR Plug-in | iOS (через AR Foundation) |
Дополнительные поддерживаемые устройства:
Если вы новичок в MRTK или разработке Mixed Reality в Unity, мы рекомендуем вам начать с начала нашего пути развития в Unity в Microsoft Docs. Путь развития в Unity специально разработан для того, чтобы новым разработчикам было удобно пройти через установку, основные концепции и использование MRTK.
ВАЖНО: Путь развития в Unity в настоящее время использует версию MRTK 2.8.2, версию Mixed Reality OpenXR plugin 1.6.0 и Unity 2020.3.42+. |
---|
Если вы опытный разработчик Mixed Reality или MRTK, проверьте ссылки в следующем разделе для новых пакетов и заметок о выпуске.
Ветка | Статус CI | Статус документации |
---|---|---|
main |
| Windows SDK|
Unity 2018/2019/2020 LTS|
Visual Studio 2019|
Эмуляторы (необязательно)|
| :--- | :--- | :--- | :--- |См. страницу Установка инструментов для получения более подробной информации.# Области функциональности| [! Система ввода](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/input/overview)
Система ввода
| [! Отслеживание рук
(HoloLens 2)](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/input/hand-tracking)
Отслеживание рук
(HoloLens 2)
| [! Отслеживание глаз
(HoloLens 2)](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/input/eye-tracking/eye-tracking-main)
Отслеживание глаз
(HoloLens 2)
| [! Профили](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/configuration/mixed-reality-configuration-guide)
Профили
| [! Отслеживание рук
(Ultraleap)](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/supported-devices/leap-motion-mrtk)
Отслеживание рук
(Ultraleap)
|
| :--- | :--- | :--- | :--- | :--- |
| [! Контроллеры UI](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/#ux-building-blocks)
Контроллеры UI
|Решатели](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/ux-building-blocks/solvers/solver)
Решатели
|| [! Решатели](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/ux-building-blocks/solvers/solver)
Решатели | ! [Многосценический
Менеджер](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/images/MRTK_ Yöntem_SceneSystem.png)
Многосценический
Менеджер | [! Пространственное
осознание](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/spatial-awareness/spatial-awareness-getting-started)
Пространственное
осознание | [! Диагностический
инструмент](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/diagnostics/diagnostics-system-getting-started)
Диагностический
инструмент |
| [! Стандартный шейдер MRTK](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/rendering/mrtk-standard-shader)
Стандартный
шейдер MRTK |com/windows/mixed-reality/mrtk-unity/features/rendering/mrtk-standard-shader) | [! Голосовые команды и распознавание речи](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/input/speech)
Голосовые команды
& Распознавание речи | [! Система границ](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/boundary/boundary-system-getting-started)
Система границ |[! Система границ](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/boundary/boundary-system-getting-started) | [! Симуляция в редакторе](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/input-simulation/input-simulation-service)
Симуляция в редакторе | [! Экспериментальные
функции](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/contributing/experimental-features)
Экспериментальные
функции |# Устройства UX| [! Кнопка](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/ux-building-blocks/button) Кнопка | [! Контроль границ](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/ux-building-blocks/boundary-control) Контроль границ |microsoft. com/windows/mixed-reality/mrtk-unity/features/images/bounds-control/MRTK_BoundsControl_Main. png)](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/ux-building-blocks/bounds-control) Контроль границ | ! [Контроллер манипуляции объектами](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/images/manipulation-handler/MRTK_Manipulation_Main. png) Контроллер манипуляции объектами |
|:--- | :--- | :--- |
| Кнопка управления, поддерживающая различные методы ввода, включая артикулированную руку HoloLens 2 | Стандартный интерфейс для манипуляции объектами в трёхмерном пространстве | Скрипт для манипуляции объектами одной или двумя руками |
| ! [Слэйт](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/images/Slate/MRTK_Slate_Main. png) Слэйт | ! [Системная клавиатура](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/images/system-keyboard/MRTK_SystemKeyboard_Main. png) Системная клавиатура | ! [Взаимодействуемый объект](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/images/Interactable/InteractableExamples. png) Взаимодействуемый объект |com/windows/mixed-reality/mrtk-unity/features/ux-building-blocks/interactable) || Плоскость стиля 2D, поддерживающая прокрутку с артикулированным вводом рукой | Пример скрипта использования системы клавиатуры в Unity | Скрипт для создания взаимодействия объектов с визуальными состояниями и поддержкой тем |
| [! Решатель](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/ux-building-blocks/solvers/solver) Решатель | [! Коллекция объектов](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/ux-building-blocks/object-collection) Коллекция объектов | [! Подсказка](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/ux-building-blocks/tooltip) Подсказка |
| Различные поведения позиционирования объектов, такие как следование, фиксация к телу, постоянный размер вида и магнитное привязывание к поверхности | Скрипт для размещения массива объектов в трехмерной форме | Интерфейс аннотации с гибкой системой закрепления/центра масс, который можно использовать для маркировки контроллеров движения и объектов |
| [! Полоса прокрутки](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/ux-building-blocks/slider) Полоса прокруткиcom/windows/mixed-reality/mrtk-unity/features/ux-building-blocks/sliders) Полоса прокрутки | [! Стандартный шейдер MRTK](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/rendering/mrtk-standard-shader) Стандартный шейдер MRTK | [! Меню руки](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/ux-building-blocks/hand-menu) Меню руки || Меню руки Hand Menu |
| Панель для изменения значений с поддержкой прямого взаимодействия руками | Стандартный шейдер MRTK поддерживает различные элементы дизайна Fluent с учетом производительности | Удерживаемое меню для быстрого доступа, использующее Solver для ограничений рук |
| [! Панель приложения](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/ux-building-blocks/app-bar) Панель приложения | [! Указатели](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/input/pointers) Указатели | [! Визуализация кончика пальца](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/input/pointers) Визуализация кончика пальца| Визуализация кончика пальца | Панель управления границами для ручного активирования | Узнайте о различных типах указателей | Визуальное подтверждение на кончике пальца, улучшающее уверенность в прямом взаимодействии |
| Ближняя панель |
Пространственное осознание |
Голосовые команды |
Команда голосом / Распознавание речи | | Плавающее меню UI для ближайших взаимодействий | Делайте ваши голографические объекты взаимодействующими с физической средой | Скрипты и примеры для интеграции речевого ввода |
| [! Индикатор прогресса](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/ux-building-blocks/progress-indicator) Индикатор прогресса | [! Диалог](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/ux-building-blocks/dialog) Диалог [Экспериментальная] | [! Руководитель рук](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/ux-building-blocks/hand-coach) Руководитель рук |
| Визуальный индикатор для передачи данных о процессе или операции | UI для запроса подтверждения или подтверждения пользователя | Компонент, который помогает направлять пользователя, когда жест не был обучен |
| [! Сервис физики рук](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/experimental/hand-physics-service) Сервис физики рук [Экспериментальная] | [! Проскролливающийся коллекционер](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/ux-building-blocks/scrollable-collection) Проскролливающийся коллекционер |com/windows/mixed-reality/mrtk-unity/features/images/scrolling-collection/ScrollingCollection_Main. jpg)](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/ux-building-blocks/scrolling-collection)| ! [Рукавная физика](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/images/hand-tracking/mrtk_hand_physics. png) Рукавная физика | ! [Скроллируемая коллекция](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/images/ux-building-blocks/mrtk_ux_scrolling_collection. png) Скроллируемая коллекция | ! [Док [Экспериментальный]](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/images/experimental/mrtk_experimental_dock. png) Док [Экспериментальный] |
| Услуга физики рук обеспечивает события столкновения жестких тел и взаимодействие с артикулированными руками | Коллекция объектов, которая нативно прокручивает 3D объекты | Док позволяет перемещать объекты в и из заранее определенных позиций |
| ! [Отслеживание глаз: Выбор цели](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/images/eye-tracking/mrtk_et_targetselect. png) Отслеживание глаз: Выбор цели |Eye Tracking: Navigation](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/input/eye-tracking/eye-tracking-navigation) Eye Tracking: Navigation | [! Eye Tracking: Heatmaps](https://docs.microsoft.com/windows/mixed-reality/mrtk-unity/features/example-scenes/eye-tracking-examples-overview#visualization-of-visual-attention) Eye Tracking: Heatmaps |
| Объедините отслеживание глаз, голос и ввод рук, чтобы быстро и без усилий выбирать холограммы по всему вашему сценарию | Узнайте, как автоматически прокручивать текст или гладко масштабировать в фокусируемый контент на основе того, на что вы смотрите | Примеры для журналирования, загрузки и визуализации того, что пользователи смотрели в вашем приложении |# Инструменты|
Оптимизация окна |
Окно зависимостей |
Окно сборки |
Запись ввода |
|:--- | :--- | :--- | :--- |
| Автоматизация настройки проектов Mixed Reality для улучшения производительности | Анализ зависимости между активами и выявление неиспользуемых активов | Настройка и выполнение процесса сборки с начала до конца для приложений Mixed Reality | Запись и воспроизведение данных о движении головы и отслеживании рук в редакторе |
Исследуйте различные типы взаимодействий и элементов управления пользовательским интерфейсом MRTK через примерные сцены. Вы можете найти примерные сцены в папке Assets/MRTK/Examples/Demos.
С помощью Центра примеров MRTK вы можете попробовать различные примерные сцены в MRTK. На устройстве HoloLens 2 вы можете скачать и установить Центр примеров MRTK через приложение Microsoft Store.
См. страницу README Центра примеров для получения информации о создании многосценического центра с использованием системы сцен и службы перехода между сценами MRTK.
|:--- | :--- | :--- |
| Периодическая таблица элементов — это открытый исходный образец приложения, демонстрирующий, как использовать систему ввода MRTK и его построенные блоки для создания приложения для HoloLens и погружения виртуальной реальности. Прочитайте историю переноса: Приведение приложения "Периодическая таблица элементов" к HoloLens 2 с использованием MRTK v2 |Galaxy Explorer — это открытый исходный образец приложения, который был разработан в марте 2016 года как часть кампании HoloLens "Поделитесь своим идеями". Galaxy Explorer был обновлен новыми функциями для HoloLens 2 с использованием MRTK v2. Прочитайте историю: Создание Galaxy Explorer для HoloLens 2 |Surfaces|com/microsoft/MRDL_Unity_Surfaces) — это открытый исходный образец приложения для HoloLens 2, который исследует, как мы можем создать тактильное ощущение с помощью визуализации, аудио и полностью артикулированного отслеживания рук. Посмотрите сессию Microsoft MR Dev Days Уроки из приложения Surfaces для подробной истории дизайна и разработки.# Видеосессии с Mixed Reality Dev Days 2020 | |
|
|
|:--- | :--- | :--- |
| Урок по созданию простого приложения MRTK от начала до конца. Узнайте о концепциях взаимодействия и многофункциональных возможностях MRTK. | Глубокий обзор UX-строительных блоков MRTK, которые помогут вам создать красивые mixed reality-опыты. | Введение в инструменты производительности, как в MRTK, так и внешние, а также обзор стандартного шейдера MRTK. |
Для просмотра дополнительных видеоматериалов посещайте Mixed Reality Dev Days.
Присоединяйтесь к обсуждению MRTK на Slack. Вы можете присоединиться к сообществу Slack через автоматическую систему приглашений.
Задавайте вопросы по использованию MRTK на Stack Overflow с использованием тега MRTK.
Ищите известные проблемы или создайте новую проблему, если вы обнаружили неработающую функциональность в коде MRTK.* Для вопросов по участию в разработке MRTK перейдите в канал mixed-reality-toolkit на Slack.
Этот проект использует кодекс поведения Microsoft для открытых проектов.
Для получения дополнительной информации посмотрите часто задаваемые вопросы по кодексу поведения или свяжитесь с opencode@microsoft.com для получения ответов на дополнительные вопросы или комментариев.# Полезные ресурсы на Mixed Reality Dev Center | Открыть |
Проектирование |
Разработка |
Распространение |
| :--------------------- | :----------------- | :------------------ | :------------------------ |
| Узнайте, как создавать смешанные реальности для HoloLens и погруженных шлемов (VR). | Получите руководства по проектированию. Создайте пользовательский интерфейс. Узнайте о взаимодействиях и вводе данных. | Получите руководства по разработке. Узнайте о технологии. Понимайте науку. | Подготовьте свое приложение для других и рассмотрите возможность создания 3D запуска. |
| :------------------------ | :--------------------- | :---------------------- | | Spatial Anchors — это кросс-платформенная служба, которая позволяет создавать Mixed Reality-опыт, используя объекты, которые сохраняют свое положение на устройствах в течение времени. | Интегрируйте возможности речи Azure, такие как преобразование речи в текст, распознавание говорящего или перевод речи, в вашем приложении. | Идентифицируйте и анализируйте содержимое ваших изображений или видео с помощью Vision Services, таких как компьютерное зрение, распознавание лиц, распознавание эмоций или индексация видео. |
Вы можете найти наши материалы планирования на нашей вики в разделе Project Management. Вы всегда можете увидеть элементы, над которыми команда активно работает, в задаче Iteration Plan.# Как внести свой вклад
Узнайте, как вы можете внести свой вклад в MRTK, на Contributing.
Для получения подробной информации о различных ветках, используемых в репозиториях Mixed Reality Toolkit, проверьте этот Branch Guide здесь.
Вы можете оставить комментарий после Вход в систему
Неприемлемый контент может быть отображен здесь и не будет показан на странице. Вы можете проверить и изменить его с помощью соответствующей функции редактирования.
Если вы подтверждаете, что содержание не содержит непристойной лексики/перенаправления на рекламу/насилия/вульгарной порнографии/нарушений/пиратства/ложного/незначительного или незаконного контента, связанного с национальными законами и предписаниями, вы можете нажать «Отправить» для подачи апелляции, и мы обработаем ее как можно скорее.
Комментарии ( 0 )