Виртуальный МИФИ. Мобильное AR-приложение поможет студентам лучше справиться с лабораторными по физике

Лаборатория XRLab отдела разработки информационных систем и технологий виртуальной и дополненной реальности Института интеллектуальных кибернетических систем (ИИКС) выпустила кроссплатформенное приложение MEPhI AR Lab, которое позволит студентам познакомиться с реальными приборами кафедры общей физики еще до начала работ на них. Проект стартовал в 2022 году при поддержке программы «Приоритет-2030». Руководитель лаборатории Виктор Байков рассказал пресс-службе университета, чем технология дополненной реальности может быть полезна в процессе обучения инженеров-физиков.

Виктор Байков – руководитель лаборатории XRLab

- Виктор, для начала, давайте, что называется, «договоримся о терминах»: что такое дополненная реальность?

- Дополненная реальность (от англ. augmented reality) или AR – это технология, позволяющая проецировать объекты виртуального окружения в нашу с вами реальность. Простой пример – AR может вам даже помочь посмотреть на экране мобильного устройства с помощью камеры, как впишется новый диван в вашу квартиру. Конечно, технология применяется и для более сложных задач – можно посмотреть, как будет выглядеть построенный инженерный объект на месте пустыря или даже получить помощь при проведении ремонта сложной установки. Здесь эффективно работает связка технологий машинного зрения и компьютерной графики. Привязка виртуальных объектов осуществляется за счет алгоритмов распознавания. По большей части AR сейчас используется для визуализации объектов в привычном нам окружении, но надо отметить, что потенциал у этой технологии сильно больше, и связано это в основном с технологиями машинного зрения, которые позволяют не только распознавать объекты, но и, например, снимать их метрики.

- Начиналось внедрение этих технологий с игр, но сейчас они пришли, в том числе, и в образование, и уже активно применяются здесь?

- Да, с недавнего времени технологии AR активно внедряются в образование. В первую очередь это, конечно же, визуализация объектов или процессов в реальном времени. Более сложные решения  предоставляют и возможность взаимодействия с ними. Причем плюсы от применения такой технологии достаточно очевидны. Во-первых, наглядность: объект интереса перед нами на столе мы можем его вращать и рассматривать со всех сторон. Во-вторых, это концентрация на предмете исследования. В-третьих – безопасность. Виртуальную модель и сломать нельзя, и себе причинить вред невозможно.

- Ведь ваша лаборатория занимается не только разработкой решений дополненной реальности?

- Дополненная реальность – это только малая часть наших изысканий. Помимо этого, мы занимаемся разработкой в области виртуальной и смешанной реальности, то есть всем тем, что можно отнести к технологиям XR (Extended Reality), подробнее об этом можно посмотреть у нас на сайте https://xr.mephi.ru/  Однако для полноценной разработки, ориентированной на конечного пользователя, одних знаний в области смешанной реальности мало, так как класс целевых устройств у нас самый разный: от десктопов до мобильных очков виртуальной реальности, поэтому в нашей команде есть сотрудники обладающие компетенциями и в сфере мобильной разработки, и в облачных технологиях. В целом, стоит отметить тенденцию применения облачных технологий в разработке, это позволяет делать наши системы легковесными, модульными и хорошо масштабируемыми.

В добавок ко всему, команда в основном состоит из выпускников МИФИ, сам я закончил кафедру №35 «Медицинская физика»: такой бэкграунд очень помогает создавать приложения на стыке технологий и науки и, конечно, незаменим при общении с заказчиками.

- Как вообще пришла идея создать приложение ar-лабораторных?

- Еще со студенческой скамьи я помню, что лабораторные практикумы были отлично проработаны кафедрой общей физики, но нам всегда не хватало визуализации. С одной стороны – сухая схема, из которой прекрасно понятно описание установки и ее узлов, с другой стороны, когда мы приходили на лабораторные, у нас было состояние легкой паники от обилия физических установок. Мы же не имели никакого представления, как с этими установками работать... Собственно, на этом фоне и родилась идея дополнить образовательный процесс и сделать его более наглядным. Мы пришли с этой идеей к Дмитрию Александровичу Самарченко и Николаю Павловичу Калашникову, и после демонстрации возможностей технологии они поддержали нашу инициативу. Первый прототип приложения был готов уже через 4 месяца. В него была заложена основная архитектура приложения и трехмерная модель установки PHYWE XR 3.0 (предназначенной для проведения на 3 курсе эксперимента по изучению спектров характеристического рентгеновского излучения), включая отдельные блоки – гониометр, рентгеновский блок, детектор излучения, кристалл-анализатор. Установку теперь можно не только рассмотреть со всех сторон, но и познакомиться с отдельными узлами, задать некоторые её параметры, запустить симуляцию эксперимента.

Трехмерная модель установки PHYWE XR 3.0 в дополненной реальности

Наши коллеги с кафедры общей физики высоко оценили этот прототип, и мы решили продолжить разработки и сосредоточились уже на лабораторных работах по оптике. Архитектура приложения осталась неизменной, но мы внесли значительные улучшения в код, что позволило добавить возможность удаленной доставки контента и внедрить виртуальный тур прямо в приложение. Хочется поблагодарить коллектив кафедры общей физики, который оказывал содействие при съемке тура и помогал разбираться в строении лабораторных установок.

- Правильно ли будет сказать, что приложение помогает студентам «потрогать» установку как бы в реальности – еще до лабораторной?

- Да, достаточно выбрать раздел физики и номер установки, найти плоскую горизонтальную поверхность, чтобы алгоритмы машинного зрения определили область привязки модели, и разместить модель. Взаимодействуя с экраном смартфона, пользователь может выбирать либо отдельные узлы установки (при выборе они сразу же подсвечиваются), либо – часть установки из списка (она также будет подсвечена на самой модели, а в верхнем углу экрана отобразится название выбранного узла).

В качестве опции я упомянул виртуальный тур по университету. Он будет особенно полезен первокурсникам, которые еще не очень хорошо ориентируются в новом для себя учебном пространстве. Здесь стоит отметить участие наших аспирантов. Большой вклад в работу внёс аспирант ИИКС Михаил Епифанов: он не только применил технологию, которая позволяет на основе панорамных фото создавать локации и, тем самым, интерактивно просматривать лаборатории кафедры общей физики в формате виртуального тура и с использованием гироскопа, но и в рамках своей работы над диссертацией подключил технологию, позволяющую просматривать объекты дополненной реальности прямо в браузере, то есть объединил технологии в один большой проект. Актуальность этой разработки связана в первую очередь с тем, что не все смартфоны поддерживают технологию дополненной реальности, и, чтобы сделать наше решение доступным на любом классе устройств, применяется данное уникальное решение. На текущий момент мы добавили эту возможность для одной из установок лаборатории атомной физики, в дальнейшим распространим её на все установки, которые представляем в дополненной реальности через приложение.

Виртуальный тур (иконка i показывает, что для данной установки возможен просмотр в AR даже на мобильных устройствах, не поддерживающих эту технологию)

Замечу, что данное решение может быть полезно еще и студентам филиалов: с помощью приложения можно изучить уникальные установки, которыми обладает наша московская площадка университета.

- Сколько сейчас установок уже представлено в вашем приложении?

- На данный момент реализовано семь установок – одна по атомной физике, которая разрабатывалась в качестве первого прототипа, и 6 установок по оптике, на которых можно заниматься изучением естественного вращения плоскости  поляризации, магнитного вращения плоскости поляризации, интерференции с помощью бипризмы Френеля, закона Малюса, геометрической оптики, поляризованного света. Кроме того, виртуальный тур доступен по трем лабораториям оптики и по лаборатории атомной физики.

Лабораторный оптический комплекс (ЛКО-1) – точная 3D модель.

- Где скачать приложение?

- Мы опубликовали приложение в Google Play, а также в AppStore. Его можно скачать по запросу Mephi AR Lab или же перейти на сайт нашей лаборатории на страницу приложения, там мы опубликовали ссылки для Android и iOS платформ, там же без скачивания приложения можно посмотреть виртуальный тур https://xr.mephi.ru/physics/tour.html .

 Приложение Mephi Ar Lab

- В ближайшем времени мы увидим все установки в дополненной реальности?

- Мы к этому стремимся, но, так как максимально детально прорабатываем каждую установку, вплоть до цены деления, то это процесс не быстрый. К 1 сентября мы планируем опубликовать новые части виртуального тура и частично добавить модели установок по механике – эти лабораторные студенты выполняют в 1 семестре, и именно студентам-первокурсникам очень нужна помощь в лабораторных работах и в ориентировании внутри вуза. Они увидят не только схему в практикуме, но и смогут заранее ознакомится с установкой и её основными узлами в режиме дополненной реальности.