Технологии дополненной реальности

С апреля 2024 года в Национальной технологической олимпиаде (НТО) запущен новый профиль Виртуальные миры, объединивший три ранее самостоятельных направления: Разработка компьютерных игр, Технологии виртуальной реальности и Технологии дополненной реальности. Это укрупнение позволило комплексно подойти к изучению и разработке интерактивных цифровых пространств, где участники учатся проектировать и воплощать сложные мультимедийные продукты, интегрирующие элементы реального и виртуального миров.

Подпрофиль Технологии дополненной реальности посвящен решению актуальных проблем, связанных с появлением нового класса продуктов: мультимедийных приложений, ресурсов и сервисов, интегрирующих компьютерные модели с объектами реального мира в форме текста, двумерной и трехмерной компьютерной графики, видео, аудио и иных представлений в режиме реального времени.

Цель подпрофиля — формирование профессиональных компетенций, направленных на разработку продуктов: приложений, ресурсов, сервисов с использованием технологий дополненной реальности.

Задачи охватывают широкий спектр направлений:

изучение основ технологии;
знакомство с инструментами и платформами для разработки;
развитие визуального и художественного мышления;
участие в исследовательских проектах.

Особое внимание уделяется творческой составляющей AR, которая помогает создать погружающее взаимодействие пользователя с виртуальным контентом.

Уже на этапе регистрации участникам важно определить для себя предполагаемую роль в команде и понять, какие навыки и знания им предстоит развивать.

Освоение основ технологии, лежащей в основе подпрофиля, является необходимым условием успешного участия. Для того чтобы познакомить школьников с его тематикой и структурой, методистами подготовлен специальный «Урок НТО» (https://clck.ru/3ABEnW), где представляется обзор ключевых возможностей технологии дополненной реальности и ее применения в различных областях. Практическая часть урока включает три задания:

создание простейшей проекционной AR-сцены;
реализация художественного AR-проекта (ARt-искусство);
разработка цифрового аватара — интерактивного виртуального персонажа.

Для ознакомления с основами технологий дополненной реальности разработчики предлагают участникам курс, в котором приводятся:

основные понятия технологии;
инструменты разработки, области их применения;
примеры проектов с внедрением объектов дополненной реальности;
практические задания и тренажеры для самоподготовки;
обсуждение ролей в команде.

Курс размещен на электронной площадке подготовки к Олимпиаде https://nto.forlabs.ru, доступен после регистрации и запроса доступа зачисления на курс. Кроме того, данные материалы (с некоторыми сокращениями) можно найти на образовательной платформе Stepic (https://stepik.org/course/123252/promo), а видеолекции к ним представлены на ютубе: https://clck.ru/34B6Fc.

Одновременно с этим идут занятия с учителями школ и преподавателями дополнительного образования, поскольку именно они занимаются подготовкой к соревнованиям. Затем проводится «Урок НТО» по технологии и предлагаются задания демонстрационного этапа — это мини-практикумы, на которых можно попробовать себя в разных ролях и выбрать то, что больше по душе и уровню компетенций.

Важным компонентом вовлеченности в освоение материала подпрофиля и мотивации решения задач всех этапов Олимпиады является игра. Это реализуется, как правило, через легенду о возможностях альтернативной цифровой реальности и важности построения коммуникаций в ней. Участникам необходимо разобраться в законах, по которым функционируют компьютерные модели (виртуальные объекты) в реальном мире.

Игровой компонент содержит высокий творческий потенциал, тот самый, который и ждут участники, выбирающие данный подпрофиль — возможность воплотить воображаемые миры, визуализировать фантастические образы в виде цифровых аватаров.

Постепенно разработчики переводят фокус внимания с игрового контента на задачи, реально востребованные в разных областях деятельности: образование, наука, искусство, среда обитания и т. п. В этот момент рассматриваются темы школьных предметов — информатики и математики — в приложении к задачам подпрофиля.

Первый отборочный дистанционный этап (индивидуальный) определяет общий уровень подготовки по математике и информатике.

Задачи по информатике относятся к разделам алгоритмы, программирование и методы оптимизации, решая которые, школьники должны продемонстрировать простейшие навыки составления и отладки программ, обрабатывающих массивы данных, и понимание таких тем, как комбинаторика, операции со строками, вычислительная геометрия, теория графов.

Математические задания проверяют знания по алгебре, комбинаторике, геометрии.

Таким образом, на первом этапе выявляются участники, обладающие достаточным уровнем фундаментальных знаний, умений и навыков, необходимых для решения комплексной инженерной задачи подпрофиля. На этом этапе участникам также предоставляется возможность продемонстрировать свои знания по основам технологии, решая задачи инженерного тура. Здесь предлагаются индивидуальные задания, направленные на освоение ключевых понятий и базовых принципов технологии дополненной реальности, позволяющие сформировать понимание ее возможностей и механизмов работы.

Появление технологий искусственного интеллекта открыло новые направления для развития технологий дополненной реальности, в частности — реализацию интеллектуальных агентов в образовательной и просветительской среде. В сезоне 2024–25 гг. Национальной технологической олимпиады по подпрофилю Технологии дополненной реальности задания ориентированы на создание цифровых помощников — AR-интерфейсов, сочетающих в себе трехмерные виртуальные модели объектов и возможности генеративного искусственного интеллекта.

Задачи второго отборочного этапа представлены комплексным командным заданием, которое направлено на освоение участниками ключевых принципов интеграции дополненной реальности и генеративного искусственного интеллекта. Основной проект этапа — создание AR-бота, предназначенного для изучения анатомии человека.

Участники разрабатывают приложение для взаимодействия с 3D-моделью человеческого тела: цифровой помощник будет реагировать на текстовые или голосовые запросы, подсвечивать запрашиваемые части тела и сопровождать демонстрацию краткими пояснениями и интересными фактами. Для реализации проекта они работают с полным технологическим стеком, включающим инструменты для визуализации (Three.js), технологии дополненной реальности (AR.js), средства моделирования (Blender), генеративные модели и платформы для создания интеллектуальных агентов (например, Botpress).

Командное распределение ролей позволяет сосредоточиться на отдельных аспектах:

построение 3D-графики;
интеграция AR-технологий;
обработка естественного языка;
проектирование пользовательского интерфейса.

Разработчики поощряют участников к пробному выполнению задач, выходящих за рамки их основной роли, что способствует формированию системного понимания проекта. Для этого каждая задача сопровождается дополнительными образовательными материалами, которые дают возможность школьникам с базовой подготовкой по информатике и математике уверенно справляться с ними.

В целом, второй отборочный этап позволяет выявить наиболее мотивированных и технически подготовленных участников, способных к освоению современных подходов в области дополненной реальности и искусственного интеллекта.

В период между вторым отборочным и заключительным этапом разработчики подпрофиля организуют и проводят учебно-тренировочные сборы в очно-заочной форме на площадках региональных центров команд, прошедших в финал. Как правило, такие мероприятия направлены на практическое знакомство с основными технологиями, оборудованием и инструментами, используемыми на финале, их практическая задача максимально направлена на формирование устойчивого владения всем аппаратно-программным обеспечением заключительного этапа. Для успешного решения проектных задач учебно-тренировочных сборов разработаны тематические методические материалы для участников: https://teletype.in/@annbalak/vEBQcUMD2x-.

Инженерный тур заключительного этапа подпрофиля Технологии дополненной реальности посвящен разработке интерактивной мультимедийной инсталляции «Люди Байкала». Участники решают задачу по созданию цифровых аватаров — интеллектуальных виртуальных персонажей, выступающих в роли проводников, исследователей и местных жителей, рассказывающих о природе, культуре и истории региона.

Проект опирается на синтез технологий дополненной реальности и больших языковых моделей, что позволяет участникам интегрировать web-AR и LLM в единую цифровую среду. Благодаря этому пользователи могут взаимодействовать с персонажами в реальном времени, задавать вопросы, получать информацию об экосистеме озера Байкал, легендах, мифах и туристических маршрутах. Финальная задача профиля акцентирует внимание на возможностях AR как нового интерфейса для взаимодействия с ИИ, демонстрируя перспективы применения дополненной реальности в образовании, туризме и научной коммуникации.

Деятельность разработчиков и организаторов подпрофиля не заканчивается одним олимпиадным циклом: проводятся мотивационные мероприятия по вовлечению школьников в проектную деятельность с использованием технологий, которым посвящен данный подпрофиль.

Участники соревнований, наставники команд и педагоги получают всестороннюю поддержку по выполнению своих проектов и учебно-исследовательских работ. Некоторые из таких проектов выполняются непосредственно под руководством ведущих разработчиков подпрофиля. Вот несколько примеров:

Команда участников первого финала профиля в 2019 года в январе 2020 стала призером фестиваля молодежных IT-проектов «Софтпарад» со своим проектом навигационного мобильного приложения дополненной реальности «Цифровая земля», все команды-финалисты 2020 года приняли участие в исследовании функциональных характеристик алгоритмов компьютерного зрения в распознавании рукописных изображений, используемых в качестве маркеров (работа была представлена на региональной молодежной научно-практической конференции «Удивительный мир).
Осенью 2020 года участники финала из разных команд совместно выступили в хакатоне компании «ВКонтакте», где заняли первое место; победой закончилось и участие ребят во Всероссийского конкурса проектов Rukami — на конкурс была представлена настольная урбанистическая игра с применением технологий дополненной реальности «AR-Ляндия».
Команда неоднократных участников финала профиля Технологии дополненной реальности из Инженерно-технологической школы № 777 Санкт-Петербурга разработала приложение дополненной реальности для навигации внутри школы и опубликовала статью, посвященную данному проекту («Создание навигатора с применением технологий дополненной реальности и методов машинного обучения» https://temofeev.ru/info/articles/sozdanie-navigatora-s-primeneniem-tekhnologiy-dopolnennoy-realnosti-i-metodov-mashinnogo-obucheniya/).
В июне 2022 года команда иркутских школьников, призеров профиля, представила проект AR-Электроника на мероприятии «Настоящее будущее: русская электроника». Победители и призеры конкурса стали студентами ведущих вузов России.

Школьники, принимавшие участие в соревнованиях по профилю, выбирают для построения своей профессиональной траектории такие вузы как: Университет Иннополис, Национальный исследовательский университет ИТМО, Национальный исследовательский университет «Высшая школа экономики» (НИУ ВШЭ), Сибирский федеральный университет (СФУ), Иркутский государственный университет, выступавший неоднократно площадкой проведения заключительного этапа профиля.