AR — технология, несущая экономический эффект
Искусственная реальность
История и теория
Понятие искусственной реальности было впервые предложено Майроном Крюгером (Myron Krueger) в конце 1960-х годов (рис. 1а). В 1989 г. Джарон Ланье (Jaron Zepel Lanier), известный программист, футуролог и композитор (рис. 1б), ввел более популярное ныне название «виртуальная реальность» (Virtual Reality, VR). VR — это созданный техническими средствами мир, передаваемый человеку через его ощущения: зрение, слух, обоняние и др. VR имитирует как само воздействие, так и реакции на него.
Буквально сразу же появилось и такое понятие, как «дополненная реальность» (Augmented Reality, AR). Первым исследователем AR считается Айвэн Сазерлэнд (Ivan Edward Sutherland, рис. 1в). В 1966 г. компания — производитель вертолетов Bell Helicopter Company начала разработку систем для управления ночными полетами с использованием инфракрасных (ИК) камер, установленных вне кабины, и приемников, расположенных непосредственно перед глазами, на шлеме пилота. Эти эксперименты показали, что пилот вполне может летать с такими «искусственными» глазами. Поначалу это направление получило название «удаленная реальность» (Remote Reality). Сазерлэнд, который был тогда профессором Гарвардского университета, вместе со своим студентом Бобом Споуллом (Bob Sproull) пришел к идее заменить ИК-приемники электронными трубками, подключенными к компьютеру. В результате в 1967 г. появился первый видеошлем — работающий прототип системы AR. В этом изобретении для показа 3D-графики использовались стереоочки Sword of Damocles. Изображение в них проецировалось на два полупрозрачных стеклянных мини-дисплея с напылением серебра. Впервые система была использована в проекте, выполненном в 1968 г. для той же Bell Helicopter. Стереоочки работали в паре с ИК-камерой, находящейся под днищем вертолета. Камера управлялась движением головы пилота.
Авторство же самого термина AR, вошедшего в обиход с 1990 г., приписывается Тому Коделлу (Tom Caudell, рис. 1г), инженеру-исследователю корпорации Boeing. По одной из версий, он использовал словосочетание «дополненная реальность», чтобы описать цифровой дисплей, используемый электриками самолетов, которые смешивали виртуальную графику с физической реальностью.
AR — это результат введения в поле восприятия любых сенсорных данных с целью дополнения сведений об окружении и улучшения восприятия информации (рис. 2). В 1997 г. Рональд Азума (Ronald Azuma) определил ее как систему, которая совмещает виртуальное и реальное, взаимодействует в реальном времени и работает в 3D [1]. Есть и такое определение AR: «Прямой или опосредованный, происходящий в реальном времени обзор физической реальности, элементы которой дополнены или расширены сгенерированной компьютером чувственной информацией, такой как звук, видео, графика или данные GPS».
Заметим, что не следует смешивать или путать виртуальную и дополненную реальности. Их коренное различие в том, что VR конструирует новый искусственный мир, а AR лишь вносит отдельные искусственные элементы в восприятие мира реального [2].
Практика
На организованной в далеком 1990 г. главным редактором издания Wired (в те годы) Кевином Келли (Kevin Kelly) первой выставке в области виртуальной реальности Cyberthon свои разработки представили более 20 организаций из военных и технологических отраслей. Свои VR- и AR-подразделения есть у Google, Facebook, Apple, Microsoft, Amazon, Sony, Samsung и др. Только в Facebook над развитием технологий VR трудятся более 400 человек [3].
Спрос на разработки в области AR и их нарастающая известность среди потребителей связаны с тем, что вычислительная мощность и набор датчиков в аппаратных платформах для смартфонов и планшетов позволяют производить наложение любых цифровых данных на изображение, получаемое в реальном времени со встроенных в устройства камер.
По мнению Forbes [4], 2016 г. для VR-отрасли стал началом движения от экспериментов к продуктам потребительского уровня. Ресурсы инвесторов, предпринимателей, инженеров, PR-специалистов и всех остальных участников рынка в ближайшие годы будут брошены на то, чтобы отрасль прошла путь к принятию технологии на массовом рынке. Однако, как указано в [4], «ключевые препятствия для отрасли еще впереди… шлемы и в целом AR/VR-устройства все еще громоздкие… К тому же эти девайсы дороги — вместе с мощным компьютером они обойдутся в 170 000–250 000 руб.». К слову, в 1980-е годы созданная упомянутым выше Джароном Ланье VPL Research, первая компания по разработке и выпуску VR-девайсов, продавала VR-перчатки за $5000–$10 000, а шлемы — за $10 000–$50 000.
В то же время 2017 г. примечателен появлением множества продуктов, которые не связаны с играми и развлечениями. Партнеры Microsoft из числа Windows-разработчиков уже предлагают софт для здравоохранения, архитектуры, дизайна, обучения и других профессиональных сфер. Корпоративные заказчики уже рассматривают AR/VR как технологии, приносящие экономический эффект, поскольку они в действительности сокращают издержки и ускоряют рабочие процессы.
Классификация систем AR
AR-системы можно классифицировать по разным признакам [5].
По типу представления информации они бывают визуальные (источником информации для человека является изображение), аудиальные (информация поступает в виде звука) и аудиовизуальные (объединяющие два предыдущих способа).
Кроме того, AR-системы можно различать по степени взаимодействия с пользователем. Так, автономные только предоставляют информацию, а в случае интерактивных систем, как следует из их названия, происходит взаимодействие, при котором пользователь получает от системы ответ на свои действия.
Устройства, от которых AR-система получает информацию об окружающем мире, можно разделить на геопозиционные и оптические. Первые ориентируются, прежде всего, на сигналы систем позиционирования GPS или ГЛОНАСС, а также могут использовать дополнительно компас и акселерометр для определения угла поворота относительно вертикали и азимута. Для вторых источником информации является изображение, полученное с камеры.
Вероятно, уже можно говорить и о различиях в способах управления AR-системами. Например, такие гиганты, как Apple, Samsung и др., ведут разработки носимых устройств, управление которыми будет осуществляться с помощью голоса. Ожидается также, что в ближайшем будущем станет возможным управление с помощью глаз (попытки создать такие системы уже активно ведутся). Для работы в смешанной реальности, по мнению Forbes, часто будет применяться костная проводимость. VR и AR объединятся с искусственным интеллектом.
Устройства AR
Очевидно, что для восприятия искусственной реальности нужны, как минимум, устройства «погружения» (очки (рис. 3), перчатки и т. п.) и программное обеспечение для трансляции сенсорных данных. Уже существует множество программных продуктов для мобильных устройств, которые позволяют при помощи разработки AR получить необходимые сведения об окружении: браузеры дополненной реальности (Wikitude (рис. 4), Layar, blippAR и др.), а также специализированные программы для отдельных сервисов, компаний или даже единичных моделей.
Сегодня среди AR-девайсов можно выделить портативные устройства, стационарные и проекционные системы, HMD и линзы.
Портативные устройства
Самый бюджетный способ соприкоснуться с AR — мобильные телефоны и планшетные компьютеры. Они оснащены цифровыми камерами, GPS, акселерометрами, магнитометрами, гироскопами, которые являются устройствами отслеживания. От данных, получаемых через эти, по сути, «устройства ввода», и зависит работа приложений AR. Системам AR требуется мощный процессор и достаточный объем оперативной и видеопамяти для обработки изображений с камеры. Большинство современных мобильных девайсов, как уже было сказано, вполне способно удовлетворить значительную часть пользовательских запросов, поэтому на первый план выходит наличие камеры с высоким разрешением. На рис. 5 показано, как пользователь наблюдает за процессом ремонта электротехники с использованием AR [6]. Постоянная необходимость держать в руках такое устройство в некоторой степени является недостатком и может накладывать ограничения на области применения.
Стационарные и проекционные системы
К данной категории относятся широкоформатные экраны, оборудованные камерами с высоким разрешением, которые располагаются на одном месте. Такие системы не подходят для динамичной работы, зато демонстрируют более реалистичную визуализацию.
В отличие от стационарных AR-систем, проекционные накладывают изображение на любую поверхность и для их работы не требуется отдельный экран (рис. 6).
Дисплеи
Для обозначения данной категории устройств используется термин Head Mounted Displays (HMD). Это могут быть видео- или оптико-прозрачные шлемы или очки. Они относятся к классу hands free, так как закрепляются на голове пользователя. Надев их, человек видит виртуальные объекты, наложенные на окружающую действительность. Примером подобных устройств являются Google Glass, немецкие Talking Places, Smart Glasses от Vuzix. В России наиболее известны Google Glass ($1600), а также Moverio [7] от компании Epson ($799,99).
Один из примеров промышленного применения такого девайса показан на рис. 7. На одном из заводов AGCO оператор собирает двигатель трактора перед его дальнейшей интеграцией в машины. При помощи Google Glass она сканирует серийный номер на части двигателя, с которой работает. Перед глазами возникают руководства по эксплуатации, фотографии или видео, которые ей могут понадобиться при сборке. Она может нажать на дужку очков или сказать «OK Glass», чтобы оставить через голосовые заметки команды сборщикам следующей смены [8].
Линзы
Линзы для дополненной реальности все еще остаются предметом исследований технологических гигантов, включая Samsung, Google и Microsoft. Идея заключается в том, чтобы превратить обычные линзы в прозрачный электронный экран, содержащий систему управления, миниатюрную камеру, антенну, светодиоды и другие оптоэлектронные компоненты. В частности, компания Samsung уже подала патент на «умные» контактные линзы, поэтому у нас есть все основания ожидать выхода на рынок устройства в ближайшие 5–10 лет.
Аналогичный проект вынашивает американский холдинг Alphabet. Его экспериментальная разработка уже обрела статус самостоятельного бизнеса. Последние значительные известия из проекта просочились в прессу в начале 2014 г. Тогда стало известно, что Google занимается разработкой контактных линз с миниатюрным процессором, антенной и датчиком глюкозы в крови, который считывает информацию раз в секунду и отправляет ее по беспроводному соединению на внешний приемник (например, смартфон). Также было заявлено, что в перспективе в линзы встроят миниатюрные светодиоды, которые смогут показывать полезную информацию — скажем, различные оповещения.
Промышленное применение VR/AR
Практическая выгода от совмещения материальных и виртуальных объектов в реальном времени и пространстве очевидна, и ведущие мировые промышленные компании уже применяют AR-технологии в настоящих производственных процессах для решения инженерных или конструкторских задач. По данным IDC, в ближайшие годы продажи AR/VR-средств будут расти в среднем на 198% в год и к 2020 г. достигнут $143,3 млрд.
Большая часть предприятий, работающих с VR/AR-технологиями, представляет реальный сектор экономики (машиностроение, добыча и переработка, энергетика). Согласно исследованию, проведенному компанией КРОК и Институтом современных медиа (MOMRI) совместно c порталом «Вести Экономика» в период с марта по май 2017 г., наибольшую осведомленность о встраивании VR/AR в технологические и бизнес-процессы продемонстрировали представители таких отраслей, как металлургия, машиностроение, строительная отрасль, энергетика, транспортные компании, а также финансовый сектор и ИТ/телекоммуникации [9].
По словам Александра Леуса, директора Центра виртуальной реальности компании КРОК, флагманскими отраслями промышленности, внедряющими VR/AR, являются атомная энергетика, судостроение, авиастроение и ВПК. В большей степени они используют эти технологии для задач проектирования и обучения, уже имеют свой парк соответствующего оборудования и заинтересованы в обновлении ПО и аппаратной составляющей, переориентируя ее в сторону инфраструктур VR Ready.
Наряду с этим, как отмечает Александр, очевиден тренд совмещения HMD-устройств и CAVE-систем (Computer-Aided Virtual Environment — комнаты виртуальной реальности). Например, HMD используется на рабочем месте сотрудника, а CAVE — в специальных лабораториях (R&D-центрах) при совместной работе и демонстрации результатов исследований и визуализации расчетов и отдельных процессов.
Светлана Вронская, директор по маркетингу ГК «КОРУС Консалтинг», отмечает, что применение VR/AR в российской промышленности особенно актуально при проектировании и разработке инженерных приложений для авиа-, судо- и автомобилестроения, в промышленном строительстве и ГИС. Прототип, подготовленный виртуально, дает возможность конструкторам, инженерам и клиентам работать с макетом будущего изделия: тестировать работу конструкции в виртуальном пространстве, выявлять недочеты в проектировании, оценивать эргономику и многое другое, что сокращает количество ошибок и, следовательно, затраты на их устранение на финальной стадии разработки [9]. Развивающимся направлением промышленного использования технологий AR в производстве она называет также послепродажное обслуживание продукции, в которое могут входить и данные о работе товара в режиме реального времени. В частности, такие примеры использования VR/AR демонстрируют европейские Schneider Electric и KTM.
Интересно, что такая важная отрасль, как сельское хозяйство, пока еще находится на этапе поиска путей использования преимуществ от VR/AR. Показательной является полушуточная идея создания VR для цыплят, пришедшая в голову Остину Стюарту (Austin Stewart), доценту Университета штата Айова. Его проект Second Livestock [10] создает у цыплят ощущение, что они живут на воле, в то время как они фактически содержатся в небольших корпусах (рис. 8). Хотя в теории это и выглядит гуманно по отношению к птицам, об экономических выгодах говорить невозможно: существуют лишь домыслы, что это потенциально повысит качество продукта.
Итак, существующие AR-решения могут быть использованы как один из инструментов для автоматизации процессов и повышения производительности, они делают обучение сотрудников работе с новыми техническими средствами более наглядным, помогают контролировать технические риски, способствуют сокращению брака продукции, повышают эффективность логистических процессов и улучшают обеспечение безопасности труда.
Реальность — дополненная, выгода — реальная
Вопросы эффективности внедрения дополненной реальности очень подробно освещены в [11]. Материалы [12] будут полезны топ-менеджерам производственных и промышленных предприятий, поскольку дают возможность принять решение об эффективности инвестиций в новую технологию. Результаты проведенных авторами [12] исследований впечатляют: с внедрением дополненной реальности производительность обслуживания турели бронетранспортера повысилась практически на 50%, возросла скорость выполнения задач, а количество ошибок снизилось до минимума.
Рассмотрим еще несколько интересных примеров эффективности применения VR/AR в отраслях, далеких от индустрии развлечений.
Авиационная промышленность
Boeing — одна из крупнейших аэрокосмических компаний на планете, которая строит самолеты для 150 стран мира. В бортовых системах летательных аппаратов содержится множество компонентов, связанных между собой системой проводов. Укладка и соединение кабелей производится по специальному шаблону, после чего их скрепляют в жгуты, а на концы кабелей устанавливают разъемы. Процесс работы занимает длительное время и требует особого внимания и ответственности. Последние 20 лет Boeing искала систему, способную сократить время на производство и устранение ошибок. В начале 2014 г. компания внедрила решение дополненной реальности на платформе очков Google Glass. Отдав с помощью приложения голосовую команду: «ОK, Skylight. Начать создание жгута. Сканировать заказ 0447», оператор видит в AR-очках визуальную дорожную карту по сборке жгута № 0447 (рис. 9). Согласно отчету Boeing по проекту, «использование Google Glass позволило сократить время производства на одну четверть и снизить количество ошибок в два раза» [13].
Другой пример — компания Lockheed Martin, где внедрением проекта занималась фирма NGRAIN. Инженеры завода используют дополненную реальность для получения визуальной подсказки по сборке самолета F-35. В качестве основной платформы в компании используются AR-очки Epson Moverio BT-200, оборудованные специальными датчиками движения и глубины. Когда техник монтирует деталь тормоза на шасси, в очках он видит все данные о том, где и в каком порядке нужно проводить сборку и подсоединять кабели. В итоге весь процесс работы напоминает игру с конструктором LEGO: от рабочего требуется лишь взять подходящую деталь и поместить ее в нужное место. По данным NGRAIN, «программное обеспечение позволяет инженерам работать быстрее на 30% и с точностью до 96%» [14].
Автомобильное производство
Автоконцерны вынуждены находить баланс между массовым производством и индивидуальными предпочтениями потребителя, которому нужны разные варианты комплектаций и автомобили разных цветов. Организация такого производства часто сопровождается сложными рабочими инструкциями, которые способны спровоцировать простои, ошибки и снижение производительности.
Концерн Fiat Chrysler Automobiles (FCA) применил в своей работе проекционную AR-систему OPS Solutions. Теперь на каждом этапе сборочного процесса рабочие получают наглядную информацию о своем следующем шаге [15].
После внедрения инновации был проведен эксперимент. Перед операторами стояла задача собрать зубчатые передачи и цепи. Весь процесс проходил в десять последовательных шагов. Сотрудники должны были выбрать правильные комплектующие, провести монтаж и убедиться, что все сделано правильно. Часть операторов выполняла задачу с помощью бумажных инструкций, а другие использовали AR-инструменты. По результатам эксперимента использование AR привело к:
- уменьшению числа ошибок на 80%;
- сокращению времени рабочего цикла на 38%;
- увеличению пропускной способности на 82%.
Машиностроение
Высокотехнологичное машиностроительное предприятие AGCO (США) выпускает крупные тракторы, распылители удобрений и другую сельскохозяйственную технику. В 2015 г., переняв опыт зарубежных коллег в области автоматизации сборочных мест, предприятие оснастило участки большими дисплеями, на которые выводился трехмерный состав изделий и полный комплект документации, необходимый для быстрой и качественной сборки продуктов (рис. 10). Функционально решение было очень близко к AR-очкам и AR-софту, что и позволило обеспечить готовность к интеграции AR в производственный процесс. Через два года, в 2017 г., такая интеграция стала конкурентным преимуществом предприятия.
Пегги Гуллик (Peggy Gullick), директор по развитию бизнес-процессов AGCO, говорит, что использование Google Glass было «абсолютным поворотным моментом». Контроль качества ускорился на 20%. Ранее рабочие пользовались планшетами, а сегодня в AGCO около ста специалистов используют Google Glass (рис. 7), которые сложнее сломать или потерять, чем планшеты. Гуллик говорит, что «компания планирует удвоить использование технологии на заводах AGCO к концу этого года» [8].
Сборочное электромонтажное производство
Первое российское AR-приложение было выпущено компанией VR CORP для электромонтажного производства. Руководство ООО «Технологии Энергосбережения Сибири» столкнулось с текучкой кадров, в результате чего много средств и усилий тратилось на обучение вновь приходящих сотрудников. Для офисного персонала было создано приложение, с помощью которого любой сотрудник мог навести смартфон на электротехническую схему и рассмотреть в подробностях 3D-модель готового изделия, включая все ее комплектующие. Особенно это стало актуальным для молодых специалистов без опыта работы. Вводный курс обучения специальности сократился до простой схемы: взял смартфон, запустил приложение, навел на электротехническую схему и рассмотрел все подробности об изделии в его готовом виде (рис. 11).
Похожее по функционалу приложение было создано для рабочих сборочного цеха (рис. 12). Вместо электромонтажной схемы специалист получает информацию о размещении деталей и кабелей в будущем изделии, а подсветка каждой детали вовремя предупреждает, если используются неправильные комплектующие.
За свою разработку VR CORP получила диплом форума «Городские технологии» от Департамента промышленности, инноваций и предпринимательства мэрии г. Новосибирск.
Интеграция AR в российское производство
Как уже было сказано, технологии AR — это новый интересный и эффективный инструмент для решения многих задач, существующих на современных предприятиях. Но не всегда ясно, с чего стоит начинать, каких затрат это потребует и как скоро вернутся инвестиции.
Обобщая опыт успешной интеграции AR в производственные процессы на различных промышленных предприятиях, специалисты VR CORP, российской компании — разработчика решений по VR/AR, выработали рекомендации и предлагают следующую схему действий.
Прежде всего, не стремитесь сразу объять необъятное. Выберите один из небольших этапов производственного процесса. Для создания тестового решения обратитесь к представителям разработчика VR/AR-приложений. На российском рынке не так много компаний, работающих с AR для производства и промышленности, но, тем не менее, выбор есть. Расскажите подробно о стоящих перед вами задачах, создайте совместную рабочую группу для подробного анализа и разработки пробного варианта. По оценке VR CORP, его стоимость составляет от 50 000 до 100 000 руб.
Затем сравните показатели эффективности рабочих, использующих тестовое решение, и тех, кто работает «по старинке». На основании полученных результатов оцените инвестиционную привлекательность комплексного проекта.
Наконец, если все показатели проекта вас радуют, согласовывайте бюджет и этапы внедрения и запускайте в работу.
Коммерческие ходы
В конкурентной борьбе многие предприятия предлагают идентичный товар и поэтому стремятся побеждать, в основном, за счет снижения цены. Такая стратегия создает нелегкие конкурентные условия, в которых прибыль по сделкам колеблется от 3 до 7%.
AR может служить не только для нужд собственного производства, но и для создания товара с уникальными свойствами. Многие продукты требуют от пользователя некоторых усилий, чтобы в нем разобраться и использовать. Например, электрические щиты, генераторы, автомобили и даже мебель от IKEA. С помощью AR производитель может добавить для пользователя интерактивную справку, которая наглядно покажет, как нужно использовать товар, исключит множество ошибок и в целом повысит удовлетворенность потребителя. Такая информация может быть транслирована на его планшет или телефон.
Компания BMW уже разработала аналогичное решение для обслуживания и ремонта своих автомобилей. Сразу после его запуска многие СМИ поспешили заявить о конце эпохи станций технического обслуживания, ведь теперь каждый может обнаружить и устранить неисправность в автомобиле. С помощью приложения пользователь видит последовательную инструкцию, которая шаг за шагом показывает, как диагностировать, починить или заменить любую деталь и какие для этого потребуются инструменты.
Если убедить клиента включить требования по наличию такой интерактивной справки в AR у поставляемого товара, то производитель получит прямое конкурентное преимущество и гарантию победы в тендерах. Во всяком случае, до той поры, пока AR не превратится в массовое явление.
По данным аналитиков IDC, в области AR разработчики быстро продвигаются от игр к новым типам материалов для широкой аудитории, а технологии AR уже начинают всерьез интересовать коммерческие компании. Они уже вовсю ведут разработку экспериментальных приложений.
Потребительский сегмент в ближайшие годы останется самым крупным (44,4% рынка). В коммерческой сфере только дискретное производство (10,9%) и розничная торговля (7,4%) по объему превышают $1 млрд. К 2020 г., однако, ожидается, что торговля обгонит дискретное производство, а третье место займет непрерывное производство, обогнав сегмент личных и потребительских услуг. Среди областей коммерческого применения AR/VR-технологий в 2017 г. самые большие вложения приходятся на оформление витрин в торговле — $461 млн.
- Azuma R. A Survey of Augmented Reality Presence: Teleoperators and Virtual Environments. August, 1997.
- Трофимова Е. VR + AR =? // Control Engineering Россия. 2015. № 2.
- https://vc.ru/15036-vr-field
- www.forbes.ru/tehnologii/340601-2017-y-god-dlya-virtualnoy-i-dopolnennoy-realnosti-kak-tehnologii-pridut-na
- https://neurowareblog.blogspot.ru/2014/12/blog-post_18.html
- www.inverse.com/article/16407-ar-in-the-workplace
- www.epson.pt/products/see-through-mobile-viewer/moverio-pro-bt-2000
- https://geektimes.ru/post/287150/
- https://iot.ru/
- www.secondlivestock.com
- Sa..a..ski J., Salonen T., Liinasuo M., Pakkanen J., Vanhatalo M., Riitahuhta A. Augmented Reality Efficiency in Manufacturing Industry: A Case Study. NordDesign 2008. Tallinn, Estonia.
- Henderson S., Feiner S. Evaluating the Benefits of Augmented Reality for Task Localization in Maintenance of an Armored Personnel Carrier Turret // Science & Technology Proc. 8th IEEE International Symposium on Mixed and Augmented Reality. Orlando, USA. October, 2009.
- www.cio.com/article/3095132/wearable-technology/google-glass-takes-flight-at-boeing.html
- www.popularmechanics.com/flight/a13967/lockheed-martin-augmented-reality-f-35/
- www.ops-solutions.com/2015News.html