Мультимодальность для человекоподобного робота / Хабр

Что такое мультимодальность?

В самом термине заложено, что это симбиоз множества способов извлечения смысла. На сегодняшний день это множество включает в себя следующее:

Последнее добавляет в плоскостную структуру мультимодальности ещё и ось времени. Теперь попробуем понять, насколько хорошо робот может обрабатывать все перечисленные типы информации. И забегая вперед, можно сказать, что каждый из каналов по отдельности роботы научились обрабатывать уже с достаточно высоким качеством, а в некоторых случаях модели распознавания превосходят в этом даже человека.

Мы в команде Промобот пробуем определить подход в разработке мультимодальности, отвечающий пользовательским требованиям, предъявляемым к современным человекоподобным роботам.

Что такое человекоподобный робот?

Понятие “Человекоподобный робот” имеет ряд определений в научной литературе в зависимости от области исследования и сферы применения.

Albert hubo – робот-эйнштейн

Робот (точнее голова-робот), который сильно похож на Альберта Эйнштейна, работает на батарейках АА.

Он может похвастаться реалистичными выражениями лица, а голову можно прикрепить к корпусу робота.

Кроме этого, робот может говорить голосом, похожим на голос самого Эйнштейна.

Alpha 2, ubtech, китай

На 2023.11 в разработке, открыт прием заказов в рамках краудфандинговой программы по сбору средств. 

Alpha1 pro. ubtech, китай

Программируемый робот для детей (от 8 лет). В России представлен эксклюзивным дилером компании UBTech – компанией “Графитек”. 

2023.08.25 . 

Ar-601, андроидная техника (нпо “андроидная техника”), москва

AR-601 (или AR-600E), 2023.01

Asimo – робот, который может почти все

Робот, построенный компанией Honda, может бегать, подниматься по ступенькам, прыгать и бить по мячу.

https://www.youtube.com/watch?v=aASm6r2Ed28

Кроме этого, он также может выполнять различные действия своими руками. Пятью пальцами он может открыть крышку запечатанной бутылки и разлить сок по стаканам.

Такое огромное количество возможностей являются результатом работы множество сенсоров, встроенных в руку, и работающих совместно с камерами, установленными в глазах робота.

Asimo, honda, япония

Робот андроидного типа, способный ходить и бегать. Отмечается, что на 2023.03 замечательный прототип так и не превратился в коммерчески доступное изделие. 

2023.09.12 Atlas научили балансировать на одной ноге. 

2023.02.24 Новое поколение робота Atlas разработки Google 

Atrias, oregon state university, сша

На 2023.05 в разработке. Платформа для отработки механизма двуногого (бипедального) хождения. 

Bina48 – женская голова-робот

Воспоминания, верования и основные черты характера женщины были переведены в одного робота, названного Bina48 (Breakthrough Intelligence via Neural Architecture, скорость обработки данных 48 эксафлопс в секунду и объем памяти 48 эксабайтов). 

Сам по себе робот довольно сложно сконструирован и способен общаться на тему философии, выявлять расистские склонности собеседника и даже рассказывать шутки.

Стоит отметить, что название робота произошло отимени жены основателя компании Terasem Movement Foundation, создавшей робота, Бины Аспен (Bina Aspen).

На протяжении 20 часов с ней общались на разные темы, начиная от детства до карьеры. Далее всю информацию загрузили в базу данных искусственного интеллекта. Дизайнер робота Дэвид Хансен (David Hansen) создал только бюст Бины, но на это пришлось потратить 125 000 долларов США.

Face – робот с гибким лицом

Может ли робот выражать эмоции, причем настолько убедительно, что пугает? Именно такую цель преследовали итальянские разработчики робота FACE.

Их робот снабжен 32 механизмами, расположенными в черепе и туловище, чтобы имитировать различные выражения.

Робот способен передавать чувство страха, злости, отвращения, удивления, радости и грусти.

Geminoid dk – живой робот

Еще одно создание Исигуро воссоздает образ Хенрика Шарфе (Henrik Scharfe), доцента датского университета Ольборг (Aalborg University).

По словам изобретателя, его целью было понять “эмоциональные возможности” робота во время общения с человеком.

В видео можно заметить, насколько реалистичны лицевые движения, моргание и движения рта.

Geminoid f – женщина-робот

Японский специалист по роботостроению Хироси Исигуро (Hiroshi Ishiguro) превзошел самого себя, когда создал Geminoid F, андроида, похожего на женщину, и способного улыбаться, двигать плавно бровями, разговаривать и даже петь.

Чтобы сделать лицо, понадобилось использовать 12 механизмов управления, работающих благодаря давлению воздуха. Это позволяет андроиду воссоздавать человеческие выражения лица.

Geminoid F настолько реалистичный, что даже сыграл женскую роль в одном из спектаклей в Токио.

Hrp-4c – человек-робот

Данный робот был разработан так, чтобы быть похожим на обычного японского подростка.

HRP-4C прошел несколько стадий технологической эволюции – сначала он мог только говорить, потом стал петь, а потом и плясать (хоть и немного странно).

Как и большинство роботов, данная модель не могла симулировать человеческую походку, пока не прошла очередную стадию улучшения.

Несмотря на то, что этот робот до сих пор ходит немного неровно, множество улучшений сделали его более реалистичным по сравнению с другими андроидами.

Kengoro, tokio university, япония

Двуногий робот, способный ходить и даже отжиматься от пола. Более 100 электродвигателей и других актуаторов. Основная особенность – робот может “потеть”, что позволяет ему бороться с перегревом, связанным с высокой плотностью электромоторов и актуаторов. Для этого роботу требуется пополнять запас воды.

Oceanone, oussama khatib и специалисты стэнфордского университета, сша

2023.04.29 Подводный телеуправляемый робот (ROV), способный взаимодействовать с различными объектами при помощи двух рук-манипуляторов. Робот-аквалангист по кабелю получает команды от оператора, находящегося на поверхности – аватар-система управляет манипуляторами робота, повторяя движения рук оператора.

Petman – военный робот

Агентство передовых оборонных исследовательских проектов министерства обороны США DARPA (Defense Advanced Research Projects Agency) успела создать много роботов для различных миссий, но PETMAN возможно самое удивительное из них.

Робот, похожий на человека, одетого в камуфляжный костюм, может подниматься по ступенькам, отжиматься, бегать и делать множество других движений на поле боя.

Roboy – робот, распечатанный на 3d-принтере

Roboy является гуманоидом, созданным при помощи 3D-принтера. Он был построен, чтобы помочь докторам диагностировать жертв инсульта и понять, как взаимодействуют мозг и тело. 

“RoBoy будет имитировать заболевания, которые врачи должны диагностировать”, сообщил Рафаэль Гостеллер, глава проекта Roboy в Швейцарском Федеральном институте технологий в Цюрихе. Он добавил, что все данные можно будет далее использовать в сфере протезирования.

Робот был создан командой из более 40 инженеров и ученых.

У него мягкая, эластичная кожа, модульные мышцы, а чтобы они лучше имитировали человеческие мышцы, инженеры прикрепили к ним спиральные пружины.

Самой сложной частью создания робота было конструирование рук. Их сначала напечатали на 3D-принтере вместе с суставами. После этого внутрь вставили большое количество проводов, разместив их по тонким каналам.

Seer, япония

Разработка инженера Takayuki Todo (Такаюки Тодо). Это только “голова робота”. Представлена в 2023 году. Голова умеет, как распознавать выражение лица собеседника, так и выражать эмоции на собственном лице. В отличие от андроидов с высокой схожестью с человеком, у SEER не так уж много актуаторов, отвечающих за мимику, тем не менее, достигается определенное сходство с человеком.

Глаза обладают двумя степенями свободы, кроме того, также движутся брови – за это отвечает специальный механизм. Рот пока что неподвижен и не имеет губ. Автор планирует добавить  автоматизацию губ в ходе дальнейшей разработки. В целом глаза выглядят естественно, если не считать заметного отсутствия эффекта фокусировки глаз.

2023.08.17 Японская “голова робота” SEER – еще одна попытка эмулировать мимику лица.  

Simroid – стоматологический учебный робот

Возможно самое отвратительное в этом роботе это тот факт, что “кожа” вокруг его рта настолько эластична, что ее можно растягивать намного сильнее, чем кожу человека, и при этом она не треснет.

Полость рта робота напичкана сенсорами, чтобы робот мог симулировать боль или неприятные ощущения.

Робот также может проворчать, если врач случайно заденет его локтем.

Xian’er, китай

Робот-монах, 60 см ростом, колесный привод, речевой интерфейс и тачскрин, поддержка упрощенного голосового общения. Разработка 2023 года. Робота можно увидеть в буддистском храме в Пекине, в храме Лонцюань. Робот обучен отвечать на вопросы, используя ответы, составленные мастерами храма. Робот на трехколесной подвижной платформе.

2023.04.24 Робот-монах появился в буддистком храме в Китае.

Алиса – первый реалистичный андроид из россии

Группа специалистов из компании Нейроботикс причастны к созданию самого первого российского робота-андроида.

Конечно, данный робот не может сравниться с японскими аналогами, которые содержать около 30 подвижных механизмов для более плавных движений. У Алисы таких механизмов всего 8.

И все же роботом можно управлять при помощи геймпада. Можно выполнять основные движения глаз и рта робота.

Стоит отметить, что голова андроида установлена на корпусе обычного манекена, а тот в свою очередь прикреплен к тележке с колесами, что позволяет роботу передвигаться. Внутри тележки можно обнаружить батареи для снабжения робота энергией.

Робот может использовать Скайп для общения, а камеры, установленные в глазах андроида, передают видео. Для передачи аудио используются микрофоны.

Остается ждать, когда этот робот будет доведен до совершенства.

Базовый

Скромный, но дающий в определенной мере предполагаемый “WOW-эффект”. Здесь робот будет минимально антропоморфным при оценках человеком, что выглядит вполне понятным даже для него самого. Поэтому сделать так, чтобы видели не робота, а его функционал и оценивали только то, как хорошо выполняется задача, является программой максимум.

В случае применения только базового функционала не нужно, чтобы люди пытались полноценно сравнивать такого робота с человеком, его могут воспринимать как дроида, которого можно создать по любому подобию и у него будет:

• своя модель речи, жестов, распознавания, мимики построенных на понятных технологиях NLP, CV, ASR, TTS, с применением различных сенсоров, алгоритмов на основе когнитивной лингвистики (грамматики конструкций), векторной семантики и многих других моделей. У таких роботов могут быть суперспособности, например, возможность говорить на языке животных (как в фильме Финч (2023))

• свой способ передвижения – колеса

• свой способ познания мира (база знаний)

• свой тип поведения

Гибридный

Может быть достигнут с помощью гибридных методов: amplified intelligence. Так для выработки привычки взаимодействия с роботом на основе базового функционала необходим консультант со знанием сценария взаимодействия с роботом и периодично его демонстрирующий в окружении людей тем самым провоцируя их повторять только сценарные действия и улучшая фон удовлетворенности от общения с роботом (Так внедряли терминалы и банкоматы Сбера, так это работает с презентацией любого нового продукта на выставке).

Гигантские роботизированные женщины-борцы

Эти роботы являются достопримечательностью первого токийского робота-ресторана.

Чтобы построить заведение, где можно поесть и отдохнуть понадобилось 125,8 миллионов долларов США, несмотря на то, что меню в основном содержит напитки.

Андроиды в бикини, с ногами как будто позаимствоваными у трансформеров, могут бороться друг с другом под музыку Леди Гага и чтобы посмотреть на их борьбу, посетителям придется выложить 50 долларов.

Дальнейшая работа

Предварительный анализ показал, что пользовательские требования, собранные в основном от владельцев роботов, не всегда имеют связь с реальностью. Поэтому проработка возможностей технологий на предмет максимального удовлетворения запросов пользователей является также необходимой.

Что является не менее важным – это правильно собрать поведенческий модуль робота. Тестирование четвертого этапа должно, во-первых, позволить собрать данные полученные на первых трех этапах в единый поведенческий модуль, а, во-вторых, установить режимы работы модуля в целом. Об этом мы напишем в последующих публикациях. Продолжение следует…

Зачем нужны человекоподобные роботы

Тем не менее, в последнее время роботостроение снова обратило свой взгляд в сторону именно антропоморфных роботов.

Тут возникает легкое недоумение. С одной стороны ученые не дураки (странно, да?) и, если они занимаются этим, значит в этом есть смысл. С другой стороны, мы понимаем, что наше тело совершенно только с точки зрения простого существования. Для работы оно пригодно не очень хорошо.

Речь даже не о слабости костей или ограничениях болевого порога. Я говорю скорее об особенностях, которые не позволят, например, быстро перекладывать большие металлические листы с места на место, так как это делает рука-манипулятор. Примеров можно привести много, но суть вы поняли.

Объяснение такой любви к человекоподобности роботов, кроме желания создания себе подобных, может быть только одно. Человекоподобный робот будет проигрывать в большинстве конкретных задач, но будет наиболее универсальным. Другими словами, он сможет заменить человека в том, что до этого он делал сам.

То есть, он не будет хорош в одном конкретном деле, но его можно будет научить делать все, что делает человек. Он сможет заменить человека за станком, после этого сеть вместо него за руль автомобиля, да и просто без труда перемещаться в городской среде без колес и прочих манипуляторов. И все это будет один робот, а не три разных.

А ведь это тоже робот. Просто не антропоморфный

В этом есть определенные плюсы, но пока создать таких роботов у ученых не получилось, и нам остается только ждать, когда это станет возможным. А учитывая скорость развития технологий, не думаю, что это займет слишком много времени.Еще одним примером использования человекоподобных роботов может быть работа в труднодоступных местах.

Они смогут повторять движения оператора, сидящего в безопасном месте. Также это может пригодиться в космосе. Для работы в безвоздушном пространстве не надо будет отправлять человека в скафандре на ограниченное время, тратя часы на подготовку к выходу и возврат обратно, можно будет выпустить робота.

Робот FEDOR в деле. Правда, дело это пока не самое важное

Кстати, одним из примеров таких роботов является FEDOR, про которого недавно говорили из каждого утюга. Не будем сейчас вдаваться в его подробности и искать плюсы и минусы. Это просто пример того, где такой робот может пригодиться и, скорее всего, работы в этом направлении будут активизироваться еще больше, вовлекая в это все новые компании и исследовательские институты.

Имитационный

Здесь речь идет о технологиях телеприсутствия. Максимально скопировать человека может сегодня только человек. Эта история про автоматоны в витрине магазина еще в детстве заставляла меня прилипать на час другой к витрине “Детского мира” в Хельсинки, робот манекен в витрине, который двигается и привлекает внимание к новой коллекции. Данный вариант по сей день актуален и несет ценность, пусть даже и для тестирования гипотез.

С точки зрения технологий робота уже не будут пытаться полноценно сравнивать с человеком, его воспримут как дроида, которого мы можем создать по любому подобию, но вместе с тем мы сталкиваемся с фактом, что такой подход является нерасширяемым.

Чтобы реализовать данный подход сценарий “Мороженщик” будет расширен и размножен на трех разных подходах, а затем оттестирован на пользователях.

Планируется собрать фидбек по следующему пулу вопросов:

1. Какой сценарий вызывает наибольший отклик и приятие?

2. Какие минусы у каждого из трех сценариев в плане реализации?

3. Какие плюсы у каждого из трех сценариев в плане реализации?

4. Что нужно добавить, чтобы сценарии заставляли вас возвращаться снова и снова

5. Правильно (ожидаемо) ли отработали мультимодальные (эмоции, жесты, мимика) схемы на роботе?

6. Вернетесь ли к этому роботу еще за мороженным?

7. Хотите купить этого робота?

История робототехники

История робототехники, как ничто иное, демонстрирует путь проб и ошибок. Получается, сначала мы хотели сделать робота похожим на себя, потом поняли, что надо делать машину, лишенную наших недостатков. Пусть она будет только для одной задачи, зато делать ее она будет очень хорошо. Теперь же мы поняли, что оба типа роботов имеют право на жизнь.

При этом они не являются конкурентами друг другу. Они смогут не просто существовать вместе, но и помогать друг другу. Например, робот-погрузчик будет привозить со склада краску, человекоподобный робот, который на ночную смену заменит человека, зальет ее в робота-маляра и нажмет своим механическим пальцем кнопку на пульте. Утром к этому же пульту вернется человек, а своего сменщика поставит на зарядку.

Вот научите роботов слишком многому, а они начнут за вас даже в компьютерные игры играть

Вы справедливо спросите, для чего нужно это промежуточное звено в виде человекоподобного робота? Нужно это для того, чтобы роботы помогали, а не заменяли нас. Приведенный пример описывает только одну ситуацию из множества, в которой роботы будут управлять роботами, но оставят место и для человека.

Как создаются роботы

Пока такие роботы, которые могут имитировать человека, создаются по большому счету только для развлечения. С ними можно поговорить, использовать как аватаров или сажать их на ресепшн, как это сделано в японской гостинице, название которой переводится на русский язык, как ”Странный отель”.

В разобранном виде робот для взрослых выглядит совсем не круто…

Гораздо больше пользы от роботов, которые зачастую имеют причудливые формы, но созданы для выполнения конкретных задач. Например, погрузчики, роботы для покраски автомобилей, подводные беспилотники и тому подобное. Все они заточены под выполнение, как правило, одной конкретной задачи, но зато справляются с ней очень хорошо.

Тем более они не требуют сложных систем балансировки, как их антропоморфные коллеги, и их гораздо проще оснастить элементами питания.Примерами более универсальных роботов могут служить творения специалистов из Boston Dynamics. Их роботы могут творить чудеса.

Многих из них надо еще дорабатывать и дорабатывать, но на демонстрационных роликах они выглядят очень круто. Чего только стоят знаменитый робот-паркурщик и робот-собака. Хотя, последний при всех своих преимуществах и кажущейся пользе для армии, так и не был принят на вооружение из-за малой автономности и высокого уровня шума. Тем не менее, именно такие роботы могут приносить гораздо больше пользы, когда их доработают.

Таких роботов делают специалисты Boston Dynamics

Методика тестирования гипотез:

Для тестирования гипотез мы использовали 2 типа интервью: интервью с пользователем-владельцем в рамках custdev мультимодальности и интервью пользователя с роботом в рамках заданного сценария с подключаемыми/отключаемыми опциями. Дополнительно мы использовали экспертную оценку наших разработчиков и архитектора диалоговой системы Промобот.

На первом этапе мы хотели выявить какие из каналов мультимодальности и, самое главное, в каких проявлениях нужны современному пользователю (custdev).

Затем мы запланировали проверить релевантность некоторых из пользовательских требований, а также их действительное влияние на человека. Для этого мы создали несколько сценариев, где были учтены некоторые из пользовательских требований и предоставили пользователям возможность пройти их на роботе. Цель – замерить показатели эффективности: как выглядят метрики клиента в общении с роботом, с человеком и с гибридом.

На третьем этапе (об этом в следующих статьях) должны появиться требования от разработки и схемы мультимодальности на основе механизмов формирования положительных эмоций у человека, которые также пройдут фильтр тестирования. И, наконец, будет определена модель мультимодальности, отвечающей пользовательским требованиям, предъявляемым к современным роботам и формат ее заполнения.

Наш топ-10 наиболее популярных открытий hri в мире:

• Внешность может нести определяющее значение в том, как человек воспринимает робота. Установлено, что люди демонстрируют негативные социальные и эмоциональные реакции, а также сниженное доверие к человекоподобным роботам, если последние имеют изъяны во внешности и поведении (эффект «Зловещей долины» Масахиро Мори)

• Качественная имитация на роботах человеческой манеры поведения, жестов, языка тела, мимики с помощью технологий телеприсутствия способна нивелировать негативное отношение и повысить процент положительных эмоций от общения (Джон П. Уитни)

• В случаях, когда роботы настойчиво навязывают общение и не соблюдают «безопасное расстояние» (вторгаясь в личное пространство пользователя), человек испытает негативные эмоции и предпочтет обратиться скорее к другому человеку, чем к роботу (Чад Эдвардс)

• Если робот не активен совсем, это тоже способно вызывать негативные эмоции. Робот воспринимается как бесполезный, и его присутствие начинает раздражать (Хироши Исигуро)

• Если робот не отвечает ожиданиям пользователя, это способствует формированию негативного тренда в отношении робота. Люди вкладывают в понятие робот характеристики из научной фантастики, которые не реализованы или не реализуемы на текущем уровне развития технологий, и обязательно разочаровываются, когда реальный робот не может делать ничего из выдуманного (Чад Эдвардс)

• Эмоции робота как правило человек приравнивает к человеческим. И если их проявление у робота имеет изъяны это вызывает отторжение. Зловещая долина – может быть просто эффект отторжения к людям с дефектами, это заложено эволюцией (Хироши Исигуро)

• Если роботы используют небуквальный язык, например сарказм или иронию в некорректных случаях, люди относятся к этому с таким же снисхождением, как и в ситуации с обычными людьми и способны простить ошибки употребления (Хайме Банкс)

• В соответствии с гипотезой контакта (Гордон Олпорт), контролируемое (сценарное) взаимодействие с социальным роботом может уменьшить неопределенность на старте общения и повысить готовность взаимодействовать с роботом

• Физический контакт с роботом, прикосновения, рукопожатия со стороны пользователя уменьшают негатив, и страхи, сформированные еще до общения с роботом, нивелируются (Марлена Фроне)

• Нашему мозгу все равно кого (робота или человека) и как воспринимать (как робота, как человека), главное, чтобы ожидания не расходились с реальностью, а это дело привычки, которую надо формировать (Айсе Пинар Саюгин)

С учетом этих выводов мы сформировали ряд гипотез на проверку.

Наши гипотезы:

1. Основная задача машин – дарить впечатления людям. Роботы справляются с этой задачей в целевых сценариях и это способствует повторному визиту пользователя при применении одного из трех подходов. Мы их назвали базовый, гибридный и имитационный

2. Человек не обращает внимание на вид и на манеру общения робота совсем, если не имеет завышенных ожиданий. Таким образом, если робот используется в сферах, где он приходит на замену текущим устройствам в качестве “горизонтального обновления”, он несет больший потенциал для создания положительного впечатления у пользователя (Наиболее яркий пример в истории, когда автомобиль вытеснил гужевой транспорт с дорог).

Примечания к первой гипотезе:

В рамках каждого из трех подходов по первой гипотезе тестируется какой из параметров и в какой мере влияет на положительное восприятие робота человеком.

Тестируемые параметры:

Первые роботы-гуманоиды и их навыки

Одним из первых андроидов стал робот мистер Герберт Телевокс, созданный американской компанией Westinghouse Electric Company. Робот мог отвечать на телефонные звонки и выполнять несложные указания хозяина: проверить, выключен ли свет, включить плитку.

Кстати, звуки телефона мистер Герберт Телевокс отличал от других звуков: человеческой речи или лая собаки. И это считалось большим достижением, учитывая, что за окном был 1927 год.

Интересно знать

По сегодняшним меркам, Герберта Телевокса можно считать элементом «умного дома». А его «человеческая» внешность (руки, ноги, лицо) никак не влияли на функционал.

Первый в мире робот-ведущий новостей

Самый первый в мире андроид-диктор новостей рассказал о землетрясении и рейде ФБР в Токио 24 июня 2023 года. 

На самом деле было создано два андроида – “девочка-андроид” (kodomoroid), которая может читать новости разными голосами и на разных языках, и “женщина-андроид” (otonaroid), которой будет играть роль специалиста по распространению информации в Национальном музее передовой науки и технологии, или просто Mираикан.

План исследования

В широкой перспективе мы запланировали 4 этапа исследования, которое поможет создать не только схемы распознавания мультимодальных сообщений в парадигме Человек-Робот, но и оттестировать модели генерации мультимодальности в парадигме Робот-Человек. Таким образом, круг замкнется и будет оттестирована полная парадигма взаимодействия Человек-Робот-Человек.

Ключ к определению схемы Человек-Робот вероятнее всего лежит в поле исследований, связанных с когнитивными моделями, теорией разума и методами HRI. Эти три направления являются основным источником идей для всех, кто хотел бы научиться делать человекоподобных роботов.

Симулятор пациента simman 3g

Этот робот был создан для того, чтобы медики могли улучшить свои знания и навыки, практикуясь на данном симуляторе. 

Машина может и довольно полезная, но выглядит немного устрашающе, особенно когда начинается симуляция кровотечения, конвульсии, крик и выделение пены изо рта.

Человекоподобные роботы: история

Этап 1: custdev по мультимодальности на уровне человек-робот

Этап 2: генерация мультимодальности на уровне робот-человек

Аналитика ответов и подготовка к третьему этапу идет своим чередом. А мы параллельно запустили второй этап – внутреннее тестирование мультимодальности. На втором этапе был разработан сценарий под кодовым названием “Мороженщик” на основе транзакционного анализа.

Пользователю необходимо было пройти сценарий 3 раза с тремя разными персонажами. У каждого персонажа был свой голос ((1) робо-синтез, (2) актерская озвучка, (3) актерская озвучка, адаптированная под робо-синтез), своя манера общения и эмотиконы, предполагался также свой язык тела.

Помимо этого, когда робот не знал ответа, сентимент анализ помогал ему сообщить об этом пользователю в соответствии со схемой транзакционного анализа и тем самым снять эмоциональное напряжение и продолжить диалог. На выходе оценивалось как пользователь воспринимает образ, где он дошел до конца сценария, и с кем ему было общаться наиболее комфортно. На текущем этапе тестирование в самом разгаре.

А мы, не дожидаясь его результатов уже спланировали третий, который позволит понять в рамках какого функционала наш робот будет наиболее востребованным для бизнеса.

Этап 3: методика работы с ожиданиями пользователя на уровне обработки мультимодальности

Чтобы провести третий этап в соответствии с установками нам понадобилось “приземлить ожидания пользователя” на существующие методики и технологии. Мы использовали для разных типов сценария следующие подходы:

Fedor (final experimental demonstration object research), центр развития робототехники при фонде перспективных исследований

Телеуправляемый с помощью аватар-костюма (костюма захвата движений) робот для работ в космосе (ранее известен как проект “Аватар”). Возможно будет обладать и какой-то автономностью. Готовность ожидается до 2023 года. В 2023 году – на уровне прототипа. Пока что неясна степень автономности данного изделия.

Выводы

О выводах пока говорить рано. Ждем результатов всех этапов и проработки 4 этапа, который позволит объединить весь собранный материал воедино и создать впервые подход в разработке мультимодальности, отвечающий пользовательским требованиям, предъявляемым к современным человекоподобным роботам.