ПОРТФОЛИО / ИНТЕРАКТИВ
Виртуальный консультант
для СКБ Банка
Цифровое воплощение натурального интеллекта
ПОРТФОЛИО / ИНТЕРАКТИВ
Виртуальный консультант
для СКБ Банка
для СКБ Банка
Клиент
СКБ Банк
Задача
Привлечь внимание к стенду банка на выставке Иннопром 2017, рассказать посетителям о новых продуктах и услугах банка.
Решение
Виртуальный консультант - цифровой аватар
Результат
Проект произвел на выставке настоящий фурор. Выстроилась целая очередь желающих задать свой вопрос виртуальному специалисту. Кто-то интересовался исключительно банковскими продуктами, а кого-то больше заинтересовала личность самой очаровательной цифровой леди. И каждый получил развернутый, исчерпывающий ответ. Гости стенда были поражены уровнем интеллекта и эрудиции виртуальной сотрудницы, наличием у нее чувства юмора и даже собственного достоинства. Профессионалы в области искусственного интеллекта мучались в догадках, как вообще такое возможно? Сомнение на лицах посетителей чередовалось то с детским восторгом, то со страхом перед мощью наступающих технологий.
Как это сделано?
На самом деле за цифровой оболочкой скрывался самый настоящий человеческий интеллект лучших сотрудниц банка. Несколько реальных консультантов-операторов посменно управляли цифровым аватаром с помощью разработанного нами уникального программно-аппаратного комплекса, состоящего из системы мониторинга посетителей на стенде, системы захвата движений и лицевой мимики оператора, программы для анимации и рендеринга трехмерного персонажа в реальном времени. Комната для работы операторов, где размещались мощные графические серверы, располагалась на расстоянии более 500 метров от стенда. Поэтому, во избежание задержек при передаче изображения и звука, нам пришлось использовать отдельную оптоволоконную линию.
Этапы работы
Создание 3D-персонажа
Концепт-арт, образ, 3D-моделирование, текстурирование, риггинг, анимация режима ожидания
Конструирование системы захвата движений
Мы сконструировали специальный шлем для захвата лицевой мимики, а также использовали комплект датчиков Vive Trackers для получения координат головы, тела и рук.
Программирование модуля визуализации
Мы написали приложение на Unity, которое использует координаты нательных трекеров и данные из модуля захвата мимики Faceware для анимации и real-time рендеринга трехмерного персонажа. Предусмотрен режим ожидания для ситуаций, когда оператора нет на месте или происходит перекалибровка датчиков
Сборка системы аудио-видео-мониторинга стенда
Камера и микрофон, установленные над экраном с 3D-аватаром, позволяли оператору видеть и слышать гостей стенда от первого лица.
Настройка обработки голоса
Для того, чтобы наш персонаж разговаривал более "цифровым" тембром, мы использовали специальное ПО и сервер для обработки голоса оператора "на лету"
Монтаж всех систем на выставке
Мы установили оборудование на стенде, а также разместили рабочее место оператора в специальной секретной комнате, которая располагалась на удалении 500 метров от стенда в другом павильоне.
Работа на выставке
Наша команда обеспечивала бесперебойную работу и поддержку системы все 4 дня выставки.