Патент Sony: внутриигровой переводчик языка жестов улучшает игровой процесс для игроков с нарушениями слуха!

Sony подала заявку на патент, чтобы улучшить доступность игр для игроков с нарушениями слуха. Патент демонстрирует технологию, которая может переводить один язык жестов на другой в игре в реальном времени.

Запатентовано Sony: внутриигровой переводчик в реальном времени с американского языка жестов (ASL) на японский язык жестов (JSL)

Sony подала заявку на патент на добавление в видеоигры перевода на язык жестов в реальном времени. Патент под названием «Перевод языка жестов в виртуальных средах» описывает технологию, которая может переводить американский язык жестов (ASL) на японский язык жестов (JSL) для использования носителями японского языка.

Цель Sony — создать систему, которая поможет слабослышащим игрокам вести внутриигровые разговоры, переводя язык жестов в реальном времени внутри игры. Технология, описанная в патенте, позволит виртуальному индикатору или аватару, отображаемому на экране, передавать язык жестов в реальном времени. Система сначала переводит жесты языка жестов на одном языке в текст, затем преобразует текст на другой указанный язык и, наконец, переводит полученные данные в жесты на другом языке.

Sony описывает в патенте: «Варианты настоящего изобретения относятся к способам и системам для захвата языка жестов одного пользователя (например, японца) и перевода языка жестов другому пользователю (например, говорящему по-английски). . Поскольку языки жестов различаются в зависимости от географического происхождения, а языки жестов не являются универсальными языками, это требует надлежащего захвата языка жестов одного пользователя, понимания его родного языка и создания его родного языка жестов в качестве вывода для другого пользователя». >

Sony привела пример того, что одна реализация этой системы может использовать оборудование VR или головные дисплеи (HMD). Sony подробно описывает: «В некоторых вариантах реализации HMD подключается к пользовательскому устройству, такому как персональный компьютер, игровая консоль или другое вычислительное устройство, через проводное или беспроводное соединение. В некоторых вариантах реализации пользовательское устройство отображает графику, отображаемую через HMD, предоставьте пользователям захватывающий опыт просмотра в виртуальной среде» .

Sony также предложила, чтобы одно пользовательское устройство могло беспрепятственно взаимодействовать с другим пользовательским устройством на игровом сервере через сеть. В Sony заявили: «В некоторых вариантах реализации игровой сервер выполняет общий сеанс видеоигры, поддерживает каноническое состояние видеоигры и ее виртуальной среды, а пользовательское устройство синхронизируется с ними относительно состояния виртуальной среды».

Благодаря этой настройке пользователи могут использовать одну и ту же виртуальную среду (например, игру) и взаимодействовать друг с другом в общей сети или на сервере. Sony также заявила, что в некоторых реализациях системы игровой сервер может быть частью облачной игровой системы, которая «рендерит и передает потоковое видео» между каждым пользовательским устройством.