Brevet Sony : le traducteur en langue des signes dans le jeu apporte une meilleure expérience de jeu aux joueurs malentendants !

Sony a déposé une demande de brevet pour améliorer l'accessibilité des jeux pour les joueurs malentendants. Le brevet démontre une technologie capable de traduire une langue des signes en une autre dans un jeu en temps réel.

Breveté Sony : traducteur en temps réel dans le jeu de la langue des signes américaine (ASL) vers la langue des signes japonaise (JSL)

Sony a déposé un brevet pour ajouter la traduction en langue des signes en temps réel aux jeux vidéo. Le brevet, intitulé « Traduction de la langue des signes dans des environnements virtuels », décrit une technologie capable de traduire la langue des signes américaine (ASL) en langue des signes japonaise (JSL) pour une utilisation par les locuteurs japonais.

L'objectif de Sony est de créer un système qui aide les joueurs malentendants à mener des conversations dans le jeu en traduisant la langue des signes en temps réel dans le jeu. La technologie décrite dans le brevet permettrait à un indicateur virtuel ou à un avatar affiché sur l'écran de transmettre la langue des signes en temps réel. Le système traduit d'abord les gestes en langue des signes dans une langue en texte, puis convertit le texte dans une autre langue spécifiée et enfin traduit les données reçues en gestes dans une autre langue.

Sony décrit dans le brevet : "Les modes de réalisation de la présente invention concernent des procédés et des systèmes permettant de capturer la langue des signes d'un utilisateur (par exemple, un Japonais) et de traduire la langue des signes à un autre utilisateur (par exemple, un anglophone). . Étant donné que les langues des signes varient selon l'origine géographique et que les langues des signes ne sont pas des langues universelles, cela nécessite de capturer de manière appropriée la langue des signes d'un utilisateur, de comprendre sa langue maternelle et de générer sa langue des signes native en tant que sortie pour un autre utilisateur. >

Sony a donné un exemple selon lequel une mise en œuvre de ce système peut utiliser un équipement VR ou des visiocasques (HMD). Sony détaille : « Dans certains modes de réalisation, le HMD est connecté à un appareil utilisateur, tel qu'un ordinateur personnel, une console de jeu ou un autre appareil informatique, via une connexion filaire ou sans fil. Dans certains modes de réalisation, l'appareil utilisateur restitue les graphiques affichés via le HMD, Offrez aux utilisateurs une expérience visuelle immersive dans un environnement virtuel ».

Sony a en outre proposé qu'un appareil utilisateur puisse communiquer de manière transparente avec un autre appareil utilisateur sur le serveur de jeu via le réseau. Sony a déclaré : « Dans certains modes de réalisation, le serveur de jeu effectue une session partagée du jeu vidéo, maintient l'état canonique du jeu vidéo et de son environnement virtuel, et le dispositif utilisateur se synchronise avec celui-ci par rapport à l'état de l'environnement virtuel. »

Avec cette configuration, les utilisateurs peuvent partager le même environnement virtuel (c'est-à-dire le jeu) et interagir les uns avec les autres sur un réseau ou un serveur partagé. Sony a également déclaré que dans certaines implémentations du système, le serveur de jeu pourrait faire partie d'un système de jeu en nuage qui « restitue et diffuse de la vidéo » entre chaque appareil utilisateur.