La startup U of T s’appuie sur l’IA et la linguistique pour alimenter l’animation faciale dans les jeux vidéo

Une startup de l’Université de Toronto stimule le succès de l’un des jeux vidéo les plus vendus de l’année dernière – le jeu de rôle d’action dystopique Cyberpunk 2077.

Issu de la recherche du département d’informatique, JALI Research a développé une suite d’outils qui alimentent les animations faciales hyper-réalistes du jeu, permettant aux personnages de dialoguer de manière convaincante dans différentes langues.

La capacité d’animation multilingue a été présentée comme une nouvelle fonctionnalité de Cyberpunk 2077, qui s’est vendu à plus de 13,7 millions d’exemplaires dans le monde au cours de son premier mois, selon le développeur de jeux CD Projekt Red.

« Avoir une toute nouvelle animation qui répond aux dialogues enregistrés des acteurs de la voix off dans 10 langues – et pas seulement le doublage sur une animation anglaise – signifie que vous regardez une animation qui correspond à ce que vous entendez », a déclaré Sarah Watling, PDG de la startup.

«C’était l’une des choses qui, selon CD Projekt Red, aurait un impact énorme. Ils allaient pouvoir développer de nouveaux marchés de détail en offrant une expérience localisée aux joueurs.

Fondée en 2016, JALI Research utilise l’IA pour mapper avec précision les phonèmes – les plus petits éléments sonores pouvant être isolés – aux visèmes, les formes de bouche correspondantes que nous voyons sur le visage d’une personne lorsqu’elle émet ces sons.

Watling dit que la technologie de JALI aide à combler le fossé entre le gameplay réel et les scènes plus cinématiques et préconstruites qui sont utilisées pour raconter l’histoire du jeu. «La personne qui joue au jeu passe le plus clair de son temps dans le gameplay. Ainsi, les améliorations que nous pouvons apporter améliorent également cet aspect du jeu », dit-elle.

Les racines de la société peuvent être attribuées aux recherches menées par le directeur de la technologie Pif Edwards alors qu’il était étudiant au doctorat au département d’informatique de la Faculté des arts et des sciences. Edwards a remarqué que les systèmes de dialogue automatisés existants ne correspondaient pas à la nuance et à la complexité de la parole humaine – il s’est donc mis à développer une alternative.

Edwards était l’auteur principal d’un article de 2016 qui a présenté un «modèle de visème centré sur l’animateur pour la synchronisation expressive des lèvres». Les co-auteurs de l’article comprenaient Chris Landreth, un animateur lauréat d’un Oscar qui a été distingué artiste de recherche en résidence au Dynamic Graphics Project de l’U of T; Eugene Fiume, professeur d’informatique et doyen de la Faculté des sciences appliquées de l’Université Simon Fraser, qui a obtenu son diplôme et son doctorat à l’Université de Toronto; et Karan Singh, professeur au département d’informatique de l’Université de Toronto.

Le logiciel qui en résulte, qui utilise une plate-forme d’animation faciale pour aider à cartographier les phonèmes en visèmes, a été surnommé «JALI» – une combinaison de «mâchoire» et de «lèvre», les deux caractéristiques anatomiques qui, selon le document, expliquent la plupart des variations de la parole visuelle. .

Watling a rejoint la startup en tant que PDG en 2020, l’année où la société a annoncé que son logiciel alimenterait les animations faciales de Cyberpunk 2077.

Elle dit que l’un des principaux avantages de la technologie de JALI est qu’elle permet aux studios de développer l’animation faciale à un coût relativement faible. Cela contraste avec les approches plus coûteuses telles que les images clés et l’animation par capture de mouvement, qui ne sont financièrement viables que pour les plus grands studios.

«Les mondes du jeu vidéo deviennent de plus en plus vastes et immersifs», dit-elle. «Dans le même temps, les joueurs sont assez indifférents quant à la taille de l’entreprise. Ainsi, l’attente d’une plus grande immersion, plus de réalisme et des valeurs de production plus élevées est toujours appliquée, que vous soyez un studio à deux ou un grand studio multinational.

«Notre technologie offre vraiment la capacité de capturer une qualité idéale à grande échelle afin que le retour sur investissement augmente avec le temps, permettant aux petits studios de dépasser leur poids.»

Elle attribue au vaste écosystème d’innovation de l’U of T – en particulier le programme UTEST, qui reçoit actuellement des candidatures pour sa prochaine cohorte – d’avoir aidé l’entreprise à faire passer ses recherches du laboratoire au marché.

«Le programme UTEST est un excellent hybride de cours – certains par le biais de MaRS et d’autres par le biais de partenariats avec divers mentors qui soutiennent les entreprises dans le cycle de vie des startups, y compris les cabinets d’avocats en propriété intellectuelle», a-t-elle déclaré. «Vous travaillez en étroite collaboration avec la direction d’UTEST sur divers aspects, qu’il s’agisse de réfléchir à votre espace de problème ou à votre proposition de valeur, ou d’améliorer votre argumentaire.

«De plus, le Bureau des innovations et des partenariats est si efficace pour aider les startups à passer de ce processus initial d’idéation et d’invention à une voie commerciale viable, à traverser la bureaucratie, les obstacles juridiques et l’incorporation.

« Nous avons trouvé que l’expérience a été incroyablement favorable. »

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *