Cette startup basée à Tokyo vise à remplacer la caméra physique par une plate-forme logicielle unique

Tout en travaillant chez Yahoo au Japon, Issay Yoshida a été impliqué dans la recherche et le développement de la vision par ordinateur, de l’infographie et de l’apprentissage automatique, ainsi que dans le lancement de plusieurs applications innovantes. Vers 2016, il a ressenti le besoin d’une plate-forme de caméra virtuelle qui servira de base au chat vidéo, à la diffusion en direct et à la production vidéo.

Il y a cinq ans, la vision par ordinateur venait juste de commencer à se développer et Issay estimait que la caméra physique pouvait être remplacée par une seule plate-forme logicielle. Alors, il a fondé EmbodyMe à Tokyo, au Japon, en 2016.

«Le premier produit que nous avons développé était un logiciel qui permettait aux utilisateurs de créer un avatar 3D à partir d’une seule photo. Après cela, nous nous sommes fixé comme objectif le développement de «xpression», qui facilite le contrôle du visage et de la tête de toute personne sur une image ou une vidéo en temps réel pour générer un nouveau contenu vidéo. Il est sorti en mai 2018 », raconte Issay Ton histoire.

L’équipe EmbodyMe

L’équipe vient de commencer à développer une caméra xpression lorsque la pandémie COVID-19 a frappé.

«Notre objectif était de créer une plate-forme de caméra virtuelle fondamentale destinée au chat vidéo, au streaming en direct et à la production vidéo, qui, à l’ère du COVID-19, sont tous devenus des modes de communication indispensables», ajoute-t-il.

Qu’est ce que ça fait?

Au lieu de capturer directement des images avec une caméra physique, xpression permet aux utilisateurs d’animer n’importe qui dans une image ou une vidéo en temps réel, en fonction de leurs expressions faciales, de leur voix et de leurs mouvements corporels.

«Vous pouvez vous faire passer pour n’importe quelle personne et avoir une conversation Zoom, diffuser sur Twitch ou créer une vidéo YouTube. La plate-forme peut être utilisée pour mener toute activité essentielle à l’ère du coronavirus, comme le travail à distance, les soins médicaux en ligne, les cours en ligne et les événements en ligne », a déclaré Issay dit.

En 2020, l’équipe avait réalisé que le marché de la communication vidéo se développait rapidement en raison de la pandémie, ce qui leur a créé de nombreuses opportunités pour en tirer parti. Dans cet esprit, la caméra xpression a été créée pour renforcer les formes existantes de partage et de socialisation qui gagnaient en pertinence.

La technologie

«Vous pouvez assumer la ressemblance de n’importe qui et redéfinir votre propre expérience de partage vidéo ou produire un contenu original. Il est utile dans une variété d’environnements et de paramètres tels que le travail et l’apprentissage à distance, les soins médicaux, les événements virtuels, les médias sociaux, la création de contenu créatif, les efforts personnels, etc. », ajoute Issay.

La caméra xpression est un application de caméra virtuelle basée sur la technologie de base brevetée d’EmbodyMe qui utilise l’apprentissage en profondeur généré par l’IA pour permettre aux utilisateurs d’imprimer les mouvements de leur visage et de se diriger vers l’image qu’ils choisissent.

Il utilise le suivi des visages denses 3D qui peut suivre plus de 50 000 points 3D, localisant avec précision les caractéristiques de l’ensemble du visage, reflétant les expressions de l’utilisateur.

«Notre modèle génératif profond apprend à générer n’importe quel élément visuel indiscernable de la réalité, et nous rationalisons ce processus afin qu’il fonctionne de manière transparente sur les PC bas de gamme et les appareils mobiles de manière interactive – à la fois sur l’image et sur la vidéo, ce qui lui permet de gérer la haute résolution. des images et des vidéos en temps réel », explique Issay.

Le modèle de revenus

Quand Issay a eu l’idée d’EmbodyMe, il a créé l’équipe de base en contactant ses collègues et amis de Yahoo. Aujourd’hui, l’équipe principale se compose de 10 personnes et la startup compte 15 membres.

Bien que basée à Tokyo, l’équipe ajoute que plus 144 594 utilisateurs sont originaires d’Inde. EmbodyMe fonctionne principalement comme une société de R&D, l’équipe a donc consacré la plupart de ses efforts à la recherche et au développement en commun avec d’autres entreprises, sans courir après les profits.

«Dernièrement, notre objectif principal a été de développer et de garantir que l’application soit accessible au plus grand nombre d’utilisateurs possible. Ainsi, nous avons décidé de le garder gratuit et cela nous a incité à mettre de côté la vente des unités de caméra xpression en faisant des évaluations de la rentabilité. Cependant, à l’avenir, nous espérons revoir notre modèle actuel et apporter des modifications en fonction du succès et de l’état actuel de l’application sur le marché », déclare Issay.

L’équipe espère adopter un modèle freemium d’ici la fin de 2021 où les utilisateurs devront payer 14 $ par mois en moyenne pour des fonctionnalités supplémentaires qui étendent les fonctionnalités de la version gratuite de la caméra xpression.

En vertu de cette prémisse, l’équipe cherche à fournir trois types de plans payants: un plan de base pour les utilisateurs occasionnels de chat vidéo; un plan Pro pour les créateurs de vidéos, c’est-à-dire les YouTubers virtuels, etc. et un plan Entreprise destiné aux plates-formes vidéo telles que Zoom, Microsoft Teams et Google Meet.

La start-up a levé un financement de démarrage non divulgué par IncubateFund, DEEPCORE (le fonds axé sur l’IA de SoftBank), TechStars et Deep30.

Le marché et l’avenir

En raison du travail à distance, le phénomène de fatigue du zoom gagne en importance. Cependant, COVID-19 a fait de la communication virtuelle une partie intégrante de notre vie quotidienne.

De nombreuses startups cherchent lentement des moyens de rendre la communication vidéo amusante, comme l’application Mmhmm ​​basée à San Francisco. Dyte, une plate-forme d’appel vidéo basée sur Y-combinator, est en concurrence avec Zoom, permettant aux utilisateurs d’intégrer des plug-ins (applications) directement dans l’appel.

Le travail à distance a transformé la façon dont les équipes se rencontrent et communiquent. Pour cette raison, de nombreuses startups entrent dans l’espace des appels vidéo. La société Zoom, basée aux États-Unis, a vu son nombre d’utilisateurs augmenter de 30 fois depuis le début de la pandémie.

«Notre technologie est 50 fois plus rapide que n’importe laquelle de nos concurrents et fonctionne en temps réel. La technologie unique que nous avons développée peut fonctionner sur les chats vidéo, les diffusions en direct et les jeux, et ne nécessite aucun temps de prétraitement. Il peut gérer des images et des vidéos haute résolution en temps réel, »Issay dit.

Parlant de l’avenir, Issay affirme que l’objectif ultime d’EmbodyMe est d’être un leader sur le marché de la communication vidéo. La société vise à construire un monde dans lequel tout contenu visuel imaginable peut être créé à l’aide du deep learning – non seulement pour le marché du chat vidéo, mais également pour les secteurs de la création vidéo et du streaming.

L’équipe est en train de développer une technologie afin qu’elle puisse également être utilisée pour la production vidéo professionnelle.

«Une autre conséquence de la pandémie de COVID-19 est qu’en raison du verrouillage, il est devenu de plus en plus difficile de filmer le contenu, et dans de nombreux cas, nous avons vu des industries s’immobiliser complètement car de nombreuses activités en personne ont été interrompues indéfiniment. . Nous voulons donner aux cinéastes, producteurs, showrunners, acteurs et à tous ceux impliqués dans la production cinématographique une opportunité de renouveler leur métier en éliminant la nécessité de l’interaction en personne, et de les libérer des contraintes de la production collaborative », déclare Issay.

Il ajoute qu’ils visent à permettre aux créateurs d’explorer leurs talents grâce à la technologie.

«De plus, nous cherchons à offrir de nouvelles voies pour que nos célébrités et personnages préférés apparaissent dans un plus large éventail de médias. Nous espérons également octroyer une licence à nos technologies aux applications de plate-forme, telles que Zoom, Twitch et Discord, ainsi qu’à des entreprises d’autres secteurs », conclut Issay.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *