Le prototype créé par les chercheurs du projet Tokyo consiste en un appareil d’imagerie très sophistiqué qui est capable d’identifier des objets et des personnes. Cette technologie, qui se porte sur la tête à la façon d’un bandeau, se base sur le casque de réalité augmentée HoloLens (dont la lentille a été retirée) et sur l’intelligence artificielle. Grâce à ses caméras intégrées et à l’IA, l’appareil est en mesure de détecter les personnes qui se trouvent dans une pièce (et de les identifier si elles ont préalablement été renseignées dans l’algorithme), à quelle distance elles se trouvent de l’utilisateur, leur position, etc. Autant d’informations qui sont ensuite traduites et envoyées sous forme sonore aux utilisateurs du casque.

Les chercheurs de Microsoft espèrent que ces fonctionnalités aideront les personnes malvoyantes, et plus particulièrement les enfants, à s’ouvrir au monde et à mieux appréhender leurs interactions sociales. Il reste bien évidemment une grande marge de progression pour cette technologie, mais ses débuts semblent extrêmement prometteurs. Rendre le quotidien des personnes malvoyantes plus facile semble être une mission importante pour le géant américain. En effet, Microsoft a également lancé Seeing AI, une application pour les aveugles qui a récemment été traduite dans 5 langues supplémentaires.