Un sac à dos intelligent pour malvoyants les aide à se déplacer

Et si un sac à dos intelligent pour malvoyants leur permettait de s’affranchir de cannes et des chiens guides ? Des ingénieurs ont mis au point un système portable à commande vocale capable de repérer les obstacles en temps réel et de décrire l’environnement d’une personne.

De quoi se compose ce sac à dos intelligent ?

Ce nouveau système d’assistance visuelle est composé de plusieurs éléments. Ils peuvent être portés sans trop d’encombrement par rapport à ce que vous portez déjà lorsque vous sortez de chez vous.

Concrètement, il s’agit simplement d’un gilet ou d’un sac banane, d’un sac à dos et d’une paire d’écouteurs. L’équipe explique que la dissimulation de l’électronique était un objectif clé. Cela permet d’éviter que les utilisateurs ne ressemblent pas à des cyborgs marchant dans la rue.

Le gilet ou le sac banane contient une série de caméras. Une caméra 4K qui fournit des informations sur les couleurs, et une paire de caméras stéréoscopiques qui cartographient la profondeur de champ. Ces informations visuelles sont ensuite transmises au cerveau de l’opération, caché dans le sac à dos.

Là, une unité informatique telle qu’un ordinateur portable ou un Raspberry Pi exécute une interface d’intelligence artificielle appelée OpenCV’s Artificial Intelligence Kit with Depth (OAK-D). Il utilise des réseaux neuronaux pour analyser les données visuelles. Il contient également une batterie portable offrant jusqu’à huit heures d’autonomie ; ainsi qu’une unité GPS connectée par USB.

Les données visuelles analysées sont ensuite transmises par Bluetooth à une paire d’écouteurs. Ce qui permet à l’utilisateur de savoir ce qui l’entoure. Le système peut signaler des obstacles de différentes formes, tailles et types, et indiquer leur position par rapport à l’utilisateur ; à l’aide de descripteurs tels que l’avant, le haut, le bas, la gauche, la droite et le centre.

Applications fonctionnelles

Ainsi, par exemple, le système peut informer quelqu’un qui marche dans la rue qu’il s’approche d’une poubelle en « bas, à gauche » ou d’une branche basse en « haut, au centre ». Les risques de trébuchement, comme les bordures de trottoir ou les escaliers, peuvent être repérés comme des changements d’élévation. Aussi, le système peut même reconnaître des éléments clés comme les panneaux de stop ou les passages pour piétons à l’approche d’un coin.

Les utilisateurs peuvent également émettre des commandes vocales pour demander plus d’informations. En disant « décrire », le système répondra avec une liste de ce qui se trouve autour de lui et où, comme « voiture, 10 heures », « personne, 12 heures » et « feu de signalisation, 1 heure ».

Ensuite, il est également possible d’enregistrer des lieux spécifiques pour s’y référer ultérieurement grâce à des commandes telles que « enregistrer l’emplacement, café ». Plus tard, lorsque vous voudrez y retourner, l’utilisateur pourra dire « localiser le café » et le système vous indiquera le chemin à suivre et la distance à parcourir.

D’autres aides high-tech pour les malvoyants font leur apparition. Il y a par exemple des cannes à rayon laser qui détectent les objets et les changements de terrain. Je pense aussi au  collier de guidage de Toyota qui émet un signal sonore à gauche ou à droite pour indiquer la direction à prendre. Mais ce nouveau système semble beaucoup plus détaillé et pourrait permettre aux personnes ayant une vision limitée de naviguer dans le monde de manière indépendante.

Il est encore tôt, mais l’équipe espère accélérer le développement du système en rendant le projet non commercial et open source.

Vous pouvez voir le système en action dans la vidéo ci-dessous.