Des algorithmes d’analyse morphologique du visage et de recommandation de lunettes

Tous les porteurs de lunettes le savent : trouver une paire qui sied à sa morphologie peut relever du parcours du combattant… Mené par des chercheurs d’IMT Lille Douai et hébergé sur la plateforme Teralab, le projet VESPA développe en collaboration avec l’entreprise Acep Trylive des algorithmes de machine learning capables de déterminer les caractéristiques du visage des utilisateurs lors d’essayages virtuels en ligne et d’élaborer des recommandations de produits basées sur leur morphologie.

Vous avez un visage plutôt rond ? A priori, la forme de lunettes qui vous irait le mieux serait anguleuse et étirée. Votre visage est carré ? Essayez les lunettes papillons ! En fonction de la forme de votre visage, certains types de montures vous iront mieux que d’autres. Si depuis quelques années, les plug-in d’essayages virtuels de lunettes fleurissent sur les sites des opticiens, ils ne proposent pas de fonctionnalités pour aider les utilisateurs à trouver les montures les plus adaptées à leur morphologie.

Le projet VESPA, mené par Jacques Boonaert et Stéphane Lecoeuche, au sein de l’unité de recherche Informatique et Automatique d’IMT Lille Douai, vise à développer en collaboration avec Pascal Mobuchon d’Acep Trylive, fournisseur de plug-in d’essayage virtuel, un algorithme de machine learning capable de déterminer la forme du visage de l’utilisateur et de lui recommander des types de lunettes sur la base de ses caractéristiques morphologiques. « Acep Trylive a développé une technologie de mise en place de points clés sur les visages des utilisateurs, filmés avec leur webcam lors de l’essayage virtuel de lunettes. » explique Stéphane Lecoeuche. «  L’objectif du projet VESPA est de développer des algorithmes capables d’analyser le placement des points clés sur les visages pour déterminer la morphologie de l’utilisateur. » Toutes les data utilisées dans le cadre du projet sont anonymisées, et hébergées sur la plateforme Teralab, sécurisée, neutre et souveraine. TeraLab fournit également aux chercheurs des outils de traitement de ces jeux de données.

À lire également sur I’MTech : TeraLab, une plateforme big data d’ambition européenne

Des algorithmes capables de déterminer la morphologie des visages

Les algorithmes développés par les chercheurs suivent une logique d’apprentissage supervisé. « Cela signifie que nous soumettons aux algorithmes un ensemble d’images étiquetées par des experts humains, qui déterminent si le visage de la personne est plutôt rond, carré, ovale… » précise Jacques Boonaert.

Par ailleurs, les points clés automatiquement mis en place sur le visage de l’utilisateur par le logiciel d’Acep Trylive fournissent à l’algorithme un ensemble de descripteurs. Un descripteur peut être, par exemple, une mesure de points clés du visage : cela peut être la hauteur du front, la forme du menton, la largeur du visage ou de la mâchoire … À partir des données étiquetées par les experts humains, l’algorithme va déterminer quels sont les descripteurs les plus pertinents pour reconnaître  la morphologie de l’utilisateur. « Nous avons testé des sous-ensembles de descripteurs. En tout, il y en a plus de 20. » précise Stéphane Lecoeuche. « Les algorithmes vont ensuite pondérer eux-mêmes l’influence des descripteurs pour caractériser au mieux la morphologie. »

Ces algorithmes de classification morphologique sont aux nombres de trois. L’un se focalise sur  la forme de la mâchoire, le deuxième sur la forme du visage et le troisième sur la largeur du front. Des descripteurs numériques de la couleur des cheveux, des yeux et de la peau de l’utilisateur interviennent également pour proposer les couleurs de montures les plus adaptées. Toutes ces données sont ensuite fusionnées,  pour élaborer en fonction de ces caractéristiques des recommandations de lunettes adaptées à l’utilisateur.

Le logiciel d’Acep Trylive place des points clés (en bleu) sur le visage des utilisateurs.

Recommander des produits aux utilisateurs sur la base de leur morphologie

Grâce au suivi du comportement et de l’historique des consommateurs, les chercheurs ont pu déterminer quelles lunettes préférait chaque internaute : « Quelqu’un essaie une première paire de lunettes, en essaie une deuxième, revient à la première, en essaie une troisième, revient de nouveau à la première… En observant cette séquence d’utilisation, on peut déterminer quel produit la personne a préféré ! » explique Jacques Boonaert.

L’algorithme d’apprentissage intervient sur ces historiques d’essayage, et regroupe de façon statistique les lunettes préférées des utilisateurs par type de morphologie. « Grâce aux données de milliers voire de centaines de milliers de séances d’essayages, l’algorithme fait le lien entre forme de visage et produits essayés » précise Stéphane Lecoeuche.  Ainsi, pour chaque nouvel utilisateur qui utilisera l’application, les algorithmes d’analyse morphologique détermineront sa forme de visage, et, en fonction du choix des utilisateurs à la morphologie similaire, le moteur de recommandation proposera un classement de produits les plus susceptibles de lui plaire.

Un projet qui nécessiterait une entreprise partenaire pour se développer

« Nous devions aussi travailler sur la caractérisation géométrique côté produit. Le problème, c’est que nous n’avons pas pu accéder aux données des catalogues des opticiens, qui classent les lunettes par formes, par style, par couleur… » constate Stéphane Lecoeuche. Les chercheurs avaient en effet pour objectif de travailler sur l’association entre les caractéristiques morphologiques du client et les caractéristiques géométriques des produits. Si l’analyse algorithmique de la morphologie du visage a obtenu de bons résultats, le manque de données sur les montures les a ainsi limités dans leurs objectifs.

« L’autre difficulté, c’est que nous n’avons pas non plus eu accès à la décision finale d’achat des utilisateurs » ajoute Jacques Boonaert. « Nous avons conscience que ce sont des données sensibles pour les entreprises. C’est pour cela que nous aimerions monter un partenariat solide avec un opticien, afin de perfectionner ce projet. » Les chercheurs souhaiteraient mettre en place une deuxième phase d’expérimentation avec une entreprise partenaire, où l’algorithme pourrait intégrer la décision d’achat des utilisateurs et la caractérisation géométrique des produits. En attendant de trouver une entreprise qui souhaiterait s’intégrer au consortium du projet, l’équipe de recherche poursuit ses travaux de machine learning à destination du monde de l’industrie et du commerce.