Innovation en santé : place à la responsabilité

Les innovations numériques pavent le chemin d’une médecine prédictive plus précise et d’un parcours de soin plus résilient. Pour s’imposer sur le marché et réduire leurs potentiels effets négatifs, ces technologies doivent être responsables. Christine Balagué, chercheuse en éthique du numérique à Institut Mines-Télécom Business School, nous présente les risques associés aux innovations en santé et des pistes afin de les éviter.

« Jusqu’à présent, la société a adopté une approche de développement technologique sans regarder les impacts environnementaux et sociaux des innovations numériques produites. Il est temps d’y remédier, notamment lorsqu’il est question de vies humaines dans le domaine de la santé », fait état Christine Balagué, chercheuse à Institut Mines-Télécom Business School et co-titulaire de la chaire Good in Tech [1]. Des bases de données et de l’intelligence artificielle pour détecter et traiter des maladies rares aux objets connectés pour le suivi des patients ; l’émergence rapide d’outils de prédiction, de diagnostic mais aussi d’organisation des métiers n’a pas fini de bouleverser le domaine de la santé. De même, l’ambition d’un hôpital du futur plus intelligent devrait changer radicalement les systèmes de soins d’aujourd’hui. En ligne de mire : une volonté d’accroître les connaissances médicales, faire progresser la recherche médicale, et améliorer les soins.

Cependant pour Christine Balagué, il faut distinguer la notion de tech for good – qui consiste à développer des systèmes au profit de la société – du good in tech. « Une innovation, aussi bienveillante soit-elle, n’est pas forcément démunie de biais et d’effets négatifs. Il est important de ne pas s’arrêter aux impacts positifs et de mesurer les potentiels effets négatifs afin de les éliminer », ajoute la chercheuse. L’heure doit donc être à l’innovation responsable. En ce sens, la chaire Good in Tech, dédiée à la responsabilité et l’éthique dans les innovations numériques et l’intelligence artificielle, souhaite mesurer les impacts environnementaux et sociétaux encore sous-évalués des technologies, sur différents secteurs dont celui de la santé.

Innovations numériques : quels risques pour les systèmes de soins ?

En santé, le bilan est sans appel : un algorithme qui ne peut pas être expliqué a peu de chances d’être commercialisé, même s’il est performant. En effet, les risques potentiels sont trop critiques lorsqu’il est question de vies humaines. Pourtant, une étude publiée en 2019 dans la revue Science sur l’utilisation d’algorithmes commerciaux dans le système de santé américain a démontré la présence de préjugés raciaux dans les résultats de ces outils. De cette discrimination entre les patients, ou bien entre différentes zones géographiques, découle donc un premier risque d’accès inégalitaire aux soins. « Plus on automatise le traitement des données, plus on crée des inégalités », constate Christine Balagué. Pour autant, l’apprentissage automatique est de plus en plus utilisé dans les solutions proposées aux professionnels de santé.

Par exemple, des start-up françaises comme Aiintense, incubée à IMT Starter, et BrainTale l’utilisent à des fins de diagnostic. La première développe des outils d’aide à la décision pour l’ensemble des pathologies rencontrées dans les services de réanimation. La deuxième s’attaque à la quantification des lésions cérébrales. Deux exemples qui soulèvent la question de la possible discrimination par les algorithmes. « Ces cas sont intéressants car ils sont issus de travaux réalisés par des chercheurs et ont été reconnus internationalement par la communauté scientifique des pairs, mais ils utilisent des modèles de deep learning dont les résultats ne sont pas entièrement explicables. Cela réfrène donc leur utilisation par les services de réanimation qui ont besoin de comprendre le fonctionnement de ces algorithmes avant de prendre des décisions majeures sur les patients », rend compte la chercheuse.

Par ailleurs, les algorithmes de séquençage du génome soulèvent des questions quant à la relation médecin-patient. En effet, les limites de l’algorithme, la présence de faux positifs ou faux négatifs sont rarement présentées aux patients. Dans certains cas, cela peut entraîner la mise en place de traitements ou d’opérations non adaptés. Il n’est pas non plus exclu qu’un algorithme soit biaisé par l’opinion de son concepteur. Enfin, des biais inconscients associés au traitement des données par l’humain peuvent également engendrer des inégalités. L’intelligence artificielle en particulier soulève donc de nombreuses questions éthiques quant à son usage dans le cadre de la santé.

Que serait alors une innovation responsable ? Il ne s’agit pas uniquement de déterminer si celle-ci respecte la loi sur le traitement des données et améliore le processus du professionnel de santé. « Il faut aller plus loin. C’est pourquoi nous voulons mesurer deux critères sur les technologies : l’impact environnemental et l’impact sociétal, en distinguant les potentiels effets positifs et négatifs pour chacun d’entre eux. Les innovations devraient ensuite être développées en respectant des critères prédéfinis visant à limiter les effets négatifs », précise Christine Balagué.

Changer les modes de conception des innovations

La responsabilité n’est pas une couche de traitement qui s’ajouterait à une technologie existante. Penser l’innovation responsable implique, au contraire, de changer la conception même d’innovation. Alors comment s’assurer de cette responsabilité ? Les scientifiques recherchent des indicateurs précis dont pourrait résulter une to do list des critères à vérifier. Cela commence par l’analyse des données qui servent à l’apprentissage, mais aussi l’étude de l’interface développée pour les utilisateurs, en passant par l’architecture du réseau neuronal susceptible d’engendrer des biais. D’autre part, les critères environnementaux existants doivent être affinés en prenant en compte la chaine de conception d’un objet connecté et la consommation énergétique des algorithmes. « Les critères identifiés pourraient être intégrés dans la responsabilité sociale d’entreprise afin de mesurer les évolutions dans le temps », précise Christine Balagué.

Dans le cadre de la chaire Good In Tech, plusieurs travaux, dont une thèse, sont menés sur la capacité des algorithmes à être expliqués. Parmi ceux-ci, Christine Balagué et Nesma Houmani (chercheuse à Télécom Sud Paris) s’intéressent à des algorithmes d’analyse d’électroencéphalographie (EEG). Leur objectif : s’assurer que les outils intègrent des interfaces explicables pour les professionnels de santé, futurs utilisateurs du système. « Nos entretiens montrent que l’explication du fonctionnement d’un algorithme aux utilisateurs est souvent un sujet dont les concepteurs ne se préoccupent pas, et que l’explicabilité serait source de changement des processus de décision », constate la chercheuse. Les capacités à expliquer et interpréter des résultats sont donc deux mots d’ordre guidant l’innovation responsable.

En définitive, les chercheurs identifient quatre principes que doit suivre une innovation en santé. Le premier est l’anticipation afin de mesurer les bénéfices et les risques potentiels en amont de la phase de développement. Puis, une posture réflexive permet au concepteur de limiter les effets négatifs et d’intégrer dans le système lui-même une interface d’explicabilité du fonctionnement de son innovation technologique aux médecins. Cette dernière doit également être inclusive, c’est-à-dire toucher tous les patients sur l’ensemble du territoire. Enfin, une innovation réactive facilite son adaptation rapide au contexte changeant des systèmes de santé. À Christine Balagué de conclure : « Nos travaux montrent que la prise en compte de critères éthiques ne réduit pas la performance des algorithmes. Au contraire, prendre en compte les questions de responsabilité permet de favoriser l’acceptation d’une innovation sur le marché ».

[1] Elle est portée par Institut Mines-Télécom Business School, l’école du management et de l’innovation de Sciences Po, et la Fondation du Risque, en partenariat avec Télécom Paris et Télécom SudParis.

Anaïs Culot