Ces principes ne sont pas nouveaux. Ils reprennent ceux élaborés depuis 2019 par l’OCDE, HLEG, et UNESCO, et recoupent en grande partie ceux déjà établis en 2022 par le Conseil d’État pour l’IA publique de confiance, en omettant cependant le principe d’autonomie stratégique qui avait été mis en avant par le Conseil d’État.
Ces principes reflètent un consensus, mais restent tellement généraux qu’ils n’apportent pas de solutions pour des situations concrètes. On veut des systèmes d’IA robustes, non discriminatoires, explicables, et centrés sur l’humain, tout comme on veut un environnement propre et une voiture sûre. Ces principes de haut niveau ne nous disent rien sur les arbitrages nécessaires pour déployer un outil dans un contexte particulier.
Il suffit de penser à l’outil utilisé par la CNAF pour calculer le risque de fraude dans les allocations familiales. Cet outil est actuellement contesté devant le Conseil d’État car il serait discriminatoire, donnant un score de risque plus élevé pour les personnes les plus vulnérables. Selon les auteurs de la plainte, le ciblage de cette population serait contraire aux principes d’équité. En même temps, la population vulnérable est celle qui bénéficie de la majorité des prestations sociales. Prioriser le contrôle de cette population serait donc logique sur le plan statistique. Cet exemple montre le dilemme auquel les déployeurs de systèmes d’IA sont confrontés.
Équité, explicabilité, performance : des valeurs souvent en concurrence
Un système qui effectue des classements statistiques — pour un contrat d’assurance, un contrat de prêt, ou pour un risque de fraude — va nécessairement paraître inéquitable aux yeux de certains, car les différentes visions d’équité sont incompatibles entre elles. Ainsi, un système équitable par rapport à deux groupes de la population (« l’équité de groupe ») ne sera pas équitable par rapport à deux individus (« l’équité individuelle »).
D’autres dilemmes se présenteront en dehors de la question d’équité. Lorsque l’on choisira le niveau d’explicabilité d’un système d’IA, il faudra mettre en équilibre le besoin d’explicabilité et le besoin de performance, car les algorithmes les plus performants sont souvent les moins explicables. En matière de performance, la question sera de savoir s’il faut exiger un système quasi parfait dans ses prédictions, ou se satisfaire d’une performance qui est « seulement » supérieure à celle d’un humain. En matière de contrôle humain, la question sera de savoir s’il faut systématiquement mettre « l’humain dans la boucle »… même si celui-ci augmente le taux d’erreurs.
Ces dilemmes ne peuvent être résolus simplement par l’application des principes d’IA de confiance. Aucun système ne peut satisfaire pleinement tous les critères en même temps. Prioriser un critère conduit à en détériorer un autre.
Gouverner concrètement les déploiements de systèmes d’IA
Dans cet environnement de vases communicants et de compromis, la Cour des Comptes propose de se concentrer sur les processus de gouvernance dans l’analyse et l’accompagnement des projets d’IA par l’administration. L’idée est de soumettre les grands projets d’IA à une étude d’impact préalable et à un plan de gestion des risques, comme pour un projet de construction d’une éolienne.
Plus précisément, la Cour des Comptes propose une « grille de maturité » qui évalue le niveau de formation du personnel, l’existence ou non de cahiers des charges internes, l’existence de systèmes d’audits, de consultations entre différentes parties prenantes, et surtout l’existence, tout au long de la vie du système, d’un questionnement constant sur l’utilisation des données, le choix du modèle, sa frugalité, les vulnérabilités aux attaques, les risques de discriminations et autres erreurs algorithmiques.
En d’autres termes, puisqu’il est quasiment impossible de fournir une seule « bonne » réponse aux nombreux dilemmes de l’IA de confiance, autant mettre l’accent sur le processus d’analyse et de décision, pour au moins garantir que ce processus est irréprochable.
Des processus de gouvernance deviennent obligatoires pour les systèmes à « haut risque »
Depuis le règlement européen sur l’IA, ces processus de gouvernance deviennent obligatoires pour tout système à « haut risque ». Un grand nombre des systèmes d’IA mis en place par l’administration française tomberont dans cette catégorie, car ils touchent un très grand nombre de citoyens.
Le règlement européen met l’accent sur les normes techniques pour traiter les questions opérationnelles liées à ces systèmes à haut risque. Mais ces normes techniques ne pourront pas résoudre la plupart des dilemmes qui mettent en concurrence différents principes de l’IA responsable.
Au mieux, ces normes techniques établiront des méthodologies communes pour mesurer différents paramètres tels que l’explicabilité, les biais, et les niveaux de performance. Ces méthodologies permettront au moins de parler le même langage et utiliser les mêmes unités de mesure lorsque l’on examine les différents choix et compromis nécessaires pour la mise en œuvre d’un système.
La recherche scientifique sur l’IA digne de confiance permettra de réduire certains choix cornéliens
Les avancées en matière d’explicabilité permettront, par exemple, d’atteindre un haut niveau d’explicabilité tout en préservant la performance prédictive des grands modèles traditionnellement opaques.
La recherche sur l’IA frugale doit permettre de réduire la consommation énergétique des modèles tout en préservant un niveau élevé de performance.
Les avancées en matière d’anonymisation de données (« differential privacy ») et d’apprentissage fédéré (« federated learning ») permettront d’entraîner des modèles tout en protégeant les données à caractère personnel.
Mais de nombreux dilemmes perdureront, car ils s’appuient sur des propriétés statistiques immuables, par exemple les définitions de l’équité, ou sur des choix de société nécessitant la mise en équilibre de droits et intérêts en concurrence.
La décision du Conseil d’État dans le contentieux CNAF nous dira comment, dans le cas précis de l’algorithme de notation du risque de fraude aux prestations sociales, cette mise en équilibre sera effectuée.
