Fiabilité et contrôle · Couche 6
Évaluation d’une IA
Mesurer, sur des cas préparés à l’avance, si une IA répond juste, avant sa mise en service puis à chaque changement.
Pour se le représenterUn examen avec corrigé : on pose les mêmes questions à chaque nouvelle version et on compare les copies. Un correcteur automatique aide à noter vite, mais il faut relire ses notes de temps en temps.
Une direction juridique veut un assistant qui réponde aux questions des opérationnels sur les contrats types. Elle rédige 150 questions avec leur réponse de référence, dont 20 où la bonne réponse est « cela dépend, consultez un juriste ». Un modèle juge note toutes les réponses, et un juriste relit chaque semaine un échantillon de notes pour vérifier que le juge reste fiable. Lors d’un changement de version du modèle, le score baisse sur les clauses de résiliation : la mise à jour est suspendue.
Pour les systèmes à haut risque, le fournisseur doit atteindre un niveau d’exactitude approprié et le déclarer, avec ses indicateurs, dans la notice remise au déployeur (UE · AI Act, art. 13 et 15). Le RGPD exige des données exactes (UE · RGPD, art. 5) : une IA qui produit des informations sur des personnes doit être testée sur ce point. Conservez jeux de test, résultats et décisions de mise en service : c’est une preuve de maîtrise, utile en audit comme après un incident.
« Sur quel jeu de test, validé par qui, mesurez-vous la qualité de votre solution, et pouvons-nous le rejouer nous-mêmes à chaque nouvelle version ? »
Un second modèle de langage note les réponses du premier selon une grille. C’est rapide et peu coûteux, mais le juge peut se tromper ou être biaisé : comparez régulièrement ses notes à celles d’un expert.
Pas à lui seul. Il faut savoir sur quels cas il a été mesuré, ce que coûtent les 5 % d’erreurs et qui les détecte : une erreur rare sur une décision lourde pèse plus qu’une bonne moyenne.
À chaque changement de modèle, de consigne ou de base documentaire, et régulièrement en production, car les questions réelles évoluent avec le temps.
Fiche pédagogique, pas un avis juridique. À jour au 29 octobre 2026.