Un juge a jugé que l’utilisation de ChatGPT, dans le cadre d’un processus administratif lié à l’attribution et au retrait de subventions fédérales, avait été à la fois inadaptée et illégale. Les faits reprochés portent notamment sur la manière dont des mots-clés ont été employés pour filtrer des demandes, avec une logique de classification directement rattachée à des caractéristiques protégées.
Selon les éléments examinés, Justin Fox, intervenant après le déploiement d’un outil de type DOGE vers le système NEH, aurait utilisé des termes de recherche qu’il présentait comme des « Detection Codes » (codes de détection). L’objectif annoncé était d’identifier des subventions qualifiées de « Craziest Grants » (les plus “étranges”) et d’autres décrites comme de « Other Bad Grants » (autres subventions “mauvaises”).
Des mots-clés liés à des caractéristiques protégées
Les termes cités dans le dossier recouvraient des catégories associées à l’origine, à l’identité ou à des statuts protégés. Parmi les exemples mentionnés figurent des mots liés aux personnes « BIPOC », aux « minorities », à « Native », à « Indigenous », ainsi qu’à « immigrant ». D’autres termes faisaient référence à l’orientation sexuelle ou à l’identité de genre, avec des occurrences telles que « LGBTQ », « Homosexual » et « Gay ».
Interrogé sur le fait de savoir s’il avait « fait passer ces mots par chaque description de subvention » reçue dans le système NEH, Justin Fox aurait répondu par l’affirmation : oui. La logique, d’après les constatations retenues, reposait donc sur l’application directe de ces classifications à des critères opérationnels de retrait de subventions fédérales.
Une approche jugée illégale
L’enjeu central réside dans l’utilisation de ces termes non comme de simples indicateurs de contexte, mais comme mécanismes de tri et de décision. En se fondant sur des catégories protégées pour sélectionner ou écarter des subventions, l’approche a été considérée comme contraire aux règles applicables.
Cette affaire illustre, plus largement, les risques juridiques liés à l’usage d’outils d’aide à la décision ou de techniques de recherche automatique lorsque leur fonctionnement conduit à traiter des personnes ou des dossiers à travers des caractéristiques protégées.
Ce que cela implique pour l’usage d’outils d’IA
Au-delà du cas précis, la décision met en lumière la nécessité de garde-fous : définition stricte des critères, contrôles de conformité, traçabilité des requêtes et vérification de l’absence de biais ou de discriminations dans les mécanismes de filtrage.
- Clarifier l’objectif de l’outil et encadrer les paramètres de recherche afin d’éviter toute catégorisation fondée sur des attributs protégés.
- Prévoir des audits et une revue humaine pour vérifier que l’IA ne sert pas à contourner des exigences légales.
Pour les organisations qui cherchent à structurer leurs processus et réduire les risques liés aux traitements informatisés, certains choisissent des solutions de gestion documentaire et de conformité. Par exemple, un outil de type plateforme de gestion des connaissances comme un logiciel de gestion documentaire orienté conformité peut faciliter la traçabilité des décisions et la conservation des critères de traitement.
Dans une logique de contrôle, des outils d’analyse et de surveillance des requêtes peuvent aussi aider à détecter des usages inappropriés. À ce titre, un outil d’analyse de logs et de supervision peut contribuer à suivre les paramètres et les actions effectuées par des systèmes automatisés, sous réserve de les configurer correctement.












