La question de savoir qui contrôle les systèmes automatisés n’est pas nouvelle. Elle est antérieure à l’intelligence artificielle. Ce qui a changé, c’est l’échelle, la vitesse et la mesure dans laquelle les décisions automatisées touchent désormais des domaines de la vie qui étaient autrefois considérés comme exclusivement humains : le recrutement, le crédit, le triage médical, les décisions judiciaires, la modération de contenu. Comprendre la relation entre l’automatisation et le comportement humain exige d’examiner comment cette relation fonctionne réellement en pratique, et non telle qu’elle est décrite dans les communiqués de presse ou les documents de politique.
Le paradoxe de l’automatisation : pourquoi davantage de capacités peut signifier moins de contrôle
Il existe un phénomène bien documenté dans la recherche sur les facteurs humains, parfois appelé le paradoxe de l’automatisation. Plus les systèmes deviennent capables et fiables, plus les opérateurs humains ont tendance à se désengager. L’attention se relâche. Les compétences s’atrophient. Lorsque le système rencontre finalement une situation pour laquelle il n’a pas été conçu, l’humain qui en est nominalement « responsable » peut ne plus disposer de la conscience situationnelle ni du jugement exercé nécessaires pour intervenir efficacement.
Ce n’est pas un défaut de caractère. C’est une réponse cognitive prévisible à une automatisation fiable. Lorsqu’un système fonctionne correctement des milliers de fois de suite, le cerveau humain cesse de le traiter comme quelque chose qui nécessite une surveillance active. L’aviation a étudié cette dynamique de manière approfondie, et les enseignements s’appliquent bien au-delà du cockpit. Tout domaine où des humains supervisent des processus automatisés est confronté à la même tension fondamentale : plus l’automatisation est digne de confiance, moins l’humain est préparé aux moments où cette confiance devrait être retirée.
Cela crée un problème structurel. Les organisations mesurent souvent le succès de l’automatisation par la rareté des interventions humaines. Mais ce seul indicateur peut masquer une fragilité croissante. Le système paraît sain jusqu’au moment où il ne l’est plus.
Responsabilité sans visibilité : le déficit de gouvernance
Un problème distinct, tout aussi important, concerne la responsabilité. Les systèmes automatisés prennent des décisions, mais toute décision exige que quelqu’un en réponde. Lorsqu’une demande de prêt est refusée, qu’un candidat est écarté ou qu’une publication sur les réseaux sociaux est supprimée, il existe quelque part une institution humaine qui a déployé le système. Cette institution est, en principe, responsable du résultat.
En pratique, la responsabilité devient difficile à localiser. L’équipe qui a construit le modèle n’est peut-être pas celle qui l’a déployé. L’équipe qui l’a déployé n’est peut-être pas celle qui a défini les objectifs de politique qu’il était censé optimiser. Les personnes affectées par la décision n’ont souvent aucune visibilité sur les raisons pour lesquelles elle a été prise, et parfois celles qui l’ont prise non plus. C’est ce que la plupart des analyses sur la gouvernance de l’IA manquent : le problème est rarement que personne n’est responsable. Le problème, c’est que la responsabilité est répartie sur tant de niveaux qu’elle devient effectivement invisible.
Ce n’est pas propre à l’IA. Les grandes bureaucraties ont toujours eu cette propriété. Ce que l’automatisation ajoute, c’est la vitesse et l’échelle. Une bureaucratie humaine qui commet une erreur systématique affecte les gens lentement, un cas à la fois. Un système automatisé peut reproduire la même erreur sur des millions de cas avant que quiconque ne remarque le schéma. Les structures de gouvernance qui existent pour la prise de décision humaine n’ont pas été conçues pour cette vélocité.
Pourquoi cela dépasse la politique technologique
Le problème de fond n’est pas technique. Il porte sur la façon dont les sociétés décident quelles décisions doivent être automatisées, dans quelles conditions et avec quels types de supervision humaine intégrés. Ce sont des questions fondamentalement politiques et éthiques, et non des questions d’ingénierie. Elles requièrent la contribution de personnes qui comprennent le contexte social des décisions prises, et pas seulement les systèmes qui les prennent.
Dans le discours technologique, on a tendance à traiter l’automatisation comme une force qui arrive de l’extérieur de la société et doit être gérée après coup. Le cadrage le plus juste est que l’automatisation est un choix. Les organisations choisissent d’automatiser certaines fonctions. Les gouvernements choisissent comment réguler ces choix. Les individus choisissent dans quelle mesure s’appuyer sur des recommandations automatisées dans leur propre vie. Chacun de ces choix reflète des valeurs, des priorités et des hypothèses sur la finalité du jugement humain.
Voilà pourquoi cela compte concrètement. Lorsque l’automatisation est traitée comme un outil d’efficacité neutre plutôt que comme une décision de conception chargée de valeurs, la question de qui est aux commandes tend à être différée. Personne ne décide explicitement que le système doit avoir l’autorité finale. Il accumule simplement cette autorité au fil du temps, à mesure que les humains qui l’entourent cessent progressivement de remettre en question ses résultats. Au moment où la question devient urgente, la réponse est déjà ancrée dans les pratiques organisationnelles et difficile à inverser.
Les approches les plus résilientes face à l’automatisation sont celles qui traitent la supervision humaine non pas comme un recours en cas de défaillance du système, mais comme une fonction active et continue, dotée de ses propres ressources, formations et légitimité institutionnelle. L’automatisation gère le volume. Le jugement humain gère le contexte, les cas limites et les situations que le système n’a jamais été conçu pour anticiper.
En bref
L’automatisation ne supprime pas la responsabilité humaine. Elle la redistribue, souvent de manière à la rendre plus difficile à percevoir. Le défi central n’est pas de construire des systèmes qui fonctionnent bien dans des conditions normales. La plupart des systèmes automatisés y parviennent. Le défi est de maintenir une véritable compréhension humaine et une capacité de supervision réelle, même à mesure que l’automatisation devient plus fiable, plus omniprésente et plus profondément ancrée dans la prise de décision institutionnelle. Cela exige des choix de conception délibérés, et pas seulement techniques.