Qui contrôle le contrôleur ? Un impératif de gouvernance, risques et conformité à l'ère de l'IA agentique

L’IA agentique est allée au-delà de l’expérimentation. Les agents d’IA autonomes commencent à acheter des biens, à négocier des contrats, à communiquer avec les clients, à approuver des demandes d’accès et à déclencher des processus métier avec une intervention humaine minimale.

Ce qui différencie ces systèmes n’est pas leur intelligence, mais leur autonomie. L’IA traditionnelle aide les personnes à prendre des décisions. L’IA agentique prend des décisions et passe à l’action.

Ces systèmes peuvent accéder aux données, raisonner sur plusieurs étapes, utiliser des outils, s'adapter à des circonstances changeantes, et poursuivre des objectifs avec une indépendance croissante. Contrairement aux collaborateurs humains, ils peuvent fonctionner en continu à une vitesse qui dépasse les mécanismes de surveillance conventionnels.

Pendant des décennies, les organisations ont régi des systèmes qui traitaient l’information. L’IA agentique introduit un challenge fondamentalement différent : régir des systèmes qui font preuve de jugement, prennent des décisions et agissent au nom de l’entreprise. La plupart des cadres de gouvernance, de gestion des risques et de conformité ont été conçus autour de décideurs humains opérant au sein de systèmes relativement prévisibles. L’IA agentique remet en question ces deux hypothèses simultanément et, ce faisant, met à rude épreuve le modèle des trois lignes à chaque niveau. Les contrôles de première ligne deviennent intégrés dans des systèmes à la transparence limitée. Les fonctions de supervision de deuxième ligne ont une visibilité réduite sur les chaînes de décision autonomes. L’audit de troisième ligne ne peut pas s’appuyer sur les pistes d’approbation et la documentation traditionnelles.

Avant de déployer l’IA agentique à grande échelle, les dirigeants doivent adopter un principe simple : L’autorité peut être déléguée. La responsabilité, elle, ne le peut pas.

La question de gouvernance que cela pose n’est pas une question de technologie. Il s’agit d’une question de direction d’entreprise, qui incombe directement au directeur financier, au directeur de la conformité, au directeur des risques, et au directeur de l’audit.

Pour le conseil d'administration et la direction générale : qui gouverne les agents ?

Avant d’envisager les contrôles, la conformité, les risques ou l’assurance, les organisations doivent répondre à une question plus fondamentale : qui est responsable des agents ?

La plupart des structures de gouvernance n’ont pas été conçues pour superviser des systèmes autonomes fonctionnant avec une autorité déléguée. Les comités technologiques se concentrent sur la mise en œuvre. Les comités des risques se concentrent sur l’exposition. Les comités de conformité se concentrent sur les obligations réglementaires. L’IA agentique couvre les trois simultanément.

Les conseils d’administration et les équipes dirigeantes doivent établir des structures de gouvernance explicites qui définissent les responsabilités relatives aux résultats liés à l’IA, l’appétence au risque lié à l’IA à l’échelle de l’entreprise, les procédures d’escalade et de gestion des incidents, ainsi que les droits décisionnels en matière de déploiement, de suspension et de remédiation. Les défaillances de gouvernance deviennent rarement visibles lorsque les systèmes fonctionnent comme prévu. Elles font surface lorsqu’un problème survient, et les organisations qui établissent une gouvernance avant un incident réagiront plus rapidement et avec une plus grande crédibilité que celles contraintes de la mettre en œuvre après coup.

Pour le directeur financier : lorsqu’un agent d’IA exécute une transaction, qui a donné son accord ?

Les cadres de contrôle interne reposent sur un postulat fondamental : des individus identifiables prennent des décisions, approuvent des actions, et laissent des preuves de leur intention. L'IA agentique remet directement en question ce postulat.

Prenez en compte la séparation des tâches. Si un agent d’IA peut initier, approuver, exécuter et enregistrer une transaction au sein d’un même workflow, l’un des principes de contrôle les plus importants en finance est de fait contourné. La question n’est pas de savoir si des contrôles existent. La question est de savoir si ces contrôles ont été conçus pour un monde où les décisions peuvent être prises par des acteurs numériques plutôt que par des collaborateurs.

Une décision de conception cruciale réside ici dans le choix entre les architectures de contrôle « human-in-the-loop » (humain dans la boucle) et « human-on-the-loop » (humain sur la boucle). L’approche « human-in-the-loop » signifie qu’un agent doit recevoir une approbation humaine explicite avant d’agir. L’approche « human-on-the-loop » signifie que l’agent agit de manière autonome tandis qu’un être humain supervise et conserve la possibilité d’intervenir. Il s’agit de profils de risque fondamentalement différents. Et choisir laquelle appliquer, à quel seuil et pour quelles catégories de décisions financières, constitue l’un des choix de gouvernance les plus déterminants qu’un directeur financier puisse faire.

Le reporting financier représente un défi tout aussi important. Les agents d’IA interviennent de plus en plus dans les prévisions, les rapprochements, le calcul des régularisations, les communications financières, et le reporting de gestion. Les régulateurs et les auditeurs poseront une question simple : pouvez-vous démontrer que les contrôles liés à l’IA fonctionnent efficacement ? Pour de nombreuses entreprises, cette réponse reste un chantier en cours.

La responsabilité fiduciaire ne se transmet pas avec l'autorité déléguée. La technologie peut exécuter l'action. La responsabilité reste humaine.

Pour le directeur de la conformité : vos politiques peuvent-elles encadrer des comportements qu'elles n'ont jamais été rédigées pour anticiper ?

Les programmes de conformité ont été conçus pour les personnes. Les personnes peuvent suivre des formations sur les politiques, faire preuve de discernement, et être tenues responsables de leurs actes. Les agents d’IA ne font rien de tout cela.

Un agent agit conformément à des objectifs, des contraintes, des autorisations et des garde-fous techniques. Cela crée ce qui pourrait devenir l’un des principaux défis de conformité de la prochaine décennie : traduire les politiques organisationnelles en comportements opérationnels. Si les exigences de conformité n’existent que dans des documents écrits et ne sont pas intégrées aux systèmes qui régissent le comportement des agents, ces exigences disparaissent de fait dès qu’une décision est déléguée. Le défi ne consiste plus à rédiger des politiques. Il s’agit de les opérationnaliser.

Les attentes réglementaires évoluent rapidement. Le règlement européen sur l’IA, par exemple, établit des exigences fondées sur le risque pour les systèmes d’IA à haut risque, avec une supervision humaine obligatoire, ainsi que des obligations de transparence et de piste d’audit. DORA crée des exigences de résilience opérationnelle directement applicables aux processus financiers reposant sur l’IA. La norme ISO 42001, la norme internationale émergente pour les systèmes de management de l’IA, fournit un cadre auquel les régulateurs et les auditeurs commencent à se référer en tant que référence pour la maturité de la gouvernance de l’IA. Les autorités de surveillance sectorielles publient des directives indiquant que les décisions d’IA affectant les clients ou la solidité financière nécessitent une explicabilité et une supervision humaine démontrable.

Un principe mérite d’être particulièrement souligné : les systèmes autonomes ne créent pas de responsabilité autonome. Si un agent d’IA approuve une transaction, refuse une demande client ou prend une décision sensible en matière de conformité, la responsabilité incombe toujours à l’organisation. Les régulateurs n’accepteront pas "l’IA a pris la décision" comme moyen de défense. Ils s’attendront à ce que les organisations démontrent qu’une gouvernance, une supervision et un suivi appropriés étaient en place.

Les déploiements d’IA tierce ajoutent un niveau de complexité supplémentaire. Les entreprises peuvent s’appuyer sur des éditeurs de logiciels, des fournisseurs de modèles de fondation ou des plateformes d’IA externes, mais la responsabilité n’est pas transférée à ces fournisseurs. Les entreprises peuvent acheter la technologie, elles restent responsables de son comportement.

Pour le directeur de la gestion des risques : comment gérez-vous un risque que vous ne pouvez pas totalement observer ?

Considérez un agent d’IA chargé de réduire les coûts d’achats. Il optimise de manière agressive la sélection des fournisseurs, compresse les workflows d’approbation et minimise les dépenses de services. Du point de vue de l’agent, il a atteint son objectif. Du point de vue de l’organisation, il a peut-être créé des risques opérationnels, contractuels ou de conformité qu’elle n’a jamais eu l’intention d’accepter. Le système n’a pas dysfonctionné. Il a poursuivi avec succès un objectif qui était incomplètement défini.

C'est la caractéristique déterminante du risque lié à l'IA agentique : les défaillances les plus importantes peuvent émerger non pas d'une panne, mais de la réussite.

La gestion traditionnelle des risques repose sur l’hypothèse de processus relativement stables, de contrôles prévisibles et d’une prise de décision observable. Les systèmes agentiques mettent à l’épreuve ces trois aspects. La dérive du modèle signifie qu’un système qui se comporte de manière appropriée aujourd’hui peut se comporter différemment à mesure que les données et les conditions de l’entreprise évoluent. Les hallucinations signifient que les systèmes d’IA peuvent générer des résultats qui inspirent confiance, mais sont incorrects, et prendre des mesures sur cette base. Les environnements multi-agents introduisent un risque en cascade : lorsque le résultat d’un agent devient l’entrée d’un autre, de petites erreurs peuvent se propager rapidement dans les workflows interconnectés avant toute intervention humaine.

Les cadres d'appétence au risque doivent donc explicitement définir les décisions pouvant être déléguées, celles nécessitant une supervision humaine, les niveaux d'autonomie acceptables, les seuils d'escalade, ainsi que les procédures de récupération et d'arrêt. Le risque de concentration mérite une attention particulière : de nombreuses organisations deviennent dépendantes d'un nombre restreint de plateformes d'IA et de fournisseurs de modèles de fondation, créant ainsi une exposition systémique qui s'étend bien au-delà de tout déploiement individuel. La cybersécurité introduit des vecteurs d'attaque supplémentaires : injection de prompts, manipulation contradictoire, détournement d'identifiants, détournement d'objectifs, etc. que de nombreuses entreprises commencent à peine à comprendre. Un agent d’IA compromis fonctionnant avec une autorité déléguée peut devenir l'un des scénarios de menace les plus lourds de conséquences auxquels sont confrontées les entreprises modernes.

Pour le Chief Audit Executive : comment auditer une décision prise en quelques millisecondes ?

L’audit interne repose depuis longtemps sur un principe simple : les décisions doivent être traçables. Les auditeurs reconstituent les événements grâce aux approbations, à la documentation, aux preuves et aux décideurs responsables. L’IA agentique remet une fois de plus en question chacun de ces fondements.

Une distinction essentielle mérite d’être soulignée : l’explicabilité n’est pas la contrôlabilité. Une explication peut décrire pourquoi une décision a été prise. Les preuves d’audit doivent démontrer que les contrôles ont fonctionné comme prévu. De nombreux systèmes d’IA ne peuvent pas répondre à cette norme, même lorsque des explications existent.

À mesure que les organisations déploient des systèmes de plus en plus autonomes, les Directeurs de l’audit interne devront redéfinir ce que signifie l’assurance dans un environnement optimisé par l’IA. Une capacité essentielle consiste à mettre en place une traçabilité des décisions d’IA, c’est-à-dire la capacité de reconstituer les informations auxquelles un agent a accédé, les outils qu’il a invoqués, les actions qu’il a exécutées, les contrôles qui ont été déclenchés et les interventions humaines éventuelles. Sans cette visibilité, il devient de plus en plus difficile de fournir une assurance pertinente.

Les fonctions d’audit doivent également aborder une question méthodologique : l’IA doit-elle être auditée en tant que système technologique ou en tant que participant à un processus d’entreprise ? La réponse est les deux. Cela nécessite des capacités qui vont au-delà des disciplines d’audit traditionnelles pour s’étendre à la gouvernance de l’IA, au comportement des modèles, à la prise de décision automatisée et à la gestion des données.

Les cycles d’audit périodiques peuvent également devenir insuffisants. Les systèmes agentiques évoluent bien plus rapidement que les revues annuelles pour lesquelles ils ont été conçus. L’avenir de l’assurance repose sur une surveillance continue, des tests automatisés et la détection des anomalies en temps réel. Pour les entreprises qui déploient l’IA agentique à grande échelle, l’assurance continue n’est plus une simple aspiration future. Cela devient rapidement une attente de base.

La GRC n'est pas le frein. C'est le volant.

Il existe une idée reçue tenace selon laquelle les fonctions de gouvernance, de gestion des risques et de conformité ont pour but de ralentir l'innovation. À l'ère de l'IA agentique, c'est en réalité tout le contraire. Les organisations qui encadrent efficacement l'IA lui accorderont une plus grande confiance, la déploieront plus largement et en tireront une plus grande valeur au fil du temps. Celles qui ne parviennent pas à établir une gouvernance appropriée s'exposeront à des conséquences opérationnelles, réglementaires, financières ou réputationnelles bien plus coûteuses qu'une surveillance proactive.

Aucun dirigeant ne peut à lui seul gouverner l’IA agentique. Le CFO, le CCO, le CRO et le CAE doivent s’appuyer sur un modèle de gouvernance partagé, un vocabulaire commun des risques et des périmètres de responsabilité clairement définis. Quatre questions devraient constituer le fondement de cet alignement :

• Quelles décisions les agents d’IA peuvent-ils prendre de manière autonome ?
• Quelles décisions nécessitent une approbation humaine ?
• Comment le comportement des agents sera-t-il surveillé en continu ?
• Qui est responsable lorsqu'un agent cause des dommages ?

Ce ne sont pas des questions technologiques. Ce sont des questions de gouvernance. Et les entreprises qui y répondent avant qu’un incident ne survienne, plutôt qu’après, seront les mieux placées pour s’imposer dans une économie optimisée par l’IA. La course au déploiement de l’IA agentique est déjà en cours. La course pour la gouverner a à peine commencé.

Car si la technologie peut être déléguée, la responsabilité ne peut pas l’être.

FAQ