¿Quién controla al controlador? Un imperativo de gobernanza, riesgo y Compliance para la era de la IA agéntica

La IA agéntica ha ido más allá de la experimentación. Los agentes de IA autónomos están comenzando a adquirir bienes, negociar contratos, comunicarse con los clientes, aprobar solicitudes de acceso y activar procesos de negocios con intervención humana limitada.

Lo que hace diferentes a estos sistemas no es su inteligencia, sino su autonomía. La IA tradicional ayuda a las personas a tomar decisiones. La IA agéntica toma decisiones y actúa.

Estos sistemas pueden acceder a datos, razonar a través de múltiples pasos, usar herramientas, adaptarse a circunstancias cambiantes y perseguir objetivos con una creciente independencia. A diferencia de los empleados humanos, pueden operar continuamente a una velocidad que supera los mecanismos de supervisión convencionales.

Durante décadas, las organizaciones han gobernado sistemas que procesaban información. La IA agéntica introduce un desafío fundamentalmente diferente: gobernar sistemas que ejercen criterio, toman decisiones y actúan en nombre de la empresa. La mayoría de los marcos de gobernanza, riesgo y compliance se diseñaron en torno a tomadores de decisiones humanos que operaban dentro de sistemas relativamente predecibles. La IA agéntica desafía simultáneamente ambos supuestos y, al hacerlo, somete a tensión el Modelo de las tres líneas en todos los niveles. Los controles de primera línea se integran en sistemas con transparencia limitada. Las funciones de supervisión de segunda línea tienen una visibilidad reducida de las cadenas de decisiones autónomas. La auditoría de tercera línea no puede depender de los flujos de aprobación y la documentación tradicionales.

Antes de implementar la IA agéntica a escala, los líderes deben adoptar un principio simple: La autoridad se puede delegar. La responsabilidad no.

La cuestión de gobernanza que esto genera no es una cuestión tecnológica. Es una cuestión de liderazgo empresarial, una que recae directamente en el Chief Finance Officer, Chief Compliance Officer, Chief Risk Officer y Chief Audit Executive.

Para la junta directiva y el liderazgo ejecutivo: ¿quién gobierna a los agentes?

Antes de considerar los controles, el compliance, el riesgo o el aseguramiento, las organizaciones deben responder una pregunta más fundamental: ¿quién es responsable de los agentes?

La mayoría de las estructuras de gobernanza no fueron diseñadas para supervisar sistemas autónomos que operan con autoridad delegada. Los comités de tecnología se enfocan en la implementación. Los comités de riesgos se enfocan en la exposición. Los comités de compliance se enfocan en las obligaciones regulatorias. La IA agéntica abarca los tres simultáneamente.

Las juntas directivas y los equipos ejecutivos deben establecer estructuras de gobernanza explícitas que definan la responsabilidad por los resultados relacionados con la IA, el apetito de riesgo de IA en toda la empresa, los procedimientos de escalamiento y gestión de incidentes, y los derechos de toma de decisiones para la implementación, suspensión y remediación. Las fallas de gobernanza rara vez se hacen visibles cuando los sistemas funcionan según lo previsto. Salen a la luz cuando algo sale mal, y las organizaciones que establecen la gobernanza antes de un incidente responderán más rápido y con mayor credibilidad que aquellas que se ven obligadas a implementarla después.

Para el Chief Financial Officer: cuando un agente de IA ejecuta una transacción, ¿quién la autorizó?

Los marcos de control interno se basan en una premisa fundamental: personas identificables toman decisiones, aprueban acciones y dejan evidencia de su intención. La IA agéntica desafía directamente esa premisa.

Considere la segregación de funciones. Si un agente de IA puede iniciar, aprobar, ejecutar y registrar una transacción dentro de un solo flujo de trabajo, uno de los principios de control más importantes en finanzas se elude efectivamente. La pregunta no es si existen controles. La pregunta es si esos controles fueron diseñados para un mundo en el que las decisiones pueden ser tomadas por actores digitales en lugar de empleados.

Una decisión de diseño crítica en este caso es elegir entre las arquitecturas de control human-in-the-loop y human-on-the-loop. Human-in-the-loop significa que un agente debe recibir aprobación humana explícita antes de actuar. Human-on-the-loop significa que el agente actúa de manera autónoma mientras una persona supervisa y conserva la capacidad de anular la acción. Estos son perfiles de riesgo fundamentalmente diferentes. Y la elección de cuál aplicar, en qué umbral y para qué categorías de decisiones financieras, es una de las decisiones de gobernanza más trascendentales que puede tomar un director financiero (CFO).

Los informes financieros presentan un desafío igualmente importante. Los agentes de IA participan cada vez más en pronósticos, conciliaciones, cálculos de devengos, revelaciones e informes de gestión. Los reguladores y auditores harán una pregunta sencilla: ¿puede demostrar que los controles relacionados con la IA funcionan eficazmente? Para muchas organizaciones, esa respuesta sigue siendo un trabajo en proceso.

La responsabilidad fiduciaria no se transfiere con la autoridad delegada. La tecnología puede ejecutar la acción. La responsabilidad sigue siendo humana.

Para el Chief Compliance Officer: ¿pueden sus políticas regir comportamientos que nunca se redactaron para anticipar?

Los programas de Compliance fueron creados para las personas. Las personas pueden asistir a capacitaciones sobre políticas, aplicar su criterio y rendir cuentas por sus acciones. Los agentes de IA no hacen ninguna de estas cosas.

Un agente opera de acuerdo con objetivos, restricciones, permisos y barreras de protección técnicas. Esto crea lo que podría convertirse en uno de los desafíos de compliance más determinantes de la próxima década: traducir la política organizacional en comportamiento operativo. Si los requisitos de compliance solo existen en documentos escritos y no están integrados en los sistemas que rigen el comportamiento de los agentes, esos requisitos desaparecen efectivamente en el momento en que se delega una decisión. El desafío ya no es redactar políticas. Es operacionalizarlas.

Las expectativas regulatorias están evolucionando rápidamente. La EU AI Act, por ejemplo, establece requisitos basados en el riesgo para sistemas de IA de alto riesgo, con supervisión humana obligatoria, transparencia y obligaciones de registro de auditoría. DORA crea requisitos de resiliencia operativa directamente aplicables a los procesos financieros dependientes de la IA. La norma ISO 42001, el estándar internacional emergente para sistemas de gestión de IA, proporciona un marco que los reguladores y auditores están comenzando a tomar como punto de referencia para la madurez de la gobernanza de la IA. Los supervisores específicos del sector están emitiendo directrices según las cuales las decisiones de IA que afecten a los clientes o la solidez financiera requieren explicabilidad y una supervisión humana demostrable.

Un principio merece un énfasis especial: los sistemas autónomos no crean una responsabilidad autónoma. Si un agente de IA aprueba una transacción, deniega una solicitud de un cliente o toma una decisión sensible en materia de Compliance, la responsabilidad sigue siendo de la organización. Los reguladores no aceptarán "la IA tomó la decisión" como defensa. Esperarán que las organizaciones demuestren que se contaba con la gobernanza, la supervisión y el monitoreo adecuados.

Las implementaciones de IA de terceros añaden otra capa de complejidad. Las organizaciones pueden depender de proveedores de software, proveedores de modelos fundacionales o plataformas externas de IA, pero la responsabilidad no se transfiere a esos proveedores. Las organizaciones pueden adquirir la tecnología, pero siguen siendo responsables de su conducta.

Para el Chief Risk Officer: ¿cómo gestiona un riesgo que no puede observar por completo?

Considere un agente de IA instruido para reducir los costos de adquisiciones. Optimiza de manera exhaustiva la selección de proveedores, comprime los flujos de trabajo de aprobación y minimiza los gastos de servicios. Desde la perspectiva del agente, ha logrado su objetivo. Desde la perspectiva de la organización, es posible que haya generado riesgos operativos, contractuales o de compliance que nunca tuvo la intención de aceptar. El sistema no ha fallado. Ha perseguido con éxito un objetivo que estaba definido de manera incompleta.

Esta es la característica definitoria del riesgo de la IA agéntica: las fallas más significativas pueden surgir no de una avería, sino del éxito.

La gestión de riesgos tradicional asume procesos relativamente estables, controles predecibles y una toma de decisiones observable. Los sistemas agénticos desafían estos tres aspectos. La desviación del modelo (model drift) significa que un sistema que hoy se comporta de forma adecuada puede comportarse de manera diferente a medida que evolucionan los datos y las condiciones de los negocios. Las alucinaciones significan que los sistemas de IA pueden generar resultados convincentes pero incorrectos y tomar medidas en función de ellos. Los entornos multiagente introducen riesgos en cascada: cuando el resultado de un agente se convierte en la entrada de otro, los pequeños errores pueden propagarse rápidamente a través de flujos de trabajo interconectados antes de que ocurra una intervención humana.

Por lo tanto, los marcos de apetito de riesgo deben abordar explícitamente qué decisiones se pueden delegar, cuáles requieren supervisión humana, los niveles aceptables de autonomía, los umbrales de escalamiento y los procedimientos de recuperación y cierre. El riesgo de concentración merece una atención especial: muchas organizaciones se están volviendo dependientes de un pequeño número de plataformas de IA y proveedores de modelos fundacionales, lo que genera una exposición sistémica que se extiende mucho más allá de cualquier implementación individual. La ciberseguridad introduce vectores de ataque adicionales: inyección de prompts, manipulación adversaria, uso indebido de credenciales, secuestro de objetivos, entre otros. que muchas organizaciones apenas están comenzando a comprender. Un agente de IA comprometido que opere con autoridad delegada puede convertirse en uno de los escenarios de amenazas más trascendentales a los que se enfrentan las empresas modernas.

Para el Chief Audit Executive: ¿cómo audita una decisión tomada en milisegundos?

La auditoría interna se ha basado durante mucho tiempo en un principio simple: las decisiones deben ser trazables. Los auditores reconstruyen eventos a través de aprobaciones, documentación, evidencia y responsables de la toma de decisiones. La IA agéntica desafía una vez más cada uno de estos fundamentos.

Una distinción crítica merece énfasis: la explicabilidad no es auditabilidad. Una explicación puede describir por qué se tomó una decisión. La evidencia de auditoría debe demostrar que los controles funcionaron según lo diseñado. Muchos sistemas de IA no pueden satisfacer ese estándar, incluso cuando existen explicaciones.

A medida que las organizaciones implementan sistemas cada vez más autónomos, los Chief Audit Executives deberán redefinir qué significa el aseguramiento en un entorno habilitado con IA. Una capacidad fundamental es el establecimiento de la procedencia de las decisiones de IA – la capacidad de reconstruir a qué información accedió un agente, qué herramientas invocó, qué acciones ejecutó, qué controles se activaron y qué intervención humana (si hubo alguna) tuvo lugar. Sin esta visibilidad, un aseguramiento significativo se vuelve cada vez más difícil.

Las funciones de auditoría también deben abordar una pregunta metodológica: ¿debe auditarse la IA como un sistema tecnológico o como un participante en un proceso de negocios? La respuesta es: ambos. Esto requiere capacidades que van más allá de las disciplinas tradicionales de auditoría hacia la gobernanza de la IA, el comportamiento del modelo, la toma de decisiones automatizada y la gestión de datos.

Los ciclos de auditoría periódica también pueden resultar insuficientes. Los sistemas agénticos evolucionan mucho más rápido que las revisiones anuales para las que fueron diseñados. El futuro del aseguramiento depende del monitoreo continuo, las pruebas automatizadas y la detección de anomalías en tiempo real. Para las organizaciones que implementan IA agéntica a escala, el aseguramiento continuo ya no es una aspiración futura. Se está convirtiendo rápidamente en una expectativa básica.

GRC no es el freno. Es el volante.

Existe una idea errónea persistente de que las funciones de gobernanza, riesgo y compliance existen para ralentizar la innovación. En la era de la IA agéntica, de hecho, ocurre lo contrario. Las organizaciones que gestionan la IA de manera efectiva confiarán más en ella, la implementarán de forma más amplia y extraerán un mayor valor de ella a lo largo del tiempo. Aquellas que no logren establecer una gobernanza adecuada se enfrentarán a consecuencias operativas, regulatorias, financieras o reputacionales mucho más costosas que una supervisión proactiva.

Ningún ejecutivo puede gobernar la IA agéntica por sí solo. El CFO, el CCO, el CRO y el CAE deben operar con un modelo de gobernanza compartido, un vocabulario de riesgo común y límites de rendición de cuentas claramente definidos. Cuatro preguntas deberían anclar esa alineación:

• ¿Qué decisiones pueden tomar los agentes de IA de manera autónoma?
• ¿Qué decisiones requieren aprobación humana?
• ¿Cómo se monitoreará continuamente el comportamiento de los agentes?
• ¿Quién es responsable cuando un agente causa daños?

Estas no son preguntas de tecnología. Son preguntas de gobernanza. Y las organizaciones que las respondan antes de que ocurra un incidente, en lugar de después, serán las que estén mejor posicionadas para liderar en una economía habilitada con IA. La carrera por implementar IA agéntica ya está en marcha. La carrera por gobernarla apenas ha comenzado.

Porque, si bien la tecnología se puede delegar, la responsabilidad no.

Preguntas frecuentes