Consultoría en IA, datos y gobernanza
Gobernanza de IA agéntica
Sistemas que no solo responden: deciden y ejecutan. La pregunta deja de ser qué pueden decir y pasa a ser qué están autorizados a hacer.
Qué cambia
Un asistente que redacta un correo y uno que lo envía son dos cosas distintas, aunque usen el mismo modelo. Cuando el sistema ejecuta, la pregunta de gobernanza deja de ser sobre el contenido y pasa a ser sobre la autoridad: qué acciones puede tomar, sobre qué sistemas, y qué necesita confirmación humana.
Es un problema viejo con forma nueva. Se parece más a dar de alta un usuario con permisos que a evaluar un modelo.
Qué hay que definir
El alcance de las acciones permitidas, los sistemas a los que el agente accede y con qué credenciales, qué queda registrado, y dónde se corta: qué acción nunca se ejecuta sin una persona que la confirme.
También el camino de vuelta. Un agente que hace algo indebido tiene que poder ser detenido y su acción revertida o, como mínimo, reconstruida.
Por qué se apura
Porque estos sistemas suelen entrar por fuera de la decisión formal: alguien conecta una herramienta que funciona bien y le va ampliando permisos porque resuelve. El problema aparece cuando el permiso ya es amplio y nadie recuerda quién lo dio.
Preguntas frecuentes
- ¿Es distinto de gobernar un chatbot?
- Sí. Un chatbot responde y la persona decide. Un agente decide y ejecuta, así que el control tiene que estar antes de la acción y no después de la respuesta.
- ¿Alcanza con revisar los registros?
- No. El registro sirve para reconstruir qué pasó, pero llega tarde si la acción ya se ejecutó sobre un sistema real. La definición de autoridad va antes.
- ¿Qué acciones deberían pedir confirmación?
- Como mínimo las irreversibles, las que involucran dinero y las que afectan a un tercero. El listado exacto depende del contexto, y definirlo es parte del trabajo.
- ¿Se puede empezar sin frenar lo que ya funciona?
- Sí. El primer paso es inventariar qué agentes hay y con qué permisos, que no interrumpe nada. Lo que suele frenarse después es un permiso puntual, no la herramienta.
IA agéntica
Sistemas que no solo responden: deciden y ejecutan. La pregunta deja de ser qué pueden decir y pasa a ser qué están autorizados a hacer.
Publicado en LinkedIn
Cuando la inteligencia adquiere autoridad (se abre en una pestaña nueva)
Los sistemas agénticos cambian la pregunta de gobernanza: ya no es qué puede decir un modelo, sino qué está autorizado a hacer. Un incidente en un entorno de evaluación de OpenAI sirve para ver por qué los marcos actuales no cubren los permisos.
Publicado en LinkedIn
Instinct no tiene un problema de privacidad. Tiene un problema de autoridad. (se abre en una pestaña nueva)
Un asistente que gestiona correo, agenda y compras funcionó tan bien que empezó a actuar sin pedir permiso, y sus primeros usuarios le revocaron los accesos. El caso muestra el vacío que ningún marco de gobernanza cubre todavía.
Publicado en LinkedIn
Tus datos no están listos para lo que viene. Y en LATAM, menos. (se abre en una pestaña nueva)
Hasta ahora los datos informaban decisiones humanas; los agentes deciden y ejecutan solos. Si una organización no confía en sus datos para un reporte mensual, conviene preguntarse por qué le daría ese poder a un sistema autónomo.