El riesgo no es el modelo

El riesgo está en la decisión que el sistema toca, no en la tecnología que la calcula. Un modelo que sugiere un texto y uno que define un límite de crédito pueden usar la misma técnica y tener consecuencias incomparables.

Por eso la clasificación empieza por la consecuencia: a quién afecta, con qué reversibilidad y con qué posibilidad de reclamo. Recién después se mira cómo funciona el sistema.

Cómo se trabaja

Con un registro de riesgos por sistema, evaluaciones de impacto en los casos que lo requieren, y rutas de escalamiento definidas antes de que haga falta usarlas. Alineado a ISO 31000 para la parte de riesgo y al EU AI Act para la clasificación.

Cada riesgo aceptado queda registrado como decisión, con quién la tomó. Aceptar un riesgo es legítimo; aceptarlo sin que conste no lo es.

El límite de la herramienta

Una parte del trabajo es determinar qué no debería hacer un sistema. Un proveedor que dibuja el límite de su propia herramienta está dando una señal de madurez; uno que dice que sirve para todo está trasladando el riesgo al comprador.

Preguntas frecuentes

¿Cómo sé si un sistema es de alto riesgo?
Depende de la decisión que toca y de la regulación que aplique. El EU AI Act define categorías; el criterio práctico es qué pasa con la persona afectada si el sistema se equivoca y si tiene cómo reclamar.
¿Sirve si usamos herramientas de terceros?
Sobre todo en ese caso. El riesgo no se terceriza junto con la herramienta: quien responde ante el afectado es quien la puso a decidir.
¿Es lo mismo que ciberseguridad?
No, y se complementan. Seguridad protege el sistema de un atacante; esto se ocupa de lo que el sistema hace cuando funciona exactamente como fue diseñado.
¿Con qué frecuencia se revisa?
Cuando cambia el sistema, cuando cambia la norma o de forma recurrente si ninguna de las dos cosas pasa. Un registro de riesgos sin fecha de revisión deja de ser cierto solo.

Riesgo de IA

Qué puede salir mal, con qué consecuencia y qué control lo contiene. Incluye el límite de lo que una herramienta puede sostener.