Gobernanza de IA operativa: qué debe exigir un comité de riesgo antes de aprobar un despliegue

La pregunta equivocada

La pregunta que más se hace sobre un sistema de IA operativa es "¿qué tan precisa es?". Es una pregunta razonable, pero no es la que decide si un comité de riesgo debe aprobar el despliegue. La pregunta que sí debería decidirlo es otra: cuando esta IA se equivoque —y en algún momento lo hará—, ¿podemos reconstruir exactamente qué pasó, quién lo autorizó y por qué?

Esa es la diferencia entre un sistema que se puede defender ante un regulador, un juez o un consejo de administración, y uno que solo se puede defender con la frase "el modelo dijo que sí".

Seis preguntas antes de firmar

No hacen falta seis auditorías distintas para evaluar la gobernanza de un sistema de IA operativa. Bastan seis preguntas concretas, y las respuestas deberían poder demostrarse en una sesión técnica, no solo describirse en una diapositiva:

• ¿Quién aprueba una acción de riesgo alto, y es una persona distinta de quien la propuso? Si la respuesta es "el mismo operador puede proponer y ejecutar", no hay separación de funciones real.
• ¿Queda un registro de cada acción que no se pueda alterar después? Un log en una base de datos convencional se puede editar; una bitácora encadenada por hash, con sellado externo, no.
• ¿Tiene la autonomía del sistema un límite explícito? Un planificador que despacha investigación o acciones por su cuenta necesita un presupuesto por ciclo y un mecanismo que impida repetir la misma acción sin fin.
• ¿Se filtra el acceso al dato en el servidor, o solo se oculta en la pantalla? Si el control de acceso vive únicamente en la interfaz, cualquiera con acceso a la API se lo salta.
• ¿Exige cada consulta sensible una base legal declarada? Consentimiento, orden judicial, potestad legal o flagrancia — y que esa autorización caduque sola, sin depender de que alguien se acuerde de revocarla.
• ¿Dónde vive el dato, y quién lo decide? Cloud, híbrido u on-premises no es una preferencia técnica: para un organismo público o una entidad regulada, puede ser el punto que determina si el despliegue es legalmente viable.

Por qué esto no es opcional para la IA operativa

Un modelo que solo resume texto o clasifica documentos tiene un radio de daño limitado si se equivoca. Un sistema de IA operativa —que investiga por su cuenta, prioriza recursos, sugiere o incluso ejecuta acciones— tiene un radio de daño mucho mayor, y por eso la exigencia de gobernanza tiene que ser proporcional.

Esto es especialmente cierto en sectores donde la decisión afecta a personas directamente: seguridad pública, salud, infraestructura crítica, servicios financieros. En estos casos, la pregunta que hace el comité de riesgo no es solo interna — es la misma que hará un auditor externo, un periodista o un tribunal si algo sale mal.

Cómo se ve aplicado

En 0data, esta arquitectura no es una política escrita aparte — está implementada en el propio sistema: doble aprobación con firma criptográfica, bitácora append-only encadenada por hash, autonomía con presupuesto verificable, control de acceso por habilitación (ABAC) y base legal explícita en cada consulta sensible. Puedes ver el desglose completo en la página de confianza y gobernanza.