¿Por qué un modelo de IA no debería autorizar acciones solo?
Un modelo de lenguaje produce la respuesta más plausible en lugar de una garantizada como correcta, y esa plausibilidad es lo que deja pasar una mala acción. Un modelo manipulado por contenido inyectado puede producir una respuesta que parece correcta y dispara un pago o un cambio de acceso que nunca debió ocurrir. Para operaciones reguladas y de alto impacto, la regla del documento es que el control de políticas quede fuera del modelo y se pueda probar de forma independiente, de modo que una acción avance porque pasó una verificación, no porque una respuesta sonó convincente.
¿Qué es el mínimo privilegio para los agentes de IA?
Mínimo privilegio significa que un componente de IA alcanza solo los datos y las herramientas que una tarea requiere, y nada más. La guía de OWASP sobre seguridad de agentes de IA, que el documento cita, insiste en acceso restringido a herramientas, mínimo privilegio, supervisión humana para acciones de alto impacto y protección contra la inyección de prompts. OWASP también atribuye la agencia excesiva a tres causas: demasiada funcionalidad, demasiados permisos y demasiada autonomía. Un flujo con gobernanza acota las tres, porque cada una la define el proceso y no el agente.
¿Dónde vive la gobernanza de IA empresarial?
Vive en los pasos entre el modelo y la acción. Llega una solicitud, el modelo la interpreta y el flujo decide qué está permitido: aplica la regla, registra quién o qué hizo cada paso y envía lo de alto impacto a una persona autorizada. La comparación de arquitecturas del white paper señala que la autorización humana puede ser un punto de aprobación nativo del flujo, en lugar de algo acoplado a un agente después. Como esos controles son explícitos y reutilizables, aplicas las mismas barreras en muchos procesos y las pruebas como cualquier regla de negocio. Donde la plataforma se apoya en certificaciones, son ISO 27001 e ISO 27701, en poder de la plataforma RunMyProcess.
Ayuda ver cómo se ve cada una de esas tres causas en la práctica. Demasiada funcionalidad es un agente conectado a herramientas que no necesita para la tarea que tiene enfrente. Demasiados permisos es una herramienta que puede escribir donde solo debía leer, o alcanzar un sistema fuera del trabajo. Demasiada autonomía es un diseño que deja que una respuesta actúe sin una verificación de por medio. Un flujo con gobernanza cierra cada brecha por construcción: el proceso le da a un paso solo las herramientas y los permisos que usa, y cualquier acción de alto impacto espera una regla o una persona.
La misma disciplina cubre el contenido no confiable. Como el white paper trata la forma en que una aplicación maneja el contenido inyectado como un riesgo central, un diseño con gobernanza valida lo que el modelo devuelve antes de que nada llegue a un sistema, así una respuesta manipulada no tiene a dónde ir. También hace auditable a la gobernanza: cuando la regla, la identidad y el estado del proceso quedan registrados en cada paso, puedes mostrarle a un revisor por qué se permitió una acción, en lugar de señalar una respuesta del modelo que nadie puede reproducir.
Si estás pilotando IA y aún no puedes señalar dónde vive la autoridad, empieza por trazar esa línea. Separa lo que el modelo puede aconsejar de lo que el flujo debe autorizar, y tendrás una gobernanza que puedes probar.
Sigue leyendo: Costo de tokens de la IA agéntica · Humano en control: tres niveles de decisión



