Supervisión humana en IA: qué debe aprobar una persona y qué puede hacer un agente solo

Un agente de IA ya puede armar una cotización, mandar un recordatorio de pago o contestar a un cliente a las once de la noche. Lo difícil viene después, cuando alguien pregunta qué hizo, con qué permiso y quién lo autorizó.

Que la IA necesita supervisión humana casi nadie lo discute. Lo que pocas empresas tienen escrito es en qué pasos exactos aprueba una persona. Si apruebas todo, el agente te ahorra poco. Si no apruebas nada, nadie responde por lo que pasa. Hay que trazar la línea paso por paso.

Qué significa supervisión humana, en concreto

Mirar un tablero de vez en cuando no alcanza. La supervisión se diseña: quién ve lo que hace el sistema, quién puede detenerlo y en qué pasos nada avanza sin una firma.

El Reglamento de Inteligencia Artificial de la Unión Europea lo describe con precisión en su artículo 14. Para los sistemas de alto riesgo, pide que las personas a cargo puedan entender las capacidades y los límites del sistema, interpretar bien sus resultados, decidir no usarlo en un caso concreto e intervenir o detenerlo, por ejemplo con un botón de parada ^[1]. También pide que las medidas sean proporcionales al riesgo, al nivel de autonomía y al contexto de uso ^[1].

Una empresa en México, Colombia o Texas no está obligada por esa norma en la mayoría de sus procesos. Aun así, funciona bien como lista de verificación. Si nadie en tu equipo puede hacer esas cuatro cosas con el agente que usas, lo que tienes es confianza a ciegas.

El criterio: costo del error y reversibilidad

Para decidir qué aprueba una persona, conviene cruzar dos preguntas.

• ¿Cuánto cuesta si sale mal? En dinero, en la relación con el cliente o en exposición legal.
• ¿Se puede deshacer? Un borrador se corrige en un minuto. Un pago enviado no vuelve solo, y un mensaje equivocado a un cliente tampoco.

Al cruzarlas salen tres zonas.

Zona 1. El agente actúa solo

Error barato y reversible. Clasificar correos o mensajes entrantes. Capturar datos de una factura en el sistema. Preparar el borrador de una cotización. Enviar un recordatorio de pago con un texto ya aprobado.

Pedir aprobación aquí solo agrega fricción. Basta con el registro: cada acción queda guardada con fecha, origen y resultado.

Zona 2. El agente propone y una persona confirma

Error moderado o difícil de revertir. Enviar una cotización con precios. Ofrecer un descuento fuera de la lista. Responder un reclamo. Cambiar la fecha de una entrega.

El agente arma, calcula y redacta. La persona revisa y confirma. Así su tiempo se va en criterio y deja de irse en captura.

Zona 3. Siempre decide una persona

Error caro o irreversible. Pagos y transferencias. Crédito a un cliente nuevo. Cancelación de contratos. Cualquier cosa que toque datos personales sensibles o decisiones sobre empleados.

En esta zona el agente puede preparar la información y señalar riesgos. No ejecuta. La firma es humana, y queda registrada.

La autonomía se gana con evidencia

Las zonas no son fijas. Una tarea puede empezar en la zona 2 y pasar a la zona 1 cuando hay pruebas de que el agente la hace bien.

Un camino razonable tiene cuatro etapas:

1. Observar. El agente ve el proceso y propone, pero no toca nada. Sus propuestas se comparan con lo que decidió la persona.
2. Asistir. El agente prepara el trabajo y la persona lo aprueba uno por uno.
3. Actuar con supervisión. El agente ejecuta dentro de umbrales acordados. Lo que queda fuera del umbral vuelve a la persona.
4. Actuar con autonomía. Solo en tareas donde la evidencia acumulada lo justifica. El registro y el botón de apagado siguen ahí.

Para pasar de una etapa a otra hacen falta criterios escritos antes de empezar: cuántos casos, qué nivel de coincidencia con la decisión humana y qué errores se toleran. La intuición del equipo cuenta, pero no basta.

Cuidado con el sesgo de automatización

La zona 2 tiene una trampa. Después de aprobar cien propuestas correctas seguidas, la ciento uno se aprueba sin leer. El artículo 14 del reglamento europeo lo nombra de forma explícita: las personas supervisoras deben ser conscientes de la tendencia a confiar en exceso en los resultados del sistema ^[1].

Ayuda que cada propuesta llegue con los datos que la sustentan, además del resultado. Ayuda también que lo atípico llegue marcado: montos fuera de rango, clientes nuevos, condiciones poco comunes. Y cada cierto tiempo alguien debería revisar a fondo una muestra de acciones ya ejecutadas, aunque nadie se haya quejado.

Los controles técnicos que hacen real la supervisión

Una política escrita sirve de poco si el sistema puede saltársela. Los mínimos:

• Credenciales propias para el agente, con permisos mínimos. Si usa la cuenta de una persona, después nadie sabe quién hizo qué.
• Puntos de aprobación configurados paso por paso, en lugar de un permiso general.
• Umbrales de confianza. Si el agente duda, pregunta.
• Registro completo: quién, qué, cuándo y por qué.
• Botón de apagado que detiene al agente sin romper el resto de la operación.

El Marco de Gestión de Riesgos de IA del NIST, publicado en 2023, organiza este trabajo en cuatro funciones: gobernar, mapear, medir y gestionar ^[2]. Es voluntario y sirve como referencia para empresas de cualquier tamaño.

Por dónde empezar

Elige un proceso que hoy duela. Cotizar, cobrar o atender mensajes de clientes son buenos candidatos. Haz la lista de sus pasos y ubica cada uno en una zona. Después define qué evidencia necesitas para mover un paso de zona.

Ese mapa se hace antes de elegir herramienta. Primero entender. Después automatizar.

En iKingdom construimos agentes que empiezan observando y ganan autonomía por etapas, con supervisión humana donde el error cuesta. Si quieres trazar ese mapa para tu operación, agenda una sesión estratégica.