Cuando la IA se equivoca: ¿quién responde?
Introducción
Planteemos el siguiente escenario: Una persona solicita un crédito, su solicitud es rechazada en unos segundos. Ningún humano revisó su expediente, sino un sistema realizó el análisis de sus datos y dio un resultado. En primera instancia, parece una decisión objetiva tomada por un sistema automatizado, no obstante, surge una pregunta: ¿Qué pasa si la decisión es incorrecta?
En la actualidad, la inteligencia artificial ya genera recomendaciones, detecta fraudes, clasifica información y realiza otros procesos cotidianos. Sin embargo, cuando esta automatización comienza a intervenir en decisiones con consecuencias reales para personas reales, surge un problema. No basta únicamente con preguntar si el sistema funciona, es necesario identificar al diseñador del sistema, a su supervisor y quién es el responsable cuando existen fallas.
Desarrollo
Las decisiones no son completamente automáticas. Para que un modelo produzca resultados, se tuvo que haber determinado el problema, recolectar los datos, establecer reglas y definir el curso de las acciones a ejecutar por el sistema. Debido a esto, la responsabilidad no se desvanece cuando se ejecuta por una inteligencia artificial, únicamente cambia el lugar dentro del proceso.
Este problema puede surgir en cualquier etapa del proceso. Los datos pueden estar incompletos, las reglas de negocio pueden haber sido mal definidas o alguna configuración específica pudo permitir al sistema tomar una decisión que no debía automatizarse.
En la actualidad, esto ya ocurre en sistemas utilizados para recomendaciones, detección de fraude y análisis de comportamiento. En un entorno de producción, pueden aparecer situaciones que no fueron previstas en la etapa de pruebas, en especial cuando los datos reales difieren a los que fueron utilizados en la fase de entrenamiento.
¿Quién tiene la responsabilidad?
No es “si es que”, sino “cuando” la IA se equivoca, una explicación simple puede ser responsabilizar al programador, o en su defecto, al modelo. No obstante, la responsabilidad debe distribuirse entre varias personas y áreas. En retrospectiva, el analista pudo haber definido incorrectamente un requerimiento, o un desarrollador pudo haber implementado una lógica defectuosa, o el administrador pudo haber configurado mal el sistema, incluso el usuario pudo haber aceptado
una recomendación sin verificarla, también puede ser el caso que la organización haya puesto en producción una solución sin el control suficiente.
Existe otra dificultad cuando no es posible reconstruir o rastrear como se obtuvo un resultado. Por ejemplo, cuando un sistema rechaza una transacción, debería quedar registro de los datos que utilizó, la versión del modelo que lo ejecutó y la configuración de ese momento.
En este sentido, la trazabilidad es fundamental, los registros de los eventos, las versiones del modelo, si existen cambios de configuración y las bitácoras hacen posible reconstruir lo que ocurrió después de un incidente. De tal forma que no son únicamente herramientas para solucionar problemas técnicos, también permiten establecer responsabilidad.
Supervisar antes de lamentar
Supervisar una IA no implica revisar manualmente cada resultado, sino definir qué decisiones pueden automatizarse por completo y cuales aún requieren intervención humana.
El marco de gestión de riesgos de inteligencia artificial de NIST (National Institute of Standards and Technology) propone cuatro funciones: Govern, Map, Measure y Manage, que permiten identificar riesgos durante el ciclo de vida del sistema. Esto resulta útil porque convierte la supervisión en una actividad continua y no en un elemento reactivo posterior a una falla.
En Ingeniería en Ciencias y Sistemas, la supervisión debe considerarse desde la etapa de diseño. El sistema puede requerir alertas, límites, permisos o mecanismos para detener una operación al identificarse una condición de riesgo.
Figura 1. Supervisión humana durante el ciclo de vida de la IA. En cada etapa debe existir un responsable, junto con mecanismos para revisar resultados, registrar cambios e intervenir cuando sea necesario. Fuente: elaboración propia a partir del NIST AI Risk Management Framework.
No se hace un llamado a detener la automatización, por el contrario, automatizar puede mejorar la eficiencia y eliminar la
Lo anterior expuesto muestra que la responsabilidad no debería aparecer únicamente cuando los sistemas fallan, sino que debe formar parte de la arquitectura, los procesos e incluso la documentación desde el principio de la implementación del sistema.
Conclusiones
La inteligencia artificial puede producir decisiones, pero no se puede hacer responsable por las consecuencias de esas decisiones. Detrás de cada sistema hay datos, reglas, código, configuraciones y lo más importante, personas, que intervienen en distintas etapas. Por lo anterior, ante un fallo, no puede delegarse un único responsable, es necesaria una trazabilidad para reconstruir el resultado que llevó a una decisión y determinar la etapa que falló. Es necesaria la supervisión humana desde el principio y cuantificar el riesgo de cada sistema.
Cuando se automatiza una tarea, no se elimina el criterio profesional, este se traslada hacia el diseño, validación y control. El nuevo reto para el diseñador del sistema no es conseguir que el modelo funcione, sino construir sistemas que puedan ser comprendidos, rastreables y corregidos. No se aconseja ir contra la corriente, puesto que la tecnología seguirá avanzando y los procesos de decisiones automatizadas aumentarán en frecuencia. No obstante, estas decisiones continuarán afectando personas y organizaciones, así que deberá existir alguien que pueda responder por ellas.
Referencias
Organisation for Economic Co-operation and Development. “AI Principles.” OECD. Consultado en agosto de 2026. https://www.oecd.org/en/topics/ai-principles.html.
Tabassi, Elham. Artificial Intelligence Risk Management Framework (AI RMF 1.0). NIST AI 1001. Gaithersburg, MD: National Institute of Standards and Technology, 2023. https://doi.org/10.6028/NIST.AI.100-1.
UNESCO. Recomendación sobre la Ética de la Inteligencia Artificial. París: UNESCO, 2022. https ://www.unesco.org/es/artificial-intelligence/recom mendation-ethics.
Unión Europea. Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 Laying Down Harmonised Rules on Artificial Intelligence (Artificial Intelligence Act). EUR-Lex,
Ver diseño original de las páginas
