Hace un tiempo construí un motor de decisiones para un sistema académico: un conjunto de reglas que aprobaba o rechazaba solicitudes automáticamente. En su momento me enorgullecía haber codificado no solo la lógica del trámite, sino también su contexto. Con la distancia, lo que más me interesa de ese proyecto es otra cosa: lo que me enseñó sobre los límites de los sistemas que deciden por personas.
Un espejo de nuestras reglas
Mi algoritmo no era “inteligente” en el sentido que hoy se le da a la palabra. No aprendía ni infería patrones de grandes volúmenes de datos. Era un espejo rápido y eficiente de un conjunto de reglas que yo había definido. Si una regla era justa, el sistema la aplicaba con consistencia total. Si una regla era defectuosa, repetía ese defecto a una escala y velocidad que ninguna persona podría igualar.
Eso describe a más tecnología de la que parece: buena parte de los sistemas que hoy toman decisiones en el mundo real no son una inteligencia emergente, sino la automatización de nuestros propios procesos, con nuestros sesgos incluidos. Le enseñamos a la máquina a decidir como nosotros, y hereda también nuestros puntos ciegos.
La regla más importante era no decidir
Hoy uso modelos de lenguaje que escriben código, resumen textos y conversan con una fluidez sorprendente. Procesan y conectan información a una escala que ningún humano alcanza.
Y aun así, mi motor de reglas tenía algo que esos modelos no traen de fábrica: límites explícitos. Una línea de mi código decía, en la práctica: “si el motivo de la solicitud es un problema de salud, no intentes decidir; pasa el caso a una persona”. No era una decisión basada en datos, sino de diseño: hay casos que un sistema automático no debería resolver.
Un modelo puede analizar millones de expedientes médicos y estimar la probabilidad de una enfermedad, pero no sabe lo que significa recibir ese diagnóstico. Puede evaluar datos financieros y aprobar o rechazar un préstamo, pero no registra lo que ese préstamo resuelve o rompe en una familia. Su comprensión es estadística: procesa las palabras, no la situación que hay detrás de ellas.
El criterio que me quedó
De ese proyecto conservo una regla de diseño que sigo aplicando: en cualquier sistema automático que afecte a personas, la ruta de escalamiento hacia un humano es una función más del sistema, y hay que diseñarla con el mismo cuidado que el resto. No es un parche ni una admisión de derrota; es definir desde el inicio qué puede resolver el sistema y qué no le toca.
La IA me sigue pareciendo una de las herramientas más potentes que tenemos, y la uso a diario. Pero después de construir una versión diminuta de ella, la trato como lo que es: un sistema con límites, que funciona mejor cuando esos límites están escritos en el código y no descubiertos por accidente.