Recientemente, ha salido a la luz un dato sorprendente: hasta el 70% de los sistemas de Generación Aumentada por Recuperación (RAG, por sus siglas en inglés) fracasará al ser desplegados en producción. A pesar de que estos sistemas parecen mágicos en demos y pruebas de concepto, la realidad es que enfrentan una serie de desafíos que suelen conducir a su fracaso.

Shubham Maurya, un científico de datos senior en Mastercard, comparte su experiencia acumulada a lo largo de ocho años en la creación de soluciones de inteligencia artificial. Según Maurya, los sistemas RAG pueden pasar de ser héroes a cero cuando se traducen a la vida real. Explica que RAG implica recuperar información de bases de datos, aumentar esa información en el proceso de generación de respuestas a través de modelos de lenguaje, y luego generar respuestas precisas y fundamentadas.

Maurya plantea una pregunta pertinente: ¿por qué no usar simplemente modelos de lenguaje poderosos, como GPT-5 o Claude? La respuesta radica en la naturaleza dinámica de los datos. Las organizaciones a menudo enfrentan cambios de datos que se generan constantemente, lo que hace que los modelos preentrenados queden obsoletos. Además, el conocimiento específico de un dominio es crucial; un modelo general puede carecer de acceso a información interna vital.

Entre los principales desafíos que lleva a la falla de los sistemas RAG, Maurya destaca cuatro:

1. Desviación del conocimiento: Las inconsistencias pueden surgir cuando los datos cambian y el sistema no se actualiza.
2. Decaimiento de la recuperación: Un aumento en la cantidad de documentos puede hacer que el sistema se fatigued por la sobresaturación de datos.
3. Fragmentos irrelevantes: El exceso de información puede complicar las respuestas, haciendo que los modelos confundan la información.
4. Brechas de evaluación: La falta de retroalimentación efectiva puede llevar a que un sistema continúe operando ineficazmente sin que se detecte a tiempo.

Sin embargo, Maurya también ofrece soluciones. En lugar de depender de un solo método de búsqueda, se sugiere utilizar una búsqueda híbrida que combine diferentes estrategias. Por ejemplo, en casos de múltiples tablas interconectadas, se propuso un enfoque basado en grafos para mejorar la recuperación de datos. Así, los sistemas pueden adaptarse a cambios, optimizar su rendimiento y reducir los posibles errores.

La automatización también se presenta como un recurso valioso para crear un seguimiento de los cambios, lo que permite que los sistemas RAG se actualicen de manera dinámica. A través de un ciclo de retroalimentación continua, se pueden mejorar y optimizar estos sistemas de manera constante, lo cual es esencial dado que el entorno de datos siempre evoluciona.

Finalmente, el futuro de RAG pinta un panorama esperanzador, con desarrollos que van desde modelos de lenguaje que se autocomplementan hasta una mayor integración de datos complejos. Mientras tanto, Maurya enfatiza que un sistema RAG que funcione el 70% del tiempo en producción es mucho más valioso que uno que solo brille durante las demostraciones. Lo esencial está en la comprensión de los desafíos y la aplicación de soluciones efectivas que permitan construir sistemas robustos y confiables.

vía: AI Accelerator Institute