Los modelos de lenguaje de gran tamaño (LLMs) han revolucionado la generación de texto al simular respuestas humanas de manera convincente, pero enfrentan un desafío crítico: la «alucinación». Este fenómeno se produce cuando los modelos producen respuestas que, aunque parecen creíbles, son factualmente incorrectas. A pesar de estar entrenados con grandes volúmenes de datos genéricos, los LLMs a menudo carecen del contexto específico de la organización y de la información actualizada necesaria para ofrecer respuestas precisas, especialmente en entornos de negocio.

Las técnicas de Generación Aumentada por Recuperación (RAG) intentan mitigar este problema al enraizar los LLMs en datos relevantes durante la inferencia. Sin embargo, estos modelos todavía pueden generar salidas no deterministas y, en ocasiones, inventar información incluso cuando se les proporciona material de origen preciso. Esto representa un riesgo considerable para las organizaciones que implementan LLMs en aplicaciones de producción, particularmente en sectores críticos como la salud, las finanzas o los servicios legales. Las alucinaciones residuales pueden conllevar a la desinformación, problemas de responsabilidad legal y pérdida de confianza por parte de los usuarios.

Para abordar estos desafíos, hemos desarrollado una solución práctica que combina la flexibilidad de los LLMs con la fiabilidad de respuestas verificadas y curadas. Utilizamos dos servicios clave de Amazon Bedrock: Bases de Conocimientos de Amazon Bedrock, que permite almacenar, buscar y recuperar información específica de la organización; y Agentes de Amazon Bedrock, que facilita la creación, prueba y despliegue de asistentes de inteligencia artificial capaces de comprender las solicitudes del usuario y ejecutar acciones. Similar a cómo un equipo de atención al cliente mantiene un banco de respuestas cuidadosamente elaboradas para preguntas frecuentes, nuestra solución primero evalúa si la pregunta de un usuario coincide con las respuestas verificadas antes de permitir que el LLM genere una nueva respuesta. Este enfoque contribuye a prevenir alucinaciones utilizando información de confianza siempre que sea posible, al mismo tiempo que permite que el LLM maneje preguntas nuevas o únicas.

La arquitectura de la solución consiste en un «cache semántico verificado» que utiliza la API de Recuperación de Bases de Conocimiento de Amazon Bedrock para reducir alucinaciones en las respuestas de los LLM, al tiempo que mejora la latencia y reduce costos. Este cache semántico actúa como una capa intermedia inteligente entre el usuario y los Agentes de Amazon Bedrock, almacenando pares de preguntas y respuestas verificadas.

Cuando un usuario presenta una consulta, la solución evalúa su similitud semántica con las preguntas existentes en la base de conocimiento verificada. Si hay coincidencias altamente similares, el sistema devuelve la respuesta verificada sin invocar al LLM. En casos de coincidencias parciales, se utilizan las respuestas verificadas como ejemplos para guiar la respuesta del LLM, mejorando así la precisión y consistencia. En situaciones donde no hay coincidencias, la solución recurre al procesamiento estándar del LLM.

Los beneficios de este enfoque incluyen la reducción de costos operacionales al disminuir las invocaciones innecesarias de LLMs, la mejora de la precisión de las respuestas gracias a las respuestas verificadas y la disminución de la latencia mediante la recuperación directa de respuestas almacenadas. A medida que la base de datos de preguntas y respuestas crece, la solución se vuelve aún más confiable y eficiente en la gestión de consultas de usuarios.

Con la implementación de esta técnica, las organizaciones pueden esperar una mejora notable en la precisión de las respuestas, tiempos de respuesta más rápidos y un ahorro de costos significativo. Mediante la integración de un cache semántico con LLMs, esta solución ofrece un camino sólido hacia aplicaciones de inteligencia artificial más confiables, asegurando que tanto los nuevos desarrolladores de IA como los profesionales experimentados cuenten con herramientas efectivas para su trabajo.
vía: AWS machine learning blog