En el ámbito de la inteligencia artificial, se ha observado un fenómeno conocido como «alucinaciones» en los modelos de lenguaje grande (LLM, por sus siglas en inglés). Este término se refiere a la tendencia de estos modelos a generar respuestas que, aunque parezcan coherentes, son incorrectas o completamente inventadas. Las alucinaciones suelen surgir debido a las limitaciones inherentes del enfoque de modelado de lenguaje, que prioriza la fluidez y el contexto, a menudo a expensas de la precisión factual.

La remediación de estas alucinaciones es especialmente crítica en aplicaciones de producción en sectores como la salud, finanzas o el ámbito legal, donde la información errónea puede tener graves consecuencias. Entre las estrategias propuestas para mitigar este problema se incluyen mecanismos rigurosos de verificación de hechos, integración de fuentes de conocimiento externas mediante enfoques como la Generación de Recuperación Aumentada (RAG, por sus siglas en inglés), la aplicación de umbrales de confianza y la supervisión humana en procesos críticos.

RAG se presenta como una solución para reducir las alucinaciones al incorporar la capacidad de recuperar conocimiento externo relevante, que posteriormente se integra en el proceso de generación de respuestas del modelo de lenguaje. Al proporcionar información verificada de fuentes confiables, RAG disminuye la posibilidad de que el modelo genere contenido incorrecto o inventado, mejorando así la precisión y fiabilidad de las respuestas generadas.

Amazon ha introducido las Guardas de Bedrock, que permiten detectar alucinaciones mediante verificaciones contextuales. Estos mecanismos pueden integrarse en flujos de trabajo utilizando APIs de Amazon Bedrock o flujos de prompts personalizados. Sin embargo, un desafío es que estos flujos de trabajo son estáticos, lo que limita su adaptabilidad frente a los cambios.

Para abordar esta necesidad de flexibilidad, Amazon Bedrock Agents permite la orquestación dinámica de flujos de trabajo. Con esta herramienta, las organizaciones pueden implementar detección de alucinaciones escalable y personalizable, ajustándose a necesidades específicas sin requerir una reestructuración completa de los flujos de trabajo existentes.

Por ejemplo, al detectar una alucinación, un flujo de trabajo configurado con agentes de Amazon puede redirigir la consulta a los agentes de servicio al cliente, asegurando así que el usuario reciba asistencia precisa. Este enfoque se asemeja a llamar a un agente de servicio al cliente cuando un chatbot no puede responder adecuadamente a la consulta del cliente. La combinación del enfoque RAG y flujos de trabajo agentivos ofrece un mecanismo flexible para medir, detectar y mitigar posibles alucinaciones.

En conclusión, los Amazon Bedrock Agents permiten a las empresas crear aplicaciones de inteligencia artificial generativa más precisas y personalizadas, optimizando los flujos de trabajo con la potencia de la automatización AI, reduciendo costes y mejorando la productividad. Con este avance, se abre la puerta a un uso más seguro y confiable de la inteligencia artificial generativa, esencial para su integración en aplicaciones críticas donde la veracidad de la información es vital.
vía: AWS machine learning blog