Las organizaciones que desarrollan y despliegan aplicaciones de inteligencia artificial (IA), especialmente aquellas que utilizan modelos de lenguaje de gran tamaño (LLMs) junto a sistemas de Generación Aumentada por Recuperación (RAG), enfrentan un desafío significativo: la evaluación efectiva de los resultados de la IA a lo largo del ciclo de vida de la aplicación. Con el crecimiento de la sofisticación y aceptación generalizada de estas tecnologías, mantener una calidad y rendimiento consistentes se vuelve cada vez más complejo.

Los enfoques tradicionales de evaluación de IA presentan importantes limitaciones. La evaluación humana, aunque exhaustiva, resulta costosa y lenta al escalar. Por otro lado, aunque las métricas automatizadas son rápidas y rentables, sólo pueden cuantificar la corrección de una respuesta de IA, sin captar otras dimensiones evaluativas ni ofrecer explicaciones sobre las problematicidades de una respuesta. Además, las métricas automatizadas tradicionales requieren típicamente datos de verdad objetiva, que para muchas aplicaciones de IA son difíciles de obtener. Esto es particularmente complicado en situaciones que implican generación abierta o sistemas de tipo RAG, donde definir una única «respuesta correcta» es prácticamente imposible. Finalmente, métricas como ROUGE y F1 pueden ser engañadas por similitudes lingüísticas superficiales entre la verdad objetiva y la respuesta del LLM, incluso cuando el significado real es muy diferente. Estas dificultades complican la tarea de mantener estándares de calidad consistentes en las aplicaciones de IA, en especial para las producciones generativas.

Para abordar estos retos, Amazon Bedrock ha lanzado recientemente dos capacidades nuevas: la funcionalidad «LLM-as-a-judge» (LLMaaJ) bajo las Evaluaciones de Amazon Bedrock y una herramienta de evaluación de RAG para las Bases de Conocimiento de Amazon Bedrock. Ambas características aprovechan la misma tecnología de LLM como juez, con algunas diferencias dependiendo de si se evalúa un modelo o una aplicación RAG construida con las Bases de Conocimiento de Amazon Bedrock. Estas capacidades de evaluación combinan la velocidad de los métodos automatizados con una comprensión matizada similar a la humana, permitiendo a las organizaciones:

– Evaluar las salidas de modelos de IA en diversas tareas y contextos.
– Evaluar múltiples dimensiones del rendimiento de la IA simultáneamente.
– Evaluar de manera sistemática tanto la calidad de recuperación como la de generación en sistemas RAG.
– Escalar las evaluaciones a miles de respuestas mientras se mantienen estándares de calidad.

Estas funcionalidades se integran sin problemas en el ciclo de vida del desarrollo de IA, empoderando a las organizaciones para mejorar la calidad de modelos y aplicaciones, promover prácticas de IA responsables y tomar decisiones basadas en datos sobre la selección de modelos y el despliegue de aplicaciones.

El foco de este avance se encuentra en la evaluación RAG con las Bases de Conocimiento de Amazon Bedrock, proporcionando una guía para configurar la funcionalidad, discutir las matices a considerar al evaluar los prompts y respuestas, y finalmente ofrecer mejores prácticas. Al finalizar el análisis, se espera que los interesados comprendan cómo las últimas características de evaluación de Amazon Bedrock pueden simplificar el enfoque hacia la garantía de calidad de la IA, permitiendo un desarrollo más eficiente y confiado de aplicaciones RAG.
vía: AWS machine learning blog