Los modelos de lenguaje grandes (LLMs) han ganado popularidad tanto en aplicaciones de consumo como en entornos empresariales. Sin embargo, su tendencia a «alucinar» información y a proporcionar respuestas incorrectas con aparente confianza ha generado un problema de confianza. Al considerarlos como expertos humanos, confiamos más en aquellos que pueden respaldar sus afirmaciones con referencias y guiar a los usuarios a través de su proceso de razonamiento. Lo mismo se aplica a los LLMs: son más confiables cuando pueden mostrar su proceso de pensamiento y citar fuentes fiables. Afortunadamente, con la adecuada formulación de las preguntas, es posible instruir a los LLMs para que ofrezcan estas citas, lo que hace que sus respuestas sean más verificables y confiables.
En el contexto del modelo Amazon Nova, que fue lanzado en diciembre de 2024 y está disponible en Amazon Bedrock, se presentan múltiples beneficios al utilizar citas. Primero, permiten asegurar que la información proporcionada es precisa, dado que los LLMs son propensos a generar datos plausibles pero incorrectos. Segundo, fomentan la confianza y la transparencia, permitiendo a los usuarios verificar la información y entender su origen. Tercero, citando fuentes, se respeta la propiedad intelectual y se previene el plagio, lo cual es esencial en el uso ético de la inteligencia artificial. Además, facilitan la experiencia del usuario al ofrecer caminos para explorar materiales relacionados.
Para optimizar el uso de Amazon Nova, se pueden crear preguntas que indiquen a los modelos que citen sus fuentes. Por ejemplo, se puede formular un asesoramiento donde se pida a Nova Pro responder a preguntas sobre cartas para accionistas de Amazon, indicando que incluya citas de los documentos proporcionados. Este enfoque permite a los modelos seguir instrucciones claras y ofrecer respuestas que incluyan las citas pertinentes.
La evaluación de las respuestas generadas se realiza a través de otro LLM que actúa como juez. Este proceso de evaluación utiliza métricas como corrección, completitud y coherencia, lo que permite obtener insights valiosos para mejorar aún más las aplicaciones de IA. Este sistema automatizado facilita la evaluación de múltiples variables, asegurando que los resultados sean útiles y pertinentes.
En resumen, la capacidad de Amazon Nova para incluir citas en sus respuestas no solo aumenta la fiabilidad de la información proporcionada, sino que también establece un estándar para la transparencia y la ética en el uso de la inteligencia artificial. Mediante la implementación de técnicas de evaluación adecuadas, se puede garantizar que las interacciones con este tipo de modelos sean más seguras y efectivas.
vía: AWS machine learning blog
