Las reuniones son fundamentales para la toma de decisiones, la coordinación de proyectos y la colaboración en diversas organizaciones. Sin embargo, la captura y estructuración de los puntos clave de estas conversaciones suelen ser ineficaces e inconsistentes. El proceso manual de resumir reuniones o extraer acciones clave requiere un esfuerzo considerable y es susceptible a omisiones o malinterpretaciones.
Los modelos de lenguaje de gran tamaño (LLMs, por sus siglas en inglés) representan una solución más eficiente, transformando transcripciones de reuniones no estructuradas en resúmenes y listas de acciones organizadas. Esta capacidad resulta especialmente útil en la gestión de proyectos, atención al cliente, ventas, asuntos legales y cumplimiento, así como en la gestión del conocimiento empresarial.
Recientemente, se han evaluado diferentes modelos de comprensión de la familia Amazon Nova, disponibles a través de Amazon Bedrock, para ofrecer orientación sobre cómo elegir el modelo más adecuado para tareas de resumen de reuniones. Los LLM modernos son particularmente efectivos en la resumisión y extracción de acciones gracias a su habilidad para entender el contexto, inferir relaciones temáticas y generar salidas estructuradas.
El uso de la ingeniería de prompts se presenta como un enfoque más eficiente y escalable que la afinación tradicional de modelos. En lugar de modificar la arquitectura del modelo o entrenar con grandes conjuntos de datos etiquetados, esta técnica emplea consultas cuidadosamente elaboradas para guiar el comportamiento del modelo, lo que permite una personalización rápida y específica del dominio sin la necesidad de procesos de reentrenamiento intensivos en recursos.
Los modelos de Amazon Nova, introducidos en AWS re:Invent en diciembre de 2024, están diseñados para ofrecer inteligencia avanzada con un rendimiento de costo líder en la industria. Estos modelos abarcan cuatro niveles: Nova Micro, Nova Lite, Nova Pro y Nova Premier, optimizados para diversas aplicaciones de inteligencia generativa en entornos seguros y asequibles.
El enfoque de la solución presentada se centra en dos resultados clave: la resumisión de reuniones y la extracción de acciones. La resumisión ofrece sumarios abtractos que destilan los puntos discutidos y decisiones tomadas, mientras que la extracción de acciones proporciona una lista estructurada de tareas derivadas de la conversación, aplicables al equipo o proyecto en su conjunto.
Para evaluar el rendimiento de la solución, se utilizaron muestras del conjunto de datos público QMSum, que incluye transcripciones de reuniones en inglés junto con resúmenes anotados manualmente. Las pruebas mostraron que el modelo Nova Premier logró la puntuación más alta en fidelidad, aun cuando otros modelos ofrecieron resultados competitivos con tiempos de procesamiento más rápidos.
La evaluación de la calidad de los outputs generados a menudo presenta retos. Las métricas tradicionales pueden no capturar aspectos importantes como la corrección fáctica y la coherencia. Para superar esto, se está implementando el uso de un LLM como juez, que permite evaluar automáticamente las salidas generadas basándose en criterios bien definidos.
Los resultados de la evaluación evidencian patrones claros entre el rendimiento y la latencia de los modelos de Amazon Nova en las tareas de resumen y extracción de acciones. Estos hallazgos destacan la velocidad y eficacia de la familia de modelos Nova, lo que los convierte en una opción atractiva para las empresas que manejan grandes volúmenes de datos de reuniones.
En conclusión, la implementación de técnicas de ingeniería de prompts junto con los modelos de Amazon Nova disponibles a través de Amazon Bedrock permite generar resúmenes de reuniones y listas de acciones de manera eficiente. Esta optimización de la latencia, el coste y la precisión es crucial para una resumición automatizada de gran escala, haciendo de Amazon Nova una opción viable para las empresas que buscan mejorar su gestión de reuniones.
vía: AWS machine learning blog
