En la actualidad, el auge de la inteligencia artificial generativa ha dado lugar a la aparición constante de nuevos modelos de lenguaje de gran tamaño (LLMs), cada uno con capacidades y arquitecturas únicas. Entre ellos se destaca Amazon Nova, un modelo de fundación que ofrece inteligencia avanzada y un rendimiento de costo-efectividad líder en la industria, disponible exclusivamente a través de Amazon Bedrock. Desde su lanzamiento en 2024, los practicantes de IA generativa, incluyendo equipos de Amazon, han comenzado la transición de sus cargas de trabajo desde los modelos anteriores hacia los modelos de Amazon Nova.

Sin embargo, al migrar entre diferentes modelos de fundación, las indicaciones desarrolladas para el modelo original pueden no funcionar de manera eficaz en Amazon Nova sin un proceso de optimización de prompts. Amazon Bedrock ofrece una herramienta que permite la optimización automática de estos prompts, adaptándolos a los estándares del modelo Nova. Durante la migración, uno de los retos más significativos es asegurar que el rendimiento después de la migración sea al menos igual o mejor que antes. Para ello, se requiere una evaluación exhaustiva del modelo, así como la comparación del rendimiento y la optimización de los prompts, buscando alinear o mejorar los resultados en relación a la carga de trabajo anterior.

Se presenta un paradigma y arquitectura de migración para LLMs que incluye un proceso continuo de evaluación del modelo, generación de prompts y optimización de datos. Esta solución evalúa el rendimiento del modelo antes de la migración y optimiza iterativamente los prompts del modelo Nova mediante conjuntos de datos proporcionados por el usuario. Este enfoque se ha implementado con éxito en tareas de resumen de texto, clasificación de texto multinivel y respuesta a preguntas utilizando la metodología de Generación Aumentada por Recuperación (RAG).

La migración de carga de trabajo generativa a Amazon Nova requiere un enfoque estructurado que incidente, entre otras cosas, en la evaluación del modelo antiguo y la optimización de los nuevos prompts. El flujo de trabajo se organiza en cuatro pasos clave, comenzando por evaluar el modelo fuente y recoger métricas de rendimiento basadas en el caso de uso, seguido de la actualización automática de la estructura y lenguaje de los prompts, y finalizando con pruebas que validen el rendimiento del modelo en el entorno de producción.

Además, en el área de optimización, se presenta una metodología de optimización de prompts a través de Amazon Bedrock, que permite refinar la estructura de los prompts. La optimización de prompts busca mejorar la interacción de los desarrolladores de AWS con los modelos de fundación, mientras que la optimización de datos consciente se utiliza para maximizar el rendimiento de los LLMs, ajustándose a métricas definidas por el usuario.

La implementación de este proceso ha llevado a mejoras significativas en el rendimiento de las tareas evaluadas, como se demuestra en la optimización del modelo Amazon Nova Lite, donde se alcanzó una mejora del 77.75% a un 83.25%, y con la posterior aplicación de un optimizador, la precisión aumentó a un 87.75%.

Finalmente, las lecciones aprendidas durante el diseño de la solución indican que es crucial contar con un conjunto de datos de alta calidad y relevancia, métricas definidas adecuadas para el caso de uso específico, y un enfoque iterativo en la optimización para maximizar el rendimiento general del modelo. Este enfoque se puede aplicar no solo a la migración hacia Amazon Nova, sino también en otros procesos de migración de modelos, permitiendo a las organizaciones mejorar sus capacidades de inteligencia artificial generativa de manera efectiva.
vía: AWS machine learning blog