La AWS AI League, lanzada por Amazon Web Services (AWS), ha ampliado su alcance a la Asociación de Naciones del Sureste Asiático (ASEAN), al dar la bienvenida a estudiantes de países como Singapur, Indonesia, Malasia, Tailandia, Vietnam y Filipinas. La iniciativa busca introducir a estudiantes de diversos orígenes y niveles de experiencia en el emocionante mundo de la inteligencia artificial generativa a través de un desafío práctico basado en juegos que se centra en la adaptación de modelos de lenguaje de gran tamaño (LLMs).
El campeonato comenzó con una sesión de tutoriales dirigida por el equipo de AWS y la comunidad de aprendizaje de inteligencia artificial generativa Gen-C. Los participantes tuvieron acceso a dos poderosas herramientas: Amazon SageMaker JumpStart y PartyRock, que facilitan la adaptación de modelos y la generación de datos sintéticos de manera intuitiva. SageMaker JumpStart permitió a los competidores ejecutar el proceso de adaptación de los LLM en un entorno de nube, mientras que PartyRock proporcionó un espacio interactivo para curar el conjunto de datos utilizado en la adaptación de un modelo Llama 3.2 3B Instruct.
El objetivo principal del reto fue superar un modelo de referencia de LLM más grande en una evaluación basada en un cuestionario, lo que llevó a los participantes a trabajar en tres dominios centrales de la inteligencia artificial generativa: modelos de base, inteligencia artificial responsable y ingeniería de prompts. Después de una ronda preliminar que incluyó un ranking abierto de los mejores modelos ajustados, aquellos que destacaron avanzaron a la Gran Final Regional, celebrada en Singapur.
Blix D. Foryasen, campeón de la AWS AI League, reflexionó sobre los desafíos y aprendizajes a lo largo de la competencia, destacando que su éxito no solo dependió de la precisión técnica, sino también de la colaboración y la capacidad de adaptarse a las diferentes iteraciones del reto. A pesar de un inicio tardío en la competición, logró elaborar un conjunto de datos sólido y ajustar selectivamente los hiperparámetros, inspirándose en enfoques existentes y trabajos académicos en la adaptación de modelos de lenguaje.
Uno de los aspectos más destacados de su experiencia fue la generación de conjuntos de datos sintéticos a través de PartyRock, donde ajustó numerosos parámetros para garantizar la diversidad y la calidad de los datos utilizados. Foryasen enfatizó la importancia de priorizar la calidad sobre la cantidad, descubriendo que, a medida que aumentaba el tamaño de su conjunto de datos, se hacía crucial volver a calibrar los hiperparámetros para evitar un rendimiento negativo.
Con la colaboración de otros competidores, Foryasen incorporó estrategias de ajuste avanzado, como el uso de LoRA (adaptación de bajo rango), que le permitió mejorar significativamente su modelo en función de sus necesidades. De este modo, los conocimientos adquiridos durante la competencia no solo le ayudaron a alcanzar la final, sino que también le ofrecieron valiosas lecciones sobre el trabajo en equipo y la adaptación continua en un campo tecnológico en rápida evolución.
La Gran Final no solo fue una culminación de su esfuerzo personal, sino también un punto de encuentro donde los campeones nacionales intercambiaron conocimientos y estrategias, subrayando la importancia de la comunidad en el aprendizaje y la innovación tecnológica.
vía: AWS machine learning blog
