Amazon ha lanzado Amazon Bedrock Model Distillation, una solución que aborda el desafío de muchas organizaciones al implementar inteligencia artificial generativa: cómo mantener un alto rendimiento mientras se reducen costos y latencia. Esta técnica permite transferir el conocimiento de modelos de base más grandes y competentes (los «maestros») a modelos más pequeños y eficientes (los «estudiantes»), creando modelos especializados que se destacan en tareas específicas. Con ello, se incorporan técnicas avanzadas de aumento de datos y mejoras de rendimiento, utilizando la familia de modelos Llama de Meta.
Una de las capacidades críticas de esta nueva herramienta es la llamada a funciones, que permite que los modelos interactúen con herramientas externas, bases de datos y APIs, determinando con precisión cuándo y cómo invocar funciones específicas. Aunque los modelos más grandes suelen ser los más efectivos en identificar funciones adecuadas, su uso requiere mayores costos y tiempos de respuesta. Gracias a Amazon Bedrock Model Distillation, ahora modelos más pequeños pueden igualar la precisión en la llamada a funciones mientras ofrecen tiempos de respuesta mucho más rápidos y bajos costos operativos.
La propuesta de valor es significativa: las organizaciones pueden desplegar agentes de IA que mantienen una alta precisión en la selección de herramientas y en la construcción de parámetros, disfrutando al mismo tiempo de un menor tamaño y mayor rendimiento. Esto favorece la accesibilidad económica de arquitecturas complejas en una gama más amplia de aplicaciones.
Para implementar correctamente Amazon Bedrock Model Distillation, se deben cumplir varios requisitos, como tener una cuenta activa de AWS, manejar los modelos de maestro y estudiante adecuados, contar con un bucket de S3 para almacenar conjuntos de datos y artefactos, y los permisos de IAM correspondientes.
La preparación efectiva de datos es crucial para el éxito de la destilación de funciones. Amazon Bedrock ofrece dos métodos principales para preparar datos de entrenamiento: subir archivos JSONL a Amazon S3 o utilizar registros de invocación históricos. Es fundamental que las especificaciones de herramientas estén correctamente formateadas para permitir una destilación exitosa.
Las mejoras que presenta Amazon Bedrock Model Distillation incluyen un soporte de modelos más amplio y la incorporación de tecnología avanzada de síntesis de datos, que genera ejemplos de entrenamiento adicionales para mejorar la capacidad del modelo. Asimismo, la transparencia en el proceso de entrenamiento ha mejorado, permitiendo a los usuarios visualizar cómo se entrenó su modelo y recibir informes sobre prompts aceptados y rechazados.
Las evaluaciones realizadas muestran que los modelos destilados para el uso de llamadas a funciones pueden alcanzar una precisión comparable a modelos significativamente más grandes, con tiempos de inferencia más rápidos y costos operativos reducidos, lo que resulta en una implementación escalable de agentes de IA capaces de interactuar con herramientas y sistemas externos en diversas aplicaciones empresariales. La combinación de precisión, velocidad y eficiencia de costos se destaca como un factor vital para los desarrolladores que buscan maximizar el potencial de la inteligencia generativa en sus aplicaciones.
vía: AWS machine learning blog
