Amazon ha lanzado un servicio gestionado completamente llamado Amazon Bedrock, que proporciona una selección de modelos fundamentales de alto rendimiento de empresas líderes en inteligencia artificial, como AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI y Amazon, a través de una única API. Este servicio también ofrece un amplio conjunto de capacidades necesarias para construir aplicaciones de inteligencia artificial generativa con seguridad, privacidad y prácticas de IA responsables.
Algunos de estos modelos están disponibles públicamente, lo que permite personalizar los modelos para casos de uso y dominios específicos. Sin embargo, implementar modelos personalizados para soportar aplicaciones de IA generativa de una manera segura y escalable no es una tarea trivial. Alojar modelos grandes implica una complejidad considerable en torno a la selección del tipo de instancia y los parámetros de implementación.
Para abordar este desafío, AWS ha anunciado la vista previa del nuevo Amazon Bedrock Custom Model Import, una característica que permite importar modelos personalizados creados en otros entornos como Amazon SageMaker, Amazon EC2 y en instalaciones locales a Amazon Bedrock. Esta función abstrae la complejidad del proceso de implementación a través de sencillas APIs para la implementación e invocación del modelo.
La capacidad para personalizar modelos fundamentales (FMs) puede desbloquear un valor significativo al adaptar sus capacidades a dominios o tareas específicas. En esta oportunidad, mostramos el proceso de ajuste fino del modelo Meta Llama 3 8B en SageMaker para especializarlo en la generación de consultas SQL (texto a SQL). Meta Llama 3 8B es un modelo relativamente pequeño que ofrece un equilibrio entre rendimiento y eficiencia de recursos.
Los clientes de AWS han explorado el ajuste fino de Meta Llama 3 8B para la generación de consultas SQL, especialmente cuando se utilizan dialectos SQL no estándar, y han solicitado métodos para importar sus modelos personalizados a Amazon Bedrock. Esto permite beneficiarse de la infraestructura gestionada y la seguridad que proporciona Amazon Bedrock al servir esos modelos.
El proceso de personalización se divide en varios pasos: invocar un trabajo de entrenamiento en SageMaker para ajustar el modelo con QLoRA y almacenar los pesos en Amazon S3. Una vez completado el ajuste fino, el usuario ejecuta el trabajo de importación de modelos usando la consola de Amazon Bedrock. El servicio de Amazon Bedrock inicia un trabajo de importación en una cuenta de implementación operada por AWS. Los artefactos del modelo se copián de la cuenta del usuario a un bucket S3 gestionado por AWS, y cuando se completa el trabajo de importación, el modelo ajustado será accesible para su invocación.
Todo los datos permanecen en la región seleccionada de AWS, usando un punto final VPC, y es posible cifrar los datos del modelo con sus propias claves de Amazon Key Management Service (AWS KMS). Los guiones para el ajuste fino y la evaluación están disponibles en el repositorio de GitHub de Amazon Bedrock.
La importación del modelo ajustado en Amazon Bedrock se completa configurando varias opciones en la consola de Amazon Bedrock, importando los datos almacenados en S3 y asegurándose de que el modelo siga los parámetros soportados. Una evaluación del modelo ajustado mostró un rendimiento superior, con un ejemplo que generó un SQL correcto en la mayoría de los casos.
Este lanzamiento y sus capacidades de personalización proporcionan una herramienta poderosa para los científicos de datos y desarrolladores de aplicaciones que buscan implementar modelos de IA generativa a escala, permitiendo operaciones más eficientes y seguras. Explorando las mejores prácticas y metodologías proporcionadas, los usuarios pueden maximizar el potencial de modelos ajustados para tareas específicas como la generación de código.
vía: AWS machine learning blog
