Amazon ha lanzado Amazon Bedrock, un servicio completamente gestionado que facilita la integración de modelos de inteligencia artificial de alto rendimiento de empresas líderes como AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI y Amazon. Mediante una única API, los usuarios pueden acceder a diferentes modelos base para desarrollar aplicaciones de inteligencia artificial generativa con un enfoque en seguridad, privacidad e inteligencia artificial responsable.
Una de las capacidades destacadas de Amazon Bedrock es la inferencia por lotes, diseñada para procesar grandes volúmenes de datos de manera eficiente cuando no se requieren resultados en tiempo real. Este tipo de inferencia es ideal para tareas que no son sensibles a la latencia, tales como la obtención de embeddings, extracción de entidades, evaluaciones de modelos y la categorización y resumen de textos para informes de negocios. Además, resulta ser una opción económica ya que ofrece un descuento del 50% en comparación con el precio bajo demanda.
La inferencia por lotes en Amazon Bedrock tiene un límite de 10 trabajos de inferencia por lotes por modelo y por región, una limitación que la empresa ha buscado superar implementando una solución escalable que emplea AWS Lambda y Amazon DynamoDB. Esta innovación permite gestionar las colas de trabajo automatizando la monitorización de espacios disponibles y el envío de nuevos trabajos a medida que se liberan.
El proceso comienza con el usuario cargando archivos en un bucket de Amazon S3. Un proceso de Lambda crea entradas de trabajo en una tabla DynamoDB con estado pendiente, crucial para rastrear y gestionar los trabajos de inferencia. Un evento programado de Amazon EventBridge desencadena funciones de Lambda cada 15 minutos para procesar estos trabajos, actualizar los estados en función de la información de Amazon Bedrock, y calcular los espacios de trabajo disponibles para poder enviar nuevos trabajos desde la cola pendiente.
La arquitectura de la solución permite también manejar situaciones de error, asegurando que se mantenga un registro detallado para facilitar la resolución de problemas. Una vez completado cada trabajo, los archivos de salida estarán disponibles en el bucket de S3, lo que facilita el acceso a los resultados.
Además de su eficiencia técnica, esta solución presenta importantes beneficios como la gestión automatizada de la cola de procesos, lo que maximiza el rendimiento al manejar dinámicamente los espacios de trabajo. También optimiza costos, aprovechando el significativo descuento para el procesamiento a gran escala.
Amazon incita a las empresas a implementar esta solución y adaptarla a sus necesidades específicas, lo cual no solo podría mejorar la eficiencia de los flujos de trabajo de inferencia, sino también permitir una gestión más efectiva de tareas de IA generativa a gran escala. Gracias a Amazon Bedrock, las empresas ahora están mejor equipadas para enfrentar las demandas de procesamiento masivo de datos de manera escalable y rentable.
vía: AWS machine learning blog
