Amazon ha lanzado una nueva funcionalidad dentro de su servicio Amazon Bedrock, que permite a las empresas utilizar modelos de inteligencia artificial de alto rendimiento a través de una interfaz única. Este servicio permite la creación de aplicaciones de inteligencia artificial generativa, priorizando la seguridad, la privacidad y el uso responsable de la tecnología.

La funcionalidad de inferencia por lotes de Amazon Bedrock se orienta a manejar cargas de trabajo más grandes donde la celeridad en las respuestas no es crucial. Al adoptar un enfoque de procesamiento por lotes, las organizaciones pueden analizar grandes conjuntos de datos de manera eficiente, logrando una reducción de precios del 50% en comparación con las opciones de demanda inmediata, lo que resulta atractivo para aquellos que trabajan con datos extensos.

A medida que las empresas escalan su uso de modelos de Amazon Bedrock para el procesamiento de grandes volúmenes de datos, se vuelve esencial implementar prácticas efectivas de monitoreo y gestión de trabajos de inferencia por lotes. Para ello, se ha desarrollado una solución que utiliza servicios sin servidor de AWS, como Lambda, DynamoDB y EventBridge. Esta implementación no solo reduce la carga operativa, sino que también garantiza un procesamiento confiable de las cargas de trabajo a gran escala.

Imaginemos el caso de una empresa de servicios financieros que gestiona millones de interacciones con clientes y datos, incluyendo historiales de crédito y patrones de gasto. Esta empresa ha identificado la oportunidad de utilizar capacidades avanzadas de IA para ofrecer recomendaciones personalizadas de productos. Sin embargo, procesar estos enormes conjuntos de datos en tiempo real no siempre es necesario.

La arquitectura propuesta utiliza la inferencia por lotes en Amazon Bedrock, comenzando con la carga de datos de crédito y productos en un bucket de Amazon S3. Un primer conjunto de funciones de Lambda se encarga de crear archivos JSONL con los datos relevantes para la inferencia. Posteriormente, se activa un trabajo de inferencia por lotes en Bedrock. Un sistema de monitoreo automatizado, a través de EventBridge, garantiza que cualquier cambio en el estado del trabajo desencadene acciones adecuadas, como el registro del estado del trabajo en DynamoDB.

Entre los beneficios de esta solución automatizada se encuentran una visibilidad en tiempo real, operaciones simplificadas y una mejor asignación de recursos, lo que contribuye a la eficacia en el uso de capacidades de inferencia por lotes.

Para implementar esta solución, es necesario contar con una cuenta activa de AWS, así como permisos adecuados para crear recursos, acceder a modelos y desplegar en una región compatible con la inferencia por lotes. La implementación se apoya en una plantilla de AWS CloudFormation que facilita despliegues repetibles, permitiendo a las empresas aprovechar al máximo esta innovadora funcionalidad.

La solución propone buenas prácticas para optimizar el monitoreo de operaciones, como la configuración de alarmas de CloudWatch para trabajos fallidos y el uso de métricas personalizadas para tener una mayor visibilidad sobre el rendimiento de los trabajos de inferencia.

Finalmente, el costo estimado por ejecutar esta solución es de menos de un dólar, si se considera el uso del modelo Claude 3.5 de Anthropic. Esta propuesta no solo mejora la capacidad para procesar grandes volúmenes de datos financieros, sino que también abre la puerta a una variedad de aplicaciones, como la identificación de patrones de fraude y el análisis de tendencias financieras, manteniendo siempre una visibilidad operativa en tiempo real.
vía: AWS machine learning blog