Amazon ha introducido dos nuevas métricas en Amazon CloudWatch para su servicio de inteligencia artificial generativa, Amazon Bedrock, con el objetivo de ofrecer una mejor visibilidad operativa sobre el rendimiento de la inferencia y el consumo de recursos. Estas métricas, denominadas «TimeToFirstToken» y «EstimatedTPMQuotaUsage», permiten a los equipos que manejan aplicaciones sensibles a la latencia y cargas de trabajo de alto rendimiento comprender más eficientemente el tiempo que tardan los modelos en generar respuestas y cómo se consumen las cuotas de tokens.
La medición de la latencia desde que se recibe una solicitud de inferencia hasta que se emite el primer token es vital para aplicaciones como chatbots y asistentes de programación. Anteriormente, los desarrolladores debían implementar instrumentación personalizada en el lado del cliente para obtener esta información, lo que aumentaba la complejidad y podía introducir errores de medición. Las nuevas métricas ahora se generan automáticamente para cada solicitud de inferencia exitosa, sin necesidad de cambios en la API ni costos adicionales.
La métrica «TimeToFirstToken» proporciona la latencia del servidor en milisegundos y es especialmente relevante para aplicaciones de transmisión. Con esta métrica, los usuarios pueden establecer alarmas que notifiquen a los equipos cuando la latencia supere ciertos umbrales, diagnosticar problemas de rendimiento correlacionando esta métrica con otros indicadores y establecer líneas base para el nivel de servicio.
Por otro lado, la métrica «EstimatedTPMQuotaUsage» calcula el consumo estimado de Tokens Por Minuto (TPM) en función de varios factores, incluyendo los multiplicadores de quema de tokens que Amazon Bedrock utiliza para ciertos modelos. Por ejemplo, los modelos de Anthropic aplican un multiplicador de 5x en tokens de salida para fines de cuota, lo que puede causar sorpresas si no se tiene visibilidad sobre ello. Esta métrica permite a los usuarios monitorear y planificar el uso de recursos, evitando situaciones de sobresaturación y asegurando que se mantenga un flujo de trabajo eficiente.
Estas métricas pueden ser utilizadas junto con las métricas existentes en el espacio de nombres AWS/Bedrock, que ya incluyen datos sobre invocaciones y latencias de llamadas. La nueva funcionalidad promete ser un paso adelante en la gestión efectiva de aplicaciones de inteligencia artificial generativa, dando a las organizaciones las herramientas necesarias para mejorar su capacidad de respuesta y capacidad de manejo de recursos. Las métricas están disponibles ahora en el panel de control de CloudWatch y se pueden utilizar de inmediato sin necesidad de ninguna acción adicional por parte de los usuarios.
vía: AWS machine learning blog