Amazon ha anunciado la disponibilidad general de Amazon Bedrock Intelligent Prompt Routing, una nueva herramienta diseñada para mejorar la eficiencia en la solicitud y respuesta de modelos de lenguaje. Esta funcionalidad, que ya estuvo en vista previa desde diciembre, permite el enrutamiento inteligente de solicitudes entre diversos modelos dentro de la misma familia, optimizando tanto el costo como la calidad de las respuestas.
La innovación de Amazon Bedrock Intelligent Prompt Routing se basa en la capacidad de predecir dinámicamente la calidad de la respuesta de diferentes modelos a una solicitud específica, dirigiendo la petición al modelo que resulta más apropiado según la relación costo-calidad de respuesta. Esto representa un avance significativo para la implementación de aplicaciones de inteligencia artificial generativa, permitiendo a los usuarios establecer un enrutamiento automático y óptimo entre grandes modelos de lenguaje.
En su versión general, la herramienta ha incorporado mejoras sustanciales basadas en la retroalimentación de los usuarios y pruebas internas exhaustivas. Los usuarios pueden optar por utilizar los enrutadores de prompts predeterminados proporcionados por Amazon Bedrock o configuraciones personalizadas que les permitan ajustar el rendimiento de acuerdo a sus necesidades específicas. Los enrutadores predeterminados simplifican el proceso de implementación, brindando soluciones listas para usar que requieren mínima configuración.
Amazon ha ampliado la lista de familias de modelos disponibles, incluyendo opciones de los modelos Nova, Anthropic y Meta, con nombres destacados como Claude y Llama. En esta nueva fase, los usuarios también pueden crear sus propios enrutadores personalizados, eligiendo específicamente qué modelos utilizar y cómo querer enrutarlos.
Se ha conseguido reducir el tiempo de sobrecarga de los componentes añadidos a las solicitudes en más del 20%, logrando un rendimiento de aproximadamente 85 milisegundos en el percentil 90. Este avance se traduce en beneficios tangibles respecto a la latencia y el costo, al priorizar el uso de modelos menos costosos sin sacrificar la precisión de la tarea a realizar.
Las pruebas internas realizadas han permitido monitorear métricas como el rendimiento del sistema de enrutamiento bajo las restricciones de costo y el ahorro generado al utilizar Amazon Bedrock Intelligent Prompt Routing en comparación con el uso de modelos más costosos. Los resultados muestran que los ahorros promedios pueden ser significativos, llegando al 60% para ciertas configuraciones de familia de modelos.
A medida que los usuarios adopten esta herramienta, se recomienda realizar pruebas en sus casos de uso específicos para comprender mejor los beneficios. Las investigaciones muestran que la efectividad puede variar según el tipo de tarea y los modelos elegidos, lo que resalta la importancia de la experimentación en la implementación de soluciones de inteligencia artificial.
Amazon ha puesto a disposición una serie de recursos y guías, tanto a través de la consola de gestión de AWS como mediante la interfaz de línea de comandos o API, para facilitar el proceso de configuración y uso del enrutador de prompts, alentando a los desarrolladores y empresas a aprovechar al máximo esta innovadora herramienta en sus aplicaciones de inteligencia artificial generativa.
vía: AWS machine learning blog
