El uso de la inferencia de inteligencia artificial generativa ha ido en aumento, con más organizaciones construyendo cargas de trabajo operativas que aprovechan las capacidades de IA a gran escala. Para ayudar a los clientes a lograr la escala de sus aplicaciones de IA generativa, Amazon Bedrock presenta perfiles de inferencia de cross-Region (CRIS), una herramienta potente que permite distribuir la inferencia a través de múltiples regiones de AWS de manera transparente. Esta capacidad no solo mejora el rendimiento de las aplicaciones, sino que también las mantiene receptivas y confiables incluso bajo alta carga.
Los perfiles de inferencia operan bajo dos conceptos clave: la región de origen, de donde se origina la solicitud de API, y la región de destino, a la que Amazon Bedrock puede dirigir la solicitud para la inferencia. Al invocar un perfil de inferencia cross-Region en Amazon Bedrock, la solicitud sigue una ruta de enrutamiento inteligente que asegura un procesamiento eficiente.
Una característica notable de CRIS es que no se almacena información del cliente en la región de destino; todos los datos, incluidos logs y configuraciones, permanecen exclusivamente en la región de origen. La solicitud de inferencia viaja a través de la red global de AWS, manteniendo un cifrado de extremo a extremo para los datos en tránsito.
Amazon Bedrock ofrece dos tipos de perfiles de inferencia cross-Region: la inferencia geográfica, que selecciona automáticamente la región óptima dentro de un área geográfica definida, y la inferencia global, que permite el enrutamiento de solicitudes a todas las regiones comerciales soportadas a nivel internacional, maximizando así la utilización de recursos y el rendimiento del modelo.
Sin embargo, las organizaciones que tienen requisitos estrictos de residencia de datos o de cumplimiento deben evaluar si la inferencia cross-Region se alinea con sus políticas. Es crucial considerar los requerimientos de permisos de gestión de identidad y políticas de control de servicios para garantizar un acceso seguro y controlado a los recursos de Amazon Bedrock.
Amazon también facilita un monitoreo completo al registrar todas las llamadas cross-Region en la región de origen, lo que permite a las organizaciones auditar y rastrear el uso del servicio de manera efectiva. Estas capacidades son fundamentales para las empresas que buscan una implementación segura y efectiva de inteligencia artificial generativa en sus operaciones.
En resumen, Amazon Bedrock está posicionándose como una solución clave para que las organizaciones construyan aplicaciones escalables y resilientes de IA generativa, combinando innovación con robustez en su infraestructura de seguridad y políticas de cumplimiento.
vía: AWS machine learning blog
