Las organizaciones están cada vez más interesadas en la generación aumentada por recuperación (RAG) y, en este contexto, los «vectores de embeddings» se han vuelto cruciales. Sin embargo, al escalar, enfrentan desafíos significativos en términos de costos. A medida que las bases de conocimiento crecen, requieren embeddings más granulares. Muchos de los sistemas de bases de datos de vectores, que dependen de almacenamiento de alto rendimiento como los SSD o soluciones en memoria, pueden resultar prohibitivos. Esta barrera de costos a menudo obliga a las organizaciones a limitar el alcance de sus aplicaciones RAG o a comprometer la calidad de sus representaciones vectoriales.
Desde el 15 de julio, los clientes de Amazon Bedrock Knowledge Bases tienen la opción de utilizar Amazon S3 Vectors (en fase de vista previa). Esta es la primera solución de almacenamiento de objetos en la nube que ofrece soporte para almacenar y consultar vectores a bajo costo. Los usuarios de Amazon Bedrock pueden reducir los costos de carga, almacenamiento y consulta de vectores en un 90%. Diseñado para el almacenamiento duradero y rentable de grandes conjuntos de datos vectoriales, S3 Vectors es ideal para aplicaciones RAG que requieren almacenamiento a largo plazo y pueden tolerar un menor rendimiento en comparación con las bases de datos vectoriales de baja latencia.
La integración de Amazon S3 Vectors con Amazon Bedrock Knowledge Bases facilita la construcción de aplicaciones RAG más económicas, manteniendo la calidad en la búsqueda semántica. Este nuevo enfoque permite a las empresas escalar sus bases de conocimiento para manejar millones de documentos sin el sobrecosto de administrar infracastructuras complejas.
El proceso de integración con Amazon S3 Vectors es accesible y se compone de varios pasos, desde la creación de la base de conocimiento hasta la prueba de sus capacidades de recuperación. La opción de creación rápida de un nuevo almacén de vectores simplifica la gestión y optimiza los costos de almacenamiento.
Adicionalmente, S3 Vectors permite configurar la fuente de datos con un enfoque sencillo para procesar documentos e incluir metadatos que pueden ser utilizados para refinar consultas. Esto resalta la importancia de elegir correctamente las opciones de procesamiento y fragmentación que se ajusten a la estructura y necesidades de recuperación del contenido.
La posibilidad de validar la funcionalidad de la base de conocimiento a través de una interfaz de prueba incorporada permite a los usuarios experimentar con diferentes tipos de consultas y obtener información relevante de manera efectiva. Finalmente, con la alternativa de crear una base de conocimiento de manera programática utilizando el AWS SDK, las organizaciones tienen una flexibilidad aún mayor para integrar esta innovación en sus flujos de trabajo existentes.
La implementación de Amazon Bedrock Knowledge Bases junto con Amazon S3 Vectors representa un avance significativo para que las aplicaciones RAG sean más accesibles y económicamente viables, permitiendo a las organizaciones centrarse en el valor que pueden crear a través de aplicaciones impulsadas por inteligencia artificial.
vía: AWS machine learning blog
