La inteligencia artificial generativa (GenAI) está transformando diversas industrias al agilizar operaciones y fomentar la innovación. Aunque las interacciones textuales a través de chat con GenAI son populares, su aplicación en el mundo real a menudo depende de datos estructurados para APIs, bases de datos y cargas de trabajo basadas en datos. La integración de datos estructurados también puede mejorar la inteligencia conversacional, brindando salidas más confiables y aplicables. Sin embargo, un desafío clave es la imprevisibilidad inherente de los modelos de lenguaje de gran tamaño (LLMs), lo que complica la producción de salidas estructuradas como JSON de manera consistente.

La dificultad radica en que los datos de entrenamiento de los LLMs se centran mayormente en texto no estructurado, como artículos, libros y sitios web, con pocas muestras de formatos estructurados. Esto provoca que los modelos enfrenten problemas de precisión al generar salidas JSON, crucial para una integración fluida en APIs y bases de datos. La capacidad de los modelos de reconocer tipos de datos y gestionar jerarquías complejas varía significativamente, lo que puede influir en la elección del modelo adecuado.

Para abordar estos desafíos, Amazon Bedrock, un servicio gestionado que proporciona acceso seguro a los mejores modelos de IA, presenta dos alternativas:

1. Ingeniería de prompts: Un enfoque sencillo para generar salidas estructuradas mediante prompts bien elaborados.
2. Uso de herramientas con la API Bedrock Converse: Un método avanzado que permite un mejor control, consistencia e integración nativa de esquemas JSON.

Un ejemplo práctico de análisis de reseñas de clientes ilustra cómo Bedrock genera salidas estructuradas, como puntuaciones de sentimientos, utilizando código Python simplificado.

El proceso de ingeniería de prompts implica pasos clave, como configurar el cliente Bedrock, crear un esquema JSON para las salidas estructuradas, formular un prompt con instrucciones claras, añadir datos de reseñas para analizar e invocar Bedrock para procesar la respuesta.

El uso de la API Converse de Amazon Bedrock, que facilita conversaciones de múltiples turnos con modelos de IA generativa, permite integrar el uso de herramientas. Esta funcionalidad soporta una integración directa del esquema JSON en las definiciones de herramientas, facilitando la alineación de las salidas conforme a los formatos predefinidos.

Pruebas exhaustivas realizadas en los modelos Claude de Anthropic revelaron que todos los modelos alcanzaron más del 93% de éxito en la generación de respuestas estructuradas, siendo el método de uso de herramientas más efectivo que la ingeniería de prompts. Estos resultados se obtuvieron bajo condiciones complejas, demostrando que las actualizaciones futuras de los modelos continuarán mejorando su rendimiento.

En conclusión, se expusieron dos métodos para generar respuestas estructuradas con Amazon Bedrock: ingeniería de prompts y uso de herramientas. Cada enfoque tiene sus ventajas y desventajas, así como diferentes aplicaciones según las necesidades de los usuarios. La incorporación de datos estructurados es esencial para aprovechar al máximo la inteligencia artificial generativa en escenarios del mundo real, como APIs y cargas de trabajo basadas en datos.

vía: AWS machine learning blog