Resultados Estructurados con Amazon Nova: Guía para Constructores

Los desarrolladores que construyen aplicaciones de inteligencia artificial enfrentan un desafío común: convertir datos no estructurados en formatos estructurados. La salida estructurada es esencial para la comunicación máquina a máquina, ya que permite que los casos de uso posteriores consuman y procesen de manera más efectiva los resultados generados. Tareas como la extracción de información de documentos, la creación de asistentes que obtienen datos de APIs o el desarrollo de agentes que realizan acciones requieren modelos de base que generen salidas en formatos específicos.

Con el fin de proporcionar fiabilidad en el uso de herramientas para salidas estructuradas, se ha lanzado la técnica de decodificación restringida. Esta innovación permite utilizar modelos de base Amazon Nova para extraer datos según esquemas complejos, reduciendo los errores en el uso de herramientas en más del 95%.

Al implementar salidas estructuradas, se pueden emplear dos enfoques comunes: modificar el aviso del sistema o aprovechar la llamada a herramientas. Por ejemplo, en un caso de soporte al cliente, se podría solicitar que el modelo genere una respuesta en formato JSON, incluyendo su respuesta al usuario y el sentimiento actual. Para ello, el aviso del sistema se modificaría para incluir la estructura esperada.

La otra opción consiste en proporcionar una configuración de herramienta, que implica dar un API, función de código o esquema al modelo a través del esquema de solicitud. Esta técnica es especialmente útil al construir aplicaciones en las que se requieren salidas estructuradas, debido a la posibilidad de definir un esquema específico que el modelo debe seguir.

Ambos enfoques pueden ser efectivos, aunque la salida sigue siendo no determinística, lo que deja margen para errores. En colaboración con los clientes, se ha observado que la precisión del modelo tiende a disminuir a medida que el esquema se vuelve más complejo.

Para abordar esta cuestión, se ha implementado la decodificación restringida, que se basa en una gramática para restringir los posibles tokens que un modelo puede generar en cada paso. Esto difiere de las técnicas de notificación históricamente utilizadas, ya que cambia los mismos tokens de los que el modelo puede seleccionar al generar una salida.

Un paso clave en el uso de salidas estructuradas con los modelos Amazon Nova es la creación de una configuración de herramienta que proporciona una interfaz estándar para definir el esquema de salida esperado. Este proceso es esencial para garantizar que el modelo comprenda cómo deben ser poblados los campos.

Una vez creada la configuración de herramienta, se puede enviar a través de la API Conversar junto con la receta solicitada, que se incluirá en el aviso del usuario. El uso de soporte nativo para herramientas junto con la decodificación restringida permite que el modelo genere un esquema JSON completo y complejo a utilizar en la aplicación.

Esta evolución en la generación de salidas estructuradas con Amazon Nova representa una nueva benficiosa herramienta para los desarrolladores, quienes ahora pueden construir sistemas más confiables de inteligencia artificial.
vía: AWS machine learning blog