La construcción de un stack de inteligencia artificial agentiva se asemeja a edificar un rascacielos en medio de un terremoto. En un entorno donde las GPU evolucionan, los marcos se actualizan y los modelos mejoran constantemente, la integración de estas nuevas tecnologías con sistemas existentes se convierte en un verdadero desafío. Esta situación requiere una atención especial a las bases fundamentales que no cambian, las cuales resultan esenciales para el éxito de cualquier proyecto en este ámbito.

Recientemente, se compartió la experiencia de construir un stack agentivo para StartUp Play, un servicio de agregación de plataformas OTT. Este caso expone de manera efectiva lo que funciona, lo que no, y lo que se debe tener en cuenta al entrar en este campo.

En la evolución empresarial, hemos pasado de arquitecturas monolíticas, que aún utilizan grandes compañías como Prime Video, a un entorno de microservicios y, más recientemente, a arquitecturas orientadas a eventos y sin servidor. Hoy en día, la era de la inteligencia artificial nativa nos exige incorporar capacidades de razonamiento y modelos de lenguaje a gran escala, haciendo de la integración el desafío más significativo.

El desarrollo de un stack agentivo se compone de distintas capas que no se pueden omitir. Se comienza con las interfaces API, seguido por la capa de orquestación, los modelos de lenguaje, y finalmente las capas de memoria y contexto. La acción se lleva a cabo mediante herramientas y APIs que permiten que los agentes interactúen en el mundo real, siempre bajo un estricto control de manejo y gobernanza de datos.

Un punto crucial a considerar es que los microservicios deben ser sin estado, almacenando la información de estado en soluciones como Kafka o Redis para permitir la escalabilidad. De hecho, una de las metas alcanzadas en este contexto fue desarrollar un sistema capaz de soportar un millón de transacciones por segundo, resaltando la necesidad de una arquitectura bien pensada desde el inicio.

A través de la experiencia acumulada, se han identificado cinco enfoques diferentes para construir un stack agentivo, que van desde la utilización de sistemas empresariales existentes hasta la implementación de sandboxes para agentes. Cada uno de estos caminos ofrece diferentes ventajas, desde la eficiencia en el uso de tokens hasta la estandarización de herramientas.

Los casos de uso desarrollados para la plataforma OTT enfatizan la importancia de la flexibilidad arquitectónica. Se implementaron modelos para mejoras en metadata, recomendaciones y monitoreo de calidad de experiencia, haciendo hincapié en que, aunque los modelos y marcos cambian, la data y las percepciones de usuario recabadas son valiosas a largo plazo.

La gestión de datos juega un rol crucial, pues debe estructurarse en tres niveles: datos de sesión, de múltiples sesiones y datos a largo plazo, asegurando que cada pieza de información sea capturada y orquestada adecuadamente. Esto resulta fundamental para establecer una base sólida que soporte futuras implementaciones.

El dilema de construir versus comprar también se presenta como un aspecto estratégico. Se deben identificar qué componentes deben ser desarrollados internamente y cuáles se pueden adoptar de la vasta oferta de soluciones existentes en el mercado. Desde modelos de lenguaje hasta infraestructura de bases de datos, cada decisión influye en la eficacia y competitividad de la organización.

Por último, se establece la necesidad de integrar touchpoints de manera modular y reemplazable para adaptarse fácilmente a cambios en modelos y plataformas, asegurando la sostenibilidad del sistema a largo plazo. En un mundo donde la tecnología avanza de forma constante, construir un stack que capture y aproveche el valor de la data generada se vuelve indispensable.

La construcción de un stack agentivo puede ser desafiante, pero representa una gran oportunidad para las empresas dispuestas a adaptarse y evolucionar. Al final, el valor que se crea y los problemas que se resuelven son activos que permanecerán, sin importar la tecnología utilizada.
vía: AI Accelerator Institute