Nico Finelli, miembro fundador de Vellum, ha compartido valiosas reflexiones sobre el estado actual de la inteligencia artificial (IA) en el proceso de producción, centrándose en la construcción de agentes de IA que realmente generen valor. Tras su experiencia en machine learning y LLMs, Finelli ha consultado a empresas de Fortune 500 y está ahora dedicado a ayudar a otras organizaciones a pasar de la experimentación a la implementación efectiva de estas tecnologías.
En una reciente encuesta realizada con más de 1,200 desarrolladores de IA, el hallazgo más notable reveló que solo el 25% de los participantes afirma estar utilizando sus iniciativas de IA en producción. A pesar del bombo mediático en torno a la IA generativa, muchas organizaciones aún enfrentan desafíos significativos durante la etapa de prueba. Uno de los principales obstículos identificados es el fenómeno de las «alucinaciones» en los modelos de IA, problema que más del 57% de los encuestados considera su mayor desafío.
La evaluación se presenta como un aspecto crucial que puede determinar el éxito o el fracaso de un sistema de IA. Finelli señala que muchos equipos que sufren de alucinaciones tienden a depender de pruebas manuales y retroalimentación de usuarios como sus principales métodos de evaluación, lo que señala una carencia en procesos robustos para asegurar una implementación adecuada. La mayoría de los negocios aún no cuentan con tuberías de pruebas automatizadas, dificultando la resolución de estos problemas, ya que las aplicaciones de IA suelen ser muy específicas.
Las empresas que logran llevar su IA a producción suelen mantener un enfoque disciplinado y bien definido desde el inicio. En lugar de seguir tendencias, priorizan el desarrollo de casos de uso claros y la inclusión de feedback constante entre desarrolladores y expertos en la materia, lo que les permite iterar rápidamente. Según Finelli, alrededor del 65-70% de los clientes de Vellum tienen IA en producción, y esto se debe en gran medida a su rápida capacidad de ajuste y evaluación continua de sus sistemas.
En conclusión, la implementación exitosa de agentes de IA no solo depende de la tecnología, sino también de la estructura y el enfoque que se adopte en el proceso de desarrollo. La evaluación efectiva es la clave para transformar la IA de un mero concepto a una herramienta útil y duradera en el ámbito empresarial.
vía: AI Accelerator Institute
