Fiddler AI, una empresa pionera en observabilidad de inteligencia artificial (IA) y seguridad para modelos de lenguaje de gran tamaño (LLM) y operaciones de aprendizaje automático (MLOps), tiene como misión hacer del mundo un lugar mejor. Recientemente, en el Generative AI Summit en Washington D.C., tuve la oportunidad de conversar con Nick Nolan, gerente de ingeniería de soluciones en Fiddler AI, para explorar cómo están trabajando en pro de esta misión.

Fiddler AI se enfoca en construir confianza en los sistemas de IA, abordando dos áreas clave: ayudar a los equipos de IA en las empresas a desarrollar aplicaciones de IA responsables y garantizar que las personas que interactúan con estas tecnologías reciban respuestas justas, seguras y confiables. Con el avance de la IA, especialmente en la generación de contenido, se espera la introducción de más políticas que regulen la gobernanza, el riesgo y el cumplimiento, con el fin de reforzar la supervisión de los sistemas de IA y proteger a los consumidores de resultados dañinos o sesgados.

El objetivo de Fiddler es guiar a las empresas en el uso responsable de la IA desde el inicio hasta la madurez de sus prácticas. Para ello, la compañía se centra en tres áreas clave: monitoreo, seguridad y gobernanza. Gracias a su plataforma de observabilidad, Fiddler permite a las empresas monitorear un conjunto integral de métricas de LLM y ML, generando alertas cuando estas métricas caen por debajo de un umbral específico. Además, ofrecen evidencia de auditoría que es crucial para cumplir con los requisitos regulatorios.

A medida que las empresas adoptan rápidamente los LLM, se enfrentan a desafíos únicos, como la necesidad de monitorear estos modelos en entornos reales. La plataforma de Fiddler aborda este problema con su servicio de confianza y la solución Guardrails, que proporciona tiempos de respuesta de menos de 100 milisegundos y puede implementarse de manera segura en los entornos de los clientes.

En cuanto a prácticas responsables de IA, el enfoque de Fiddler consiste en monitorear continuamente los modelos en busca de sesgos y problemas de equidad, ofreciendo alertas en tiempo real cuando se detectan comportamientos sesgados. Su plataforma también genera evidencia de auditoría automáticamente para facilitar el cumplimiento de normas regulatorias.

Un ejemplo destacado del impacto positivo de Fiddler es su colaboración con Integral Ad Science (IAS), donde su plataforma ayudó a mejorar la supervisión de los modelos de aprendizaje automático y facilitar el cumplimiento regulatorio. Esta colaboración resultó en una reducción de costos de monitoreo y una mejora significativa en la velocidad de lanzamiento de productos.

Con la creciente atención hacia la privacidad de los datos, Fiddler ha implementado un marco de seguridad robusto que asegura que su plataforma de observabilidad esté alineada con las regulaciones de protección de datos. La empresa se compromete a garantizar que todas las interacciones y los datos manejados entren en las leyes de privacidad vigentes y los estándares industriales.

De cara al futuro, Fiddler AI planea expandir su liderazgo en el ámbito de la observabilidad de IA, enfocándose en desarrollar capacidades avanzadas y recursos educativos que faciliten la gobernanza efectiva de IA. La compañía tiene como objetivo ayudar a las empresas a implementar modelos de IA que no solo generen valor comercial, sino que también sean responsables y equitativos para todos.
vía: AI Accelerator Institute