Cómo Indeed Desarrolla y Despliega LLMs Personalizados en Amazon SageMaker

0
129
How Indeed builds and deploys fine-tuned LLMs on Amazon SageMaker

Indeed, la plataforma líder mundial en búsqueda de empleo y contratación, ha dado un paso significativo en el uso de inteligencia artificial para mejorar sus servicios. Con más de 350 millones de visitantes únicos mensuales en más de 60 países, la empresa se ha centrado en utilizar modelos de lenguaje de gran tamaño (LLMs) para conectar mejor a los solicitantes de empleo con oportunidades laborales adecuadas.

Recientemente, el equipo de Core AI de Indeed ha recurrido a Amazon SageMaker para abordar varios desafíos de infraestructura y optimizar sus operaciones. Este paso ha permitido una aceleración significativa en la investigación y desarrollo de inteligencia artificial dentro de la empresa.

Indeed enfrenta un desafío significativo: su negocio genera alrededor de 320 terabytes de datos diariamente, lo cual es esencial para conectar descripciones de trabajo, currículums y otras acciones para lograr contrataciones exitosas. Los LLMs presentan una oportunidad clave para mejorar esta interacción entre solicitantes y empleadores al facilitar explicaciones de coincidencias, generación de descripciones de trabajo y guías de carrera, entre otros.

El equipo de Core AI eligió el enfoque de ajuste fino sobre otros métodos debido a su capacidad para incorporar mejor el lenguaje y conocimiento específicos del dominio de recursos humanos de Indeed. A través de Amazon SageMaker, han podido optimizar este proceso, asegurando que los trabajos de ajuste se manejen de manera eficiente y escalable, lo que permite que el equipo se concentre más en el desarrollo y menos en la configuración técnica.

La implementación de Amazon SageMaker ha resultado en varios beneficios destacados para Indeed. La compañía ha logrado optimizar recursos computacionales, simplificar la configuración de trabajos de entrenamiento y escalar sus modelos de manera eficiente. Además, con la introducción de los «componentes de inferencia» de Amazon SageMaker, Indeed ha mejorado la eficiencia del despliegue de múltiples modelos en una única instancia, lo que ha permitido ahorros significativos en costos y recursos.

Desde la integración de estos avances, los modelos de lenguaje diseñados por Core AI han manejado más de 6.5 millones de solicitudes de producción, demostrando la capacidad de la infraestructura para manejar un tráfico dinámico de producción. Con esta estrategia, Indeed no solo ha logrado mejorar su eficiencia, sino también estar al frente de la innovación tecnológica en el sector de recursos humanos.

La colaboración con Amazon SageMaker no solo ha sido beneficiosa para Indeed, sino que también ha permitido a AWS mejorar sus ofertas de inteligencia artificial generativa, lo que potencia la capacidad de transformación para otros clientes de AWS. Este esfuerzo conjunto subraya el potencial transformador de integrar capacidades avanzadas de inteligencia artificial en las operaciones centrales de negocio, impulsando la eficiencia y la innovación.

Indeed ha consolidado así su posición como líder en el uso de la inteligencia artificial en la industria de recursos humanos, optimizando sus procesos de emparejamiento laboral y mejorando la experiencia tanto de empleadores como de postulantes en su plataforma.
vía: AWS machine learning blog