En un esfuerzo por revolucionar el proceso de evaluación educativa, EBSCOlearning, una división de EBSCO Information Services, se ha asociado con el AWS Generative AI Innovation Center (GenAIIC) para integrar la inteligencia artificial generativa en la creación de preguntas de evaluación. La finalidad es automatizar y mejorar la calidad de preguntas tipo test, ampliando así su capacidad para generar evaluaciones de alta calidad adecuadas a sus amplios recursos educativos.

El desafío que enfrentaba EBSCOlearning era el desarrollo de preguntas de opción múltiple para su creciente biblioteca de contenido, una tarea que era tradicionalmente lenta y costosa debido a la necesidad de garantizar que cada pregunta fuera relevante y precisa, alineándose con los objetivos de aprendizaje. Con la ayuda de tecnología avanzada como Amazon Bedrock, el equipo buscó crear un sistema automatizado capaz de producir preguntas que cumplieran con rigurosos estándares de calidad, como claridad, relevancia, y equidad, además de fomentar la diversidad, la equidad y la inclusión.

Para abordar este desafío, la colaboración con GenAIIC resultó esencial. A través del uso de modelos de lenguaje grande como el Claude 3.5 Sonnet de Anthropic, se diseñó un sistema de generación y evaluación de preguntas que no solo cumple con los estándares de precisión y relevancia, sino que también proporciona explicaciones detalladas sobre por qué cada respuesta es correcta o incorrecta. Esta solución se adapta a una variedad de tipos de contenido, desde resúmenes de libros hasta transcripciones de videos.

El desarrollo del sistema implicó la creación de una tubería sofisticada que incluye la generación de preguntas y respuestas, evaluaciones multifacéticas, y revisiones inteligentes. Este enfoque permite realizar múltiples iteraciones sobre el contenido generado para asegurar que cada pregunta cumpla con los criterios de calidad antes de ser aprobada, teniendo un proceso de revisión para aquellas que no cumplan los estándares, lo que refuerza la creación de productos educativos sólidos y confiables. Además, se ha implementado un sistema de seguimiento de cambios que permite monitorear la evolución de cada pregunta, lo que facilita la mejora continua del modelo de IA.

El impacto de esta innovación ha sido notable, logrando reducir significativamente el tiempo y costo de creación de evaluaciones y manteniendo una calidad constante a través de diferentes temas y tipos de contenido. Así, EBSCOlearning ha alcanzado una consistencia en la calidad que, en muchos casos, puede incluso superar la de los productos generados de manera manual.

Desde el lanzamiento de este sistema, el feedback por parte de los expertos en contenido de EBSCOlearning ha sido muy positivo, destacando que el sistema ha permitido escalabilidad al igualar la producción con el crecimiento de su biblioteca de contenido. Estas mejoras no solo benefician al proveedor de contenido, sino también a los usuarios finales, proporcionándoles experiencias de aprendizaje más inclusivas y comprometedoras.

De cara al futuro, EBSCOlearning tiene planes de ampliar las capacidades de este sistema para atender contenido cada vez más complejo y explorar la personalización de evaluaciones según los perfiles de los estudiantes. El éxito de este proyecto es un claro ejemplo de cómo la inteligencia artificial puede ser utilizada para crear experiencias de aprendizaje más eficientes y efectivas, marcando un camino hacia una nueva era en el desarrollo de evaluaciones educativas y profesionales.
vía: AWS machine learning blog