PowerSchool, proveedor líder de software en la nube para la educación K-12, ha lanzado PowerBuddy™, un asistente de inteligencia artificial diseñado para brindar apoyo a más de 60 millones de estudiantes en más de 90 países. Este innovador asistente se integra en diversas plataformas educativas, facilitando la interacción entre estudiantes y sus redes de apoyo. Sin embargo, uno de los mayores retos asociados con PowerBuddy ha sido la implementación de un sistema de filtrado de contenido que garantice la seguridad de los estudiantes, particularmente en entornos educativos donde muchos usuarios son menores de edad.
Con el objetivo de proteger a los estudiantes de contenidos nocivos, PowerSchool ha desarrollado una solución personalizada de filtrado de contenido mediante Amazon SageMaker AI. Este sistema fue diseñado no solo para identificar y bloquear contenido perjudicial, como el acoso escolar o el discurso de odio, sino también para no interferir en las discusiones académicas legítimas, lo cual es especialmente crítico en la enseñanza de temas sensibles. Así, garantizar que un examen histórico no sea marcado erróneamente como contenido violento se convierte en una prioridad.
La solución incluye un conjunto robusto de características, desde la preparación de datos hasta la arquitectura de inferencia. Utilizando técnicas de adaptación de bajo rango (LoRA), el equipo ajustó el modelo Llama 3.1 8B para que pudiera operar con precisión en este contexto específico. Tras implementar el sistema, las pruebas demostraron un 93% de precisión en la identificación de contenidos dañinos y un false positive rate inferior al 3.75%, lo que representa un avance significativo respecto a soluciones genéricas.
La implementación de este sistema personalizado ha demostrado no solo ser más efectiva que las alternativas existentes, sino que ha logrado mejorar la confianza en la utilización de herramientas de inteligencia artificial en las aulas. La recolección continua de retroalimentación y las pruebas A/B han permitido realizar ajustes en tiempo real para mantener y mejorar la eficacia del filtrado de contenido.
A medida que PowerBuddy se integra en otros productos de PowerSchool, la compañía tiene planes de adaptaciones futuras del modelo de filtrado de contenido, buscando un equilibrio entre la innovación educativa y la seguridad del estudiante. La meta es construir un entorno de aprendizaje seguro y accesible que empodere a los estudiantes a aprender sin riesgo de exposición a contenidos dañinos.
vía: AWS machine learning blog
