Microsoft ha presentado Mu, su nuevo modelo de lenguaje diseñado para operar de manera eficiente en dispositivos locales, destinado a mejorar la interacción con el agente de Configuración en Windows. Este modelo es capaz de inferir relaciones complejas entre entradas y salidas, brindando un rendimiento sobresaliente al trabajar en dispositivos con Unidad de Procesamiento Neural (NPU).
El modelo Mu se destaca por su capacidad de responder a más de 100 tokens por segundo, haciéndolo ideal para situaciones que requieren respuestas rápidas y precisas. Con una arquitectura de transformador optimizada, Mu utiliza un diseño de codificador-decodificador, lo que permite una menor latencia y un mayor rendimiento en comparativa con modelos solo de decodificación.
Durante su desarrollo, se llevaron a cabo diversas optimizaciones para asegurar su rendimiento en NPUs. Estos incluyen ajustes a la arquitectura del modelo y una distribución optimizada de parámetros, lo que maximiza su eficiencia en operaciones específicas de hardware. Además, Mu implementa técnicas avanzadas de cuantización de modelos, permitiendo que funcione de manera óptima sin comprometer su precisión.
Para la creación del agente en Configuración, Microsoft ha entrenado a Mu con millones de ejemplos, centrando la atención en consultas de lenguaje natural que faciliten cambios en los ajustes del sistema. A lo largo de este proceso, se buscó reducir tiempos de respuesta a menos de 500 milisegundos, un objetivo que Mu ha logrado cumplir con éxito.
Este desarrollo no solo mejora la experiencia del usuario al permitir interacciones más naturales con el sistema operativo, sino que también representa un avance significativo en la capacidad de los modelos de lenguaje para operar en dispositivos de menor potencia. La colaboración con equipos de la ciencia aplicada ha sido crucial en el proceso de refinamiento y optimización del modelo, con un enfoque claro en la retroalimentación de los usuarios para seguir mejorando la experiencia.
vía: Microsoft Windows blog
