
MADRID, 24 (Portaltic/EP)
Microsoft ha presentado su nuevo modelo de lenguaje pequeño Mu, diseñado para ejecutarse de forma local en dispositivos con un alto rendimiento al descargarse en la Unidad de Procesamiento Neuronal (NPU) y responder a más de cien tokens por segundo, lo que permite, en el caso de Windows 11, impulsar el agente de Configuración.
La tecnológica introdujo el pasado mes de mayo un agente de Inteligencia Artificial (IA) en Windows para ayudar a los usuarios con ordenadores Copilot+ a resolver sus dudas y problemas de configuración, ofreciendo explicaciones de las cuestiones que se quieren solucionar o facilitando los ajustes o cambios que quieren realizar, con descripciones de texto.
Ahora, Microsoft ha presentado el modelo de lenguaje que impulsa este agente de Configuración, al que se refiere como Mu, y que ha sido diseñado con un tamaño pequeño para ser ejecutado de forma local en dispositivos.
En concreto, este modelo "micrométrico", basado en Phi Silica, se descarga completamente en la NPU del ordenador y es capaz de responder a más de cien tokens por segundo, lo que permite satisfacer los requisitos de experiencia de usuario (UX) del agente de Configuración, tal y como ha explicado la compañía en un comunicado en su blog.
Asimismo, Microsoft ha detallado que este modelo destaca por abordar acciones que requieren "inferir relaciones complejas de entrada-salida" de forma eficiente. Por tanto, a la hora de impulsar el agente de Configuración, asigna las consultas de entrada de lenguaje natural que escriben los usuarios, a llamadas de función de Configuración.
Para llevar a cabo estas tareas, Mu ha sido entrenado con 330 millones de parámetros y, según ha matizado la compañía, ofrece un rendimiento similar a su modelo Phi-3.5, a pesar de que cuenta con una décima parte del tamaño. Con ello, permite ofrecer respuestas eficientes con una alta velocidad, manejando "decenas de miles de longitudes de contexto de entrada y más de cien tokens de salida por segundo".
La velocidad en las respuestas se debe, en parte, a su estructura eficiente, que actúa como "codificador-decodificador transformador". Así, el codificador convierte la entrada de texto en una representación latente de longitud fija y, tras ello, el decodificador genera tokens de salida basados en dicha representación.
En este sentido, Microsoft ha indicado que al separar los tokens de entrada de los de salida, reduce la sobrecarga de computación y de memoria, por tanto, ofrece un mayor rendimiento en 'hardware' especializado. Todo ello, adaptado a las "limitaciones y capacidades" de las NPU.
Además de todo ello, Mu ha sido entrenado con "cientos de miles de millones" de tokens con datos educativos, para aprender sobre sintaxis, gramática, semántica y conocimiento del lenguaje. Igualmente, también se utilizó la técnica de destilación con los modelos Phi de Microsoft.
"Al combinar técnicas de cuantificación de vanguardia con optimizaciones específicas del hardware, garantizamos la alta eficacia de Mu en implementaciones reales en aplicaciones con recursos limitados", ha sentenciado Microsoft.
Con todo, Mu ha sido optimizado para implementarse a pequeña escala, especialmente en las NPU de los ordenadores portátiles Copilot+ con Windows 11. Por el momento, está disponible en el agente de Configuración para los usuarios del programa Windows Insider.
|