Dongcha Beating AI News, Microsoft AI lanzó tres modelos de audio de una sola vez, a saber, MAI-Transcribe-2-Streaming, MAI-Voice-2.1 y MAI-Voice-2.1-Flash. El primero es responsable de convertir voz en tiempo real en texto, y los dos últimos son responsables de generar texto en voz, principalmente para agentes de voz de baja latencia.
Entre ellos, MAI-Transcribe-2-Streaming puede continuar generando texto antes de que la persona haya terminado de hablar y admite 60 idiomas y detección automática de idioma. Las clasificaciones de transcripción de voz en streaming de Artificial Analysis muestran que ocupa el primer lugar en precisión de transcripción final y primera parcial, con una tasa de error de palabras del 2,5%. El texto final se devolvió aproximadamente 0,13 segundos después de que se detectó el final del discurso, en comparación con el 2,7 % y 0,49 segundos de Grok Voice Transcribe 2.0.
MAI-Voice-2.1 admite 23 idiomas, lo que permite que la misma voz cambie entre diferentes idiomas. La versión Flash está diseñada para reducir la latencia, con un tiempo de inferencia del modelo de aproximadamente 45 ms y un precio de 15 dólares por millón de caracteres; la versión estándar tiene una duración de unos 550 ms y un precio de 22 dólares. Ambos modelos admiten la combinación de voces con una breve pieza de audio de referencia.
Esta combinación resuelve el problema de espera que más afecta la experiencia del agente de voz. El sistema puede comenzar a transcribir y razonar por adelantado cuando el usuario está hablando, y luego usa Flash para generar rápidamente una respuesta de voz, sin tener que esperar a que termine una oración completa antes de comenzar a trabajar.