Dongcha Beating AI News, Microsoft AI a lancé trois modèles audio en une seule fois, à savoir MAI-Transcribe-2-Streaming, MAI-Voice-2.1 et MAI-Voice-2.1-Flash. Le premier est responsable de la conversion de la parole en temps réel en texte, et les deux derniers sont responsables de la génération du texte en parole, principalement pour les agents vocaux à faible latence.
Parmi eux, MAI-Transcribe-2-Streaming peut continuer à produire du texte avant que la personne ait fini de parler, et prend en charge 60 langues et la détection automatique des langues. Les classements de transcription vocale en streaming d'Artificial Analysis montrent qu'elle se classe au premier rang en termes de précision de transcription finale et partielle, avec un taux d'erreur de mot de 2,5 %. Le texte final a été renvoyé environ 0,13 seconde après la détection de la fin de la parole, contre 2,7 % et 0,49 seconde pour Grok Voice Transcribe 2.0.
MAI-Voice-2.1 prend en charge 23 langues, permettant à la même voix de basculer entre différentes langues. La version Flash est conçue pour réduire la latence, avec un temps d'inférence de modèle d'environ 45 ms et un prix de 15 $ par million de caractères ; la version standard dure environ 550 ms et coûte 22 $. Les deux modèles prennent en charge la correspondance vocale avec un court morceau audio de référence.
Cette combinaison résout le problème d’attente qui affecte le plus l’expérience des agents vocaux. Le système peut commencer à transcrire et à raisonner à l'avance lorsque l'utilisateur parle, puis utiliser Flash pour générer rapidement une réponse vocale, sans avoir à attendre la fin d'une phrase complète avant de commencer à travailler.