PolyAI mise sur un modèle audio pour gérer les appels en direct

PolyAI a présenté Dialog-RSN-1, un modèle de dialogue qui lit l’audio de l’appelant directement, sans passer d’abord par une transcription complète. La société dit l’utiliser déjà en production pour des appels en direct, avec une cible claire : les entreprises qui gèrent beaucoup d’appels, comme la restauration, l’assurance ou les services financiers. Le sujet compte car il touche à la fois la qualité des réponses, la latence et le contrôle de la voix, trois points qui font ou défont un agent vocal.

Un modèle audio, mais pas une boîte noire totale

Dialog-RSN-1 fusionne, dans un seul modèle natif audio, la prise de tour, la reconnaissance vocale, l’appel de fonctions et la génération de réponse. En revanche, la synthèse vocale reste séparée, ce qui laisse à PolyAI la main sur la voix de sortie. Autrement dit, le modèle comprend l’audio d’entrée, mais ne transforme pas tout le pipeline en un flux unique impossible à régler. C’est plus pragmatique qu’un système “tout-en-un” qui ferait un peu tout, mais avec moins de contrôle.

Le premier token produit par le modèle sert à décider s’il faut parler : EMPTY, ONGOING ou COMPLETE. PolyAI décrit aussi une exécution “request-based”, déclenchée à la demande, plutôt qu’un flux continu qui immobilise un GPU pendant tout l’appel. Dans ce contexte, la société cherche un compromis entre réactivité et coût d’infrastructure, un point très concret pour les opérateurs de centres de contact.

Pourquoi ce choix d’architecture change la donne

PolyAI oppose sa conception à deux familles déjà installées. D’un côté, les systèmes en cascade transmettent au LLM la meilleure hypothèse de l’ASR, mais perdent en chemin les hésitations, l’intonation et l’incertitude de reconnaissance. De l’autre, les modèles speech-to-speech gardent le signal audio, mais intègrent souvent la voix au modèle lui-même, ce qui limite le contrôle de la prononciation et de la sortie.

Dialog-RSN-1 garde l’audio côté entrée, puis confie la génération à un système TTS séparé et paramétrable. PolyAI dit aussi utiliser une VAD à haute sensibilité et quelques temporisations pour décider quand lancer le modèle. La décision de prise de parole est donc aidée par des indices acoustiques, mais tranchée par le modèle avec davantage de contexte. C’est moins glamour qu’un agent “magique”, mais souvent plus robuste en production.

Des gains de latence et de contenu, selon PolyAI

La société annonce des réponses sous 300 millisecondes, une baisse de 37 % de latence chez un assureur et une hausse relative de 11 % du containment dans un groupe de restaurants. Le containment, dans le jargon des centres d’appels, désigne la part des conversations résolues sans transfert vers un humain. PolyAI affirme aussi que Dialog-RSN-1 surpasse les modèles capables de temps réel dans ses propres tests, même si ces résultats viennent de son benchmark interne Dialog-Eval [à vérifier].

Sur la transcription, PolyAI indique que le taux d’erreur de gpt-4o-transcribe est passé de 7,8 % à 6,9 % lorsqu’il reçoit le même contexte, et que Dialog-RSN-1 fait encore mieux. Les chiffres restent à interpréter avec prudence, car ils proviennent d’une évaluation interne. Mais la tendance est claire : plus le modèle voit le contexte audio complet, moins il se contente d’une simple conversion parole-texte.

Une sortie pensée pour les gros volumes, pas pour les bidouilleurs

Le lancement se fait en anglais seulement. Aucun poids ouvert ni API publique n’est proposé à ce stade, et l’accès passe par la plateforme PolyAI. Les clients existants peuvent l’activer dès maintenant ; les nouveaux doivent demander un accès anticipé. Le public visé reste donc celui des grandes entreprises à fort volume d’appels, pas les développeurs en self-serve ni les petites structures qui veulent tester un bot entre deux cafés.

PolyAI dit compter plus de 100 clients enterprise et plus de 2 000 déploiements en production, chiffres associés à sa levée de 86 millions de dollars en série D en décembre 2025 [à vérifier, date incohérente avec le lancement]. L’entreprise cible les restaurants, l’assurance, la finance, la santé, l’hôtellerie, le retail, les télécoms, le voyage et les utilities. Les cas d’usage mentionnés couvrent la réservation, la facturation, l’authentification, le routage d’appels, la gestion de commandes et le dépannage.