AWS ajoute le routage régional et l’audio natif à SageMaker
Amazon Web Services a ajouté trois briques à SageMaker AI le 19 novembre 2026 : déploiement guidé pour un modèle audio, routage interrégions et monitoring par défaut. Les usages gagnent en continuité, mais la charge d’exploitation reste côté client.
Amazon Web Services a étoffé SageMaker AI le 19 novembre 2026 avec trois nouveautés qui visent la production, pas la démonstration : l’arrivée de Dialog-RSN-1 de PolyAI dans JumpStart, le routage d’inférence interrégions et un monitoring par défaut pour certains endpoints génératifs. Ensemble, ces ajouts réduisent une partie du travail d’intégration, mais laissent aux clients la téléphonie, la synthèse vocale, la reprise de session et une partie du contrôle opérationnel.
Déployer plus vite ne veut pas dire tout déléguer
Dialog-RSN-1, le modèle audio de PolyAI, rejoint le catalogue Amazon SageMaker JumpStart avec déploiement en un clic, outils d’évaluation et quatre profils d’optimisation. Depuis la console SageMaker AI, un utilisateur peut choisir le modèle puis lancer un endpoint temps réel sur une pile d’exécution préconfigurée, sans sélectionner manuellement un conteneur ni comparer à la main des dizaines de combinaisons d’infrastructure.
Le modèle lui-même traite l’audio du client, combine reconnaissance vocale, génération de réponse, gestion du tour de parole et appel de fonctions. PolyAI affirme que ce traitement direct préserve le ton, les hésitations et le timing qu’une chaîne plus classique peut lisser après transcription. En revanche, le service renvoie du texte ou un appel de fonction, pas de la voix synthétique : chaque déploiement doit donc ajouter sa propre couche text-to-speech. Le robot parle, mais il ne chante pas encore.
Avant le déploiement, la fiche du modèle affiche notamment la latence p50, le temps jusqu’au premier token et le débit. Les profils proposés privilégient soit la latence, soit le débit, soit le coût, soit un équilibre général. L’intérêt est simple : adapter la configuration au volume d’appels et aux contraintes de réponse, plutôt que d’appliquer un réglage unique à tous les usages.
Le routage interrégions règle la panne, pas la capacité magique
Le même 19 novembre 2026, AWS a rendu généralement disponible le routage d’inférence interrégions dans SageMaker AI. L’idée est de diriger une requête vers une capacité existante dans une autre région AWS ou dans un autre compte quand la capacité locale manque, sans obliger les équipes à reconstruire leur propre mécanisme de failover, de détection de panne et de reprise.
Le routeur choisit des destinations déjà déployées : il ne crée ni capacité ni endpoint. Quand une région ne peut plus ajouter l’instance demandée, les requêtes peuvent quand même être servies ailleurs, mais seulement si une cible existe déjà. Les clients gardent donc la responsabilité de positionner la capacité, ce qui est moins romantique qu’un « failover automatique », mais plus réaliste.
AWS précise que les décisions reposent sur un score de santé calculé à partir des requêtes récentes. Les erreurs serveur, les throttles et les timeouts font baisser le score, tandis que la latence du modèle n’entre pas dans l’évaluation. Une instance peut donc rester dans le jeu tant qu’elle répond correctement, même si elle répond lentement. Le routeur applique aussi des règles de retour progressif du trafic après récupération, sans laisser les clients régler les seuils, les poids ou l’ordre de bascule.
Pour les endpoints temps réel, le comportement de retry reste encadré : une seconde tentative n’est lancée que si le modèle n’a pas démarré, par exemple après throttling, erreur 503 ou refus de capacité. Les erreurs de timeout ou les erreurs du modèle ne sont pas rejouées. Côté gouvernance, AWS expose le destinataire servi, les raisons de routage et des métriques OpenTelemetry dans CloudWatch.
Ce que le routeur change pour les équipes d’exploitation
Le service déplace une partie de l’ingénierie de bascule dans SageMaker AI, mais pas la facture ni la stratégie de capacité. AWS ne facture pas le routage en plus, toutefois les clients paient les tarifs standards des endpoints et les métriques CloudWatch. Et si une région doit rester prête à reprendre le trafic, il faut y maintenir de la capacité disponible. La haute disponibilité reste rarement gratuite, même quand elle a un joli nom produit.
Les limites techniques comptent aussi. Le routeur ne prend pas en charge le streaming de réponse, limite les requêtes temps réel à environ une minute pour obtenir une réponse de destination et accepte jusqu’à 6 Mo par requête. Chaque routeur peut gérer jusqu’à 20 cibles de routage, avec jusqu’à 10 destinations par cible. AWS recommande en outre de prévoir un routeur dans deux régions et de basculer côté client si l’entrée principale doit survivre à une panne régionale.
Le monitoring par défaut vise les dérives, pas les surprises
AWS a aussi activé un monitoring par défaut pour certains endpoints d’inférence générative SageMaker AI compatibles avec les conteneurs vLLM et des instances GPU. Ce suivi repose sur AWS Health et cible les dérives progressives : latence qui augmente, GPU sous-utilisés, optimisations de service manquantes ou configurations devenues sous-optimales après le déploiement.
Les alertes ne s’appuient pas sur le contenu des requêtes ou des réponses, mais sur les métriques d’endpoint, l’usage GPU et la configuration de service. En cas de dérive, AWS Health envoie une notification qui ouvre dans SageMaker Studio un flux agentique prérempli avec l’endpoint concerné. L’utilisateur peut alors lancer un notebook SageMaker Python SDK qui compare la configuration actuelle à des alternatives sur du matériel séparé, avant toute modification en production.
Les recommandations portent notamment sur le parallélisme tensoriel, le choix d’instance ou la taille, le speculative decoding, les kernels GPU ou une version plus récente du conteneur. Les exemples donnés par AWS restent illustratifs : l’un évoque un temps médian jusqu’au premier token en hausse d’environ 200 millisecondes sur une semaine, un autre un GPU dont l’occupation reste à 12 % ou moins pendant la majeure partie de la semaine. Les seuils ne sont pas à définir à l’avance, puisque le système compare d’abord à l’historique récent.
Points clés
- 19 novembre 2026 : trois annonces AWS autour de SageMaker AI.
- PolyAI Dialog-RSN-1 arrive dans JumpStart avec déploiement guidé.
- Le routage interrégions reste limité à des cibles déjà actives.
- Le monitoring par défaut vise les dérives de latence et de GPU.
- Les clients gardent téléphonie, voix et logique métier.
- AWS ne facture pas le routage, mais facture l’infrastructure.
En chiffres
- 30 minutes — durée maximale d’une connexion temps réel avant coupure, selon AWS.
- 32 000 tokens — fenêtre de contexte du modèle Dialog-RSN-1.
- 45 $/heure — tarif horaire sur ml.p4d.24xlarge pour l’inférence temps réel.
- 110 $/heure — tarif horaire sur ml.p5.48xlarge pour l’inférence temps réel.
- 20 — nombre maximal de cibles de routage par routeur.