Granite Switch 4.1 réunit chat, décision et transcription sur un seul endpoint

IBM a présenté le 15 octobre 2026 Granite Switch 4.1, une famille de modèles Granite-Switch-4.1-8B et Granite-Switch-4.1-30B pensée pour faire tenir chat, décisions et transcription audio dans un seul endpoint hébergé. Le principe compte pour les usages entreprise : un même modèle peut répondre à une conversation, arbitrer une tâche de décision et transcrire de la voix sans changer d’interface ni multiplier les GPU. Les cartes modèles indiquent une licence Apache 2.0 et un contexte jusqu’à 128K tokens. Le pari est clair : moins de plomberie, plus de tâches utiles.

Un modèle, trois briques, et moins de serveurs à empiler

Chaque checkpoint assemble un modèle de base, un adapter de décision fondé sur Activated LoRA, un adapter de sûreté guardian-core et l’encodeur Granite Speech 5.0 TurboCTC, un modèle ASR de 470 millions de paramètres dédié à la transcription. IBM affirme que cet assemblage consomme à peu près la même mémoire GPU que le modèle de base seul. Autrement dit, la couche “spécialiste” ne se paie pas au prix fort en infrastructure.

La version 8B et la version 30B sont livrées avec des variantes audio-free de prévisualisation, ainsi qu’avec un bundle complet d’adapters. Les fichiers de modèle mentionnent aussi des backends Transformers et vLLM. Côté compatibilité, la promesse reste classique mais utile : un seul checkpoint, des déploiements plus simples, et moins de bricolage côté MLOps.

Comment Granite Switch change d’outil sans changer de mode d’emploi

Le mécanisme repose sur un switching dit coarse-grained : un adapter reste actif sur une séquence continue de tokens, puis cède la place au suivant. L’appelant passe le nom de l’adapter dans le chat template, qui insère le bon token de contrôle. Une couche légère repère ce token et applique les bons poids LoRA à chaque couche du décodeur.

IBM insiste sur un point technique qui parle aux équipes d’infrastructure : les adapters ne lisent que le cache KV du modèle de base, jamais l’état interne d’un autre adapter. Ils sont développés et publiés séparément, sans entraînement conjoint. Résultat, le même checkpoint fonctionne avec Transformers et vLLM, sans modification du code applicatif. Pour la vie réelle des plateformes, c’est souvent là que les gains se voient, pas dans les slides.

La voix entre dans la boucle décisionnelle

Avec Granite Speech 5.0 TurboCTC intégré, l’audio est transcrit puis injecté dans le contexte du chat. La transcription passe donc par le même endpoint que les échanges texte et les décisions. IBM présente aussi une démo “Speech-to-Decisions” où le modèle 8B transcrit, résume, filtre du contenu dangereux et évalue 15 signaux définis par l’utilisateur, le tout en temps réel.

Cette approche évite de chaîner un serveur de speech séparé, puis un serveur de décision, puis un serveur de génération. Elle simplifie la pile, mais elle introduit aussi un point de vigilance : si l’ASR se trompe, la mauvaise transcription peut modifier la réponse du modèle sans alerte visible. IBM le reconnaît dans les limitations documentées.

Des scores qui placent IBM dans la course, pas hors de portée

Dans ses comparaisons publiées, IBM dit que guardian-core dépasse en moyenne Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions et Clef-Flash sur des tâches de décision liées à la sûreté. L’entreprise rapporte aussi des écarts favorables sur plusieurs jeux d’évaluation spécialisés, avec des gains de 2,3 points sur OOD Safety, 17,0 sur IFEval, 11,0 sur BIO F1 et 11,8 sur RAGTruth, mais avec des reculs sur LM-AggreFact, InfoBench-GPT4 et InfoBench-Human [à vérifier selon le protocole exact de comparaison].

Les cartes modèles donnent aussi des scores Decision Index sur un sous-ensemble public de 1 068 lignes. La version 8B affiche 42,9 au total, contre 50,1 pour la version 30B. En détail, la 30B monte à 76,5 sur Tools, alors que la 8B reste à 59,8. Les mesures locales et hébergées annoncées par IBM restent proches, à environ 0,6 point d’écart. C’est propre, mais pas magique.

Ce que l’entreprise laisse encore ouvert

Les modèles sont disponibles sous Apache 2.0, avec des exigences logicielles précises : Python 3.9+, PyTorch 2.11+, Transformers 5.16 à 5.17.0 et, en option, vLLM 0.26.0 à moins de 0.28.0. IBM prend aussi soin de documenter les limites : la cascade vocale ne fonctionne qu’en anglais, les transcriptions sortent en minuscules et sans ponctuation, et le système n’offre pas de steering à la volée.

Autre limite utile à lire avant un déploiement : guardian-core n’est pas un substitut aux tests de sûreté applicative, et les checkpoints n’embarquent pas les adapters de factuality ou de policy guardrails de la bibliothèque Guardian. IBM prépare aussi un Adapter SDK, des tutoriels et davantage de support Granite Switch. À ce stade, la stratégie est lisible : pousser les briques modulaires pour que les entreprises composent leurs propres modèles sans repartir de zéro.