Gemini analyse les vidéos en cherchant seulement les passages utiles

Google dote ses modèles Gemini Flash d’une analyse vidéo agentique qui ne parcourt plus une vidéo image par image de manière fixe. À la place, le modèle choisit lui-même les séquences à examiner, puis va chercher frames, audio ou transcription selon le besoin. L’enjeu est simple : traiter des vidéos longues avec moins de tokens, donc moins de coût, tout en gardant de la précision. La fonction est déjà disponible via l’API Gemini, avec un déploiement plus large prévu ensuite.

Une vidéo n’a pas besoin d’être lue au pas militaire

Le principe, chez Google, consiste à laisser Gemini décider où regarder et à quelle cadence. Les modèles Gemini 3.7 Flash, 3.6 Flash et 3.5 Flash-Lite peuvent repérer des moments de moins d’une seconde, y compris des changements d’état ou des coupes qu’un rythme d’un frame par seconde laisserait passer. Cette approche vise surtout les contenus longs : tutoriels de 10 minutes, cours de 90 minutes ou enregistrements de plusieurs heures.

Selon Google, l’analyse agentique peut réduire l’usage de tokens jusqu’à 88 % et les coûts de 66 %, avec un léger gain de précision sur les jeux de tests 1H-VideoQA et LVBench. La société affirme aussi que Gemini 3.7 Flash obtient le meilleur compromis entre exactitude et coût sur LongVideoBench. Un gain qui intéresse autant les développeurs que les équipes produit, car la vidéo est l’un des formats les plus gourmands à faire passer à l’échelle.

Comment Gemini décide quoi regarder

Le système s’appuie sur une boucle de type think-act-observe : le modèle raisonne, agit, observe le résultat, puis recommence si nécessaire. Google décrit cela comme une extension de son approche « agentic vision », déjà introduite pour Gemini 3 Flash en janvier, où le modèle pouvait écrire et exécuter du code Python pour zoomer, recadrer et annoter des images. Ici, la logique s’applique à la vidéo native.

Concrètement, Gemini n’aspire plus tout le flux à cadence fixe. Il utilise un outil interne pour récupérer uniquement la portion pertinente du fichier, puis choisit entre images, son ou transcription. Cela permet de détecter des anomalies en resamplant plus finement les fenêtres suspectes, mais aussi de compter plus proprement des mouvements répétés ou des objets individuels dans le temps.

Une API déjà ouverte, l’app Gemini suivra

La fonctionnalité est active pour les vidéos importées et les vidéos YouTube via l’API Gemini, dans Google AI Studio et sur Gemini Enterprise Agent Platform. Les développeurs doivent activer le mode « agentic » dans la configuration de l’API et paient les tarifs standards de Gemini, sans surcoût annoncé. Google précise aussi que cette capacité servira bientôt dans ses propres produits.

Le calendrier reste progressif. Le déploiement vers l’application Gemini doit arriver pour les utilisateurs de Flash et Flash Lite, puis l’option « Ask YouTube » devrait s’appuyer sur cette analyse pour répondre de manière plus fidèle à ce qui est visible dans la vidéo. Autrement dit, moins de traitement brut, plus de recherche ciblée. Et moins de tokens consommés pour regarder un cours de deux heures sans cligner des yeux, ce qui n’est pas rien.