OpenAI automatise le débogage des ralentissements de ChatGPT
OpenAI a mis au point Performance Factory, un système interne basé sur Codex pour détecter, diagnostiquer et suivre les régressions de performance. L’outil a traité plus de 1 700 enquêtes en un peu plus de trois mois.
OpenAI a développé Performance Factory, un système interne alimenté par Codex qui automatise l’enquête sur les ralentissements de logiciels et le suivi des régressions de performance. L’entreprise l’utilise déjà pour garder ChatGPT rapide, alors que les agents de code multiplient les changements et compliquent la revue manuelle. Selon un rapport d’ingénierie partagé avec VentureBeat, l’outil a mené plus de 1 700 investigations et identifié la cause racine dans plus de 600 cas en un peu plus de trois mois.
Quand le débogage devient un travail d’agent
Le problème de départ est assez simple : quand une mise à jour ralentit une application, les ingénieurs doivent éplucher des métriques, suivre des requêtes entre services, isoler le code responsable puis tester des correctifs. Avec l’essor des agents de codage, cette chaîne devient un goulot d’étranglement. OpenAI a donc transformé une partie de ce travail en workflow automatisé, où des agents peuvent prendre en charge l’enquête, la proposition de correction et la vérification du rétablissement.
La première version reposait sur des investigations manuelles, puis sur des outils spécialisés. L’équipe performance d’OpenAI en a développé plus de 30. Codex a ensuite servi d’interface d’analyse : au lieu de chercher à la main dans le code et la télémétrie, les ingénieurs pouvaient demander à l’agent pourquoi un service était devenu plus lent. Restait un point faible, très humain finalement : l’agent diagnostiquait, mais l’ingénieur devait encore piloter chaque étape.
Une chaîne de tâches plutôt qu’un simple chatbot
Pour réduire cette dépendance, OpenAI a conçu une skill Codex nommée perf-forensics, qui encode les procédures d’enquête de l’équipe. Une fois testée, elle a permis à Codex de recevoir une alerte de performance et de rendre un diagnostic en une seule exécution. La suite a vite révélé une autre limite : les ingénieurs faisaient l’intermédiaire entre les alertes de supervision, Codex et Slack. Autant brancher les alertes directement à des sessions Codex dans le cloud.
C’est là que Performance Factory prend sa forme actuelle. Le système organise le travail en tâches qui avancent par étapes : alerte, enquête, identification de la cause, modification du code, revue, vérification. Chaque tâche conserve son état, ses notes et des métadonnées structurées, comme le moment où la régression a commencé. Les agents n’y déposent pas des montagnes de logs bruts, mais les métriques utiles, les requêtes à relancer et les conclusions principales. Le dossier reste exploitable sans se transformer en grenier numérique.
La revue adversariale, ou l’art de contredire l’agent
La première application concrète de ce dispositif est le Regression Workflow. Lorsqu’une alerte configurée se déclenche, une tâche est créée et l’agent lance son enquête à l’aide de perf-forensics. Il repère d’abord ce qui a changé, puis cherche la cause à partir des artefacts disponibles : changements de code, journaux, traces. Mais OpenAI a observé que les agents s’arrêtaient parfois à la première explication plausible, même quand les preuves ne suffisaient pas.
Pour corriger ce biais, l’entreprise a ajouté une étape de revue adversariale. Une seconde session Codex reçoit le dossier complet avec un contexte neuf et une consigne claire : chercher les trous dans le raisonnement, vérifier les preuves, tester d’autres hypothèses. Dans un cas cité par OpenAI, un agent avait attribué des conversations ChatGPT défaillantes à des erreurs de téléchargement d’images ; le réviseur a remarqué que le service interne chargé de localiser les fichiers était déjà rétabli, alors que les requêtes d’images continuaient d’échouer. Diagnostic rejeté, donc. Pas glamour, mais efficace.
Selon l’équipe performance, cette revue renvoyait d’abord beaucoup de cas vers de nouvelles investigations. Les instructions ont été ajustées, et le taux de retour est désormais d’environ 25 % des diagnostics. Une fois le diagnostic validé, Codex propose un correctif et ouvre une pull request ; un ingénieur tranche ensuite sur la fusion. Sur plus de 600 enquêtes ayant abouti à une cause racine, environ 400 ont donné lieu à une proposition de correction. Parmi elles, une cinquantaine de correctifs effectivement déployés ont été influencés ou recoupés par les suggestions de l’agent, et une quinzaine correspondaient exactement à des pull requests rédigées par Codex.
Ce que Performance Factory dit des limites de l’IA en production
Ces chiffres montrent surtout l’écart entre diagnostiquer un problème et livrer un correctif fiable. OpenAI reconnaît que ses résultats restent en deçà de ses ambitions en matière de remédiation automatisée. Les agents fonctionnent mieux quand la cause est nette et le changement circonscrit ; un doublon de sérialisation, par exemple, se repère assez bien. Dès qu’une fonctionnalité ajoute de la latence et demande une modification d’architecture, les propositions deviennent plus fragiles, parfois trop complexes, parfois carrément contre-productives. Un cache peut accélérer l’ensemble, mais introduire des données obsolètes. Classique.
L’entreprise a donc étendu la revue adversariale aux correctifs eux-mêmes. Après déploiement, un autre agent vérifie si le problème de performance a disparu. Sinon, la tâche repart en enquête. OpenAI a aussi revu la présentation des résultats pour les ingénieurs : regroupement des incidents liés, hiérarchisation par impact estimé, rapports courts avec graphiques et métriques. L’objectif est clair : éviter que les équipes humaines se noient dans le bruit généré par les agents, alors même qu’elles doivent encore décider, arbitrer et valider.
Vers une optimisation plus proactive
OpenAI dit vouloir aller plus loin que la seule réaction aux alertes configurées. L’équipe explore des comparaisons automatiques entre profils CPU, données mémoire et traces de requêtes sur plusieurs versions, afin de détecter des ralentissements invisibles pour la supervision classique. Elle travaille aussi sur des workflows de rightsizing, c’est-à-dire l’ajustement de la taille des ressources allouées à un service pour éviter le gaspillage ou la sous-capacité.
À terme, l’entreprise étudie même la possibilité de laisser certains correctifs à faible risque être déployés sans validation humaine. Pour l’instant, la ligne reste prudente. Mais Performance Factory donne déjà un aperçu de ce que pourraient devenir les workflows d’ingénierie agentiques : moins de debugging répétitif, davantage de mémoire organisationnelle, et des procédures que les équipes peuvent réutiliser d’un service à l’autre. Dans les systèmes de production, le savoir technique s’oublie vite ; ici, il est enregistré, rejoué et transmis, ce qui change la donne pour les équipes chargées de maintenir la vitesse sous pression.
Points clés
- Plus de 1 700 enquêtes en un peu plus de trois mois.
- Plus de 600 causes racines identifiées par OpenAI.
- Environ 25 % des diagnostics reviennent en revue adversariale.
- Environ 15 correctifs ont été écrits exactement par Codex.
- OpenAI utilise déjà Performance Factory pour ChatGPT.
En chiffres
- 1 700+ investigations — sur un peu plus de trois mois, selon OpenAI.
- 600+ causes racines — identifiées par le système interne, selon OpenAI.
- 30+ outils — développés par l’équipe performance d’OpenAI.
- 25 % — part des diagnostics renvoyés par la revue adversariale.
- 15 correctifs — pull requests exactes rédigées par Codex et expédiées, selon OpenAI.