Supabase ouvre ses tests d’agents IA et muscle son contrôle qualité

Supabase a ouvert sous licence Apache-2.0 Supabase Evals, un framework qui teste la capacité d’agents IA à construire avec ses briques. L’outil lance des agents de codage comme Claude Code, Codex et OpenCode sur des tâches concrètes, puis mesure le résultat. C’est important pour les développeurs, mais aussi pour les plateformes cloud et les backends régulés, où une mauvaise règle RLS peut vite devenir un incident de sécurité.

Des tâches réelles, pas des jouets de laboratoire

Le principe est simple : au lieu de faire réciter un modèle, Supabase le place face à des scénarios issus de tickets support, de bugs et de problèmes GitHub. Les cas couvrent plusieurs produits — base de données, auth, stockage, Edge Functions, realtime, cron, files d’attente, vecteurs et data API — ainsi que des thèmes comme la sécurité, les migrations, SQL, l’observabilité ou le self-hosting. Les étapes testées vont de la construction au débogage, en passant par le déploiement et la résolution d’incidents.

Chaque évaluation s’exécute dans un environnement réel, avec une pile proche de l’offre hébergée et un projet CLI local lancé dans des conteneurs. Le framework parle au vrai serveur MCP et à la vraie CLI, puis attribue une note à partir de contrôles déterministes et d’un juge LLM. Un seul retry est autorisé avant la correction. Le tout évite le grand classique des benchmarks trop lisses : le test qui réussit surtout parce qu’il n’a rien de méchant à faire.

Deux suites, deux usages

Supabase distingue une suite benchmark, publiée et pensée pour comparer la largeur de couverture, et une suite de régression, mise à jour chaque jour pour traquer des échecs connus sans bouger les scores publics. Cette séparation compte pour les équipes produit. Elle permet d’afficher un classement visible sur supabase.com/evals tout en gardant un filet de sécurité interne sur les régressions du quotidien.

Le dépôt supabase/evals est lui aussi public et peut tourner localement via pnpm. Pour les exécutions en stack locale, il faut un daemon Docker, des clés API de fournisseurs et les ports 54321 à 54329 libres. C’est le prix d’un test qui ressemble à la vraie vie, pas à une maquette en carton.

Ce que les premiers résultats racontent

Les premiers essais montrent que les meilleurs modèles s’en sortent déjà très bien sans aide. Dans la phase de build, Opus 5 et Kimi K3 atteignent 100% sans compétence chargée. Les skills servent davantage aux modèles plus modestes : Sonnet 5 passe de 78% à 100%, GPT-5.6 Sol de 89% à 100% et GPT-5.4 mini de 78% à 89%.

Supabase dit aussi avoir identifié trois points faibles récurrents. Les agents écrivent encore des migrations à la main au lieu d’utiliser des schémas déclaratifs, vérifient l’authentification manuellement plutôt que via @supabase/server, et consultent les docs avec une régularité très variable. Codex / GPT-5.6 lit environ 8 pages de documentation par scénario, contre environ 2 pour Claude Code, qui consulte les docs dans moins de 40% des cas même avec des skills chargés. La documentation, visiblement, reste le collègue qu’on appelle quand tout le reste a déjà essayé.

Pourquoi Supabase met ce cadre en open source

Cette publication dit quelque chose du marché des agents : l’évaluation devient un produit à part entière. Quand un outil écrit du code, modifie des règles d’accès ou touche à des migrations, la question n’est plus seulement “est-ce qu’il répond ?”, mais “est-ce qu’il produit quelque chose de déployable, sans casser la suite ?”. Supabase prend ici une position utile pour son propre écosystème, mais aussi pour les équipes qui veulent comparer des agents sur des tâches d’infrastructure réelles plutôt que sur des prompts de démonstration.

À ce stade, l’impact concret est double : améliorer la fiabilité des agents sur les workflows Supabase, et offrir aux éditeurs comme aux clients un cadre de mesure plus crédible pour les outils de codage assisté. Dans un secteur où l’automatisation promet souvent plus qu’elle ne livre, disposer de tests reproductibles vaut déjà pas mal de sueur économisée.