Valory rapproche son modèle de prévision de GPT-5.6
Valory présente Olas-Predict-Qwen3.8-27B, un modèle open weight dédié aux prévisions. Sur 6 824 marchés, il atteint 67,3 % d’exactitude équilibrée, contre 68,5 % pour son comparateur GPT-5.6.
Valory a présenté Olas-Predict-Qwen3.8-27B, un modèle de prévision open weight de 27 milliards de paramètres conçu pour estimer des probabilités à partir d’indices fournis, et non pour fouiller seul le web. Selon l’entreprise, il arrive à 1,2 point de pourcentage de son comparateur GPT-5.6 sur un test de marchés prédictifs réels. L’enjeu dépasse la performance brute : il montre qu’un modèle spécialisé peut s’approcher d’un très gros système quand l’évidence est bien préparée. Et, dans ce genre d’exercice, la météo des données compte presque autant que le modèle lui-même.
Ce que mesure vraiment la comparaison
La comparaison porte sur 6 824 marchés prédictifs “researchable”, avec des prompts identiques, une température nulle et un filtre de date lié à la limite de connaissances annoncée par GPT-5.6 au 16 février 2026. Autrement dit, Valory évalue ici la manière dont les modèles raisonnent sur des éléments déjà fournis, pas leur capacité à aller chercher l’information par eux-mêmes.
Ce cadrage limite les conclusions. Il s’agit de résultats publiés par l’entreprise sur un ensemble sélectionné, pas d’une preuve d’équivalence générale entre les deux modèles. L’annonce est aussi distincte d’une expérimentation antérieure sur 10 916 échantillons et d’une étude précédente autour d’un modèle de 14 milliards de paramètres.
Pour la mesure, Valory retient deux indicateurs. La balanced accuracy donne le même poids aux deux classes de résultats, afin qu’un événement très fréquent ne fausse pas la lecture. Le Brier score, lui, évalue la qualité des probabilités prédites et pénalise les erreurs trop confiantes : plus il est bas, mieux c’est.
Le socle généraliste fait déjà une grande partie du travail
Le gain le plus visible ne vient pas uniquement du fine-tuning. Le modèle Qwen3.8-27B non entraîné pour ce cas d’usage atteint déjà 66,4 % de balanced accuracy et un Brier score de 0,2235, ce qui explique une bonne partie du résultat final. La spécialisation apporte ensuite un surcroît de précision, mais pas à partir de rien.
Dans la version finale, Olas-Predict-Qwen3.8-27B monte à 67,3 % de balanced accuracy et 0,2124 de Brier score. Valory dit aussi observer une baisse d’environ 12,3 % de l’erreur de calibration, un indicateur qui résume l’écart entre la confiance annoncée et les résultats observés.
Face à l’ancien Olas-Predict-R1-14B, la progression est nette dans cette comparaison : environ 22 % de baisse du Brier error et 8,4 points de plus en balanced accuracy. Mais la lecture la plus utile est ailleurs : la base de départ pèse lourd, et l’entraînement spécialisé affine surtout la façon dont le modèle exprime ses probabilités. C’est moins spectaculaire qu’un bond de science-fiction, mais souvent plus utile en production.
Une architecture pensée pour séparer données et décision
Valory décrit un système en deux temps. Un outil distinct rassemble l’intelligence de marché et les éléments de preuve, puis le modèle transforme ces signaux en estimation probabiliste. Cette séparation compte, car une bonne logique appliquée à de mauvaises preuves reste une mauvaise prévision.
Le projet Olas repose aussi sur une boucle de retour continue. Les agents créent des marchés, tradent, fournissent des prévisions et finalisent les résultats via le réseau Predict et le Mech Marketplace. Une fois les événements résolus, les prévisions peuvent être comparées aux issues réelles, ce qui alimente de futurs entraînements.
Valory rappelle avoir utilisé plus de 200 000 enregistrements de prévision d’agents pour spécialiser Olas-Predict-R1-14B. Une évaluation ultérieure sur 2 628 marchés faisait état de 75,8 % d’exactitude, mais cette donnée n’est pas directement comparable avec les 67,3 % de balanced accuracy de la nouvelle annonce [à vérifier].
Pourquoi l’open weight change la donne
Un modèle open weight laisse aux développeurs la possibilité de l’héberger et de l’adapter eux-mêmes, plutôt que de dépendre d’un service propriétaire distant. Pour une entreprise qui construit un flux de prévision, cela peut faciliter le contrôle des mises à jour, de l’infrastructure et de la manière dont les preuves sont injectées dans le système.
Reste la question matérielle. Un modèle de 27 milliards de paramètres demande des moyens adaptés, avec des besoins qui varient selon la précision utilisée, la longueur du contexte et le niveau de concurrence. Valory ne publie pas ici de coût de déploiement ni de benchmark d’exploitation, donc le gain d’ouverture ne dit rien, à lui seul, du coût réel d’usage.
Enfin, prévision et trading ne se confondent pas. Les rendements dépendent aussi du prix du marché, des coûts de transaction et de l’exécution. Autrement dit, un bon pronostic n’est pas encore un bon résultat financier, et c’est là que les modèles les plus crédibles sont parfois moins glamour qu’un communiqué de lancement.
Points clés
- 6 824 marchés testés dans l’annonce de Valory.
- 67,3 % de balanced accuracy pour Olas-Predict-Qwen3.8-27B.
- 68,5 % pour le comparateur GPT-5.6.
- Olas-Predict-R1-14B sert de base antérieure de référence.
- Valory dit utiliser plus de 200 000 enregistrements d’agents.
- 2 628 marchés figuraient dans une évaluation ultérieure citée.
En chiffres
- 27 milliards — paramètres du modèle Olas-Predict-Qwen3.8-27B, selon Valory.
- 6 824 — marchés prédictifs évalués dans l’annonce.
- 67,3 % — balanced accuracy du modèle final sur le sous-ensemble rapporté.
- 68,5 % — balanced accuracy du comparateur GPT-5.6 sur le même test.
- 0,2124 — Brier score du modèle final, plus bas que les références citées.