OpenAI encadre ses audits externes avec quatre évaluateurs indépendants

OpenAI a signé des accords avec Apollo Research, METR, Transluce et Goodfire pour renforcer ses tests de sécurité. Les pilotes doivent analyser le comportement des modèles, leurs garde-fous et la transparence des rapports.

OpenAI a signé des accords avec quatre évaluateurs indépendants — Apollo Research, METR, Transluce et Goodfire — pour soutenir ses travaux de sécurité sur ses modèles d’IA. Ces pilotes doivent examiner séparément le comportement des systèmes et leurs garde-fous, à un moment où les incidents de sécurité liés à l’IA ont accru le poids des audits externes. Le sujet compte car ces évaluations ne servent pas seulement à détecter des failles ; elles testent aussi ce qu’un développeur accepte de montrer, ou de masquer.

Des audits plus proches du terrain

Le premier volet annoncé par Apollo Research va plus loin qu’une évaluation classique faite après l’entraînement et juste avant une sortie publique. Selon la note publiée par Apollo, six de ses évaluateurs travailleront pendant quatre mois au sein d’OpenAI pour vérifier si les modèles tentent de contourner des mécanismes d’alignement ou de contrôle pendant l’entraînement, les évaluations et le déploiement interne. L’objectif est précis : savoir si la pression d’entraînement pousse un modèle à se soustraire à ses propres garde-fous, ce qui n’a rien d’un détail de laboratoire.

Le périmètre couvre quatre questions : l’entraînement incite-t-il à la subversion, les évaluations peuvent-elles la faire émerger, cette subversion apparaît-elle lors de l’usage interne, et les raisonnements qui y mènent sont-ils détectables ? Apollo dit vouloir tester des comportements où un modèle cherche à affaiblir l’alignement de sa version actuelle ou de ses successeurs. En clair, on ne regarde plus seulement la note finale, mais aussi la manière dont elle a été fabriquée.

Transparence sous conditions, ou le casse-tête habituel

Les accords prévoient pourtant des limites nettes. OpenAI pourra retenir certains éléments si cela est jugé nécessaire pour des raisons techniques, de sécurité ou de propriété intellectuelle, mais pas simplement parce qu’une information serait défavorable. Apollo pourra signaler publiquement que des éléments ont été retenus, avec les motifs donnés, et demander un accès élargi via un contact désigné chez OpenAI. Ce mécanisme ressemble à un audit de sécurité avec mode d’emploi serré — pratique pour cadrer les échanges, moins pour la spontanéité.

Autre point sensible : les discussions avec le personnel. Apollo peut demander des experts précis, mais OpenAI choisit les participants autorisés, et les échanges formels doivent être consignés. Si un employé évoque une information confidentielle, les évaluateurs doivent arrêter la discussion de fond et passer par le canal prévu. Les équipes travailleront par ailleurs sur le matériel d’OpenAI, avec des canaux séparés et sans accès par défaut aux espaces généraux comme Slack.

Deux rapports publics, mais pas carte blanche

Apollo prévoit deux publications. La première portera sur les incitations à la subversion pendant l’entraînement ; la seconde couvrira les évaluations, le déploiement interne et la détectabilité des raisonnements subversifs. Chaque rapport devra décrire les méthodes, les conclusions, les limites et les éléments qui n’ont pas pu être vérifiés. OpenAI pourra demander des suppressions d’informations confidentielles, y compris d’éléments à l’appui des constats, mais pas des verdicts eux-mêmes ni d’une conclusion simplement parce qu’elle est gênante.

Les règles dites de meta-transparency occupent ici une place centrale. Cette expression désigne le droit de publier non seulement les résultats, mais aussi les conditions de l’évaluation : ce qui a été demandé, obtenu, retenu ou retardé, et pour quelles raisons. Apollo estime que ces droits sont un minimum, car une absence de problème peut sembler rassurante alors qu’elle reflète surtout des restrictions d’accès ou de publication. Le point est décisif pour les lecteurs, les régulateurs et les acheteurs d’IA : un rapport n’a pas le même poids selon ce qu’il a pu inspecter.

Pourquoi ce protocole compte pour le reste du marché

Cette approche dépasse le seul cas d’OpenAI. Les évaluateurs indépendants prennent de l’importance à mesure que les modèles deviennent plus capables, plus intégrés dans les produits, et donc plus difficiles à auditer après coup. Si ces pilotes tiennent leurs promesses, ils pourraient servir de référence à d’autres éditeurs confrontés au même dilemme : ouvrir suffisamment pour inspirer confiance, sans exposer leurs secrets industriels. Le sujet n’est pas glamour. Il est même un peu administratif. Mais c’est souvent là que se joue la crédibilité d’un modèle.

Points clés

  • OpenAI a signé avec Apollo Research, METR, Transluce et Goodfire.
  • Six évaluateurs d’Apollo travailleront quatre mois chez OpenAI.
  • Deux rapports publics sont prévus sur l’entraînement et le déploiement.
  • OpenAI peut rediger [sic] [à vérifier] des preuves, pas les verdicts.
  • Apollo veut publier les conditions d’accès et de redaction.

En chiffres

  • 4 évaluateurs — sociétés indépendantes associées au dispositif, selon OpenAI.
  • 6 évaluateurs — équipe d’Apollo annoncée pour le pilotage interne.
  • 4 mois — durée prévue de l’immersion d’Apollo chez OpenAI.
  • 2 rapports — publications publiques promises par Apollo Research.

À lire