Anthropic affirme surpasser OpenAI sur un test d’IA : GPT reprend l’avantage avec une option simple.

Alors qu’Anthropic célébrait publiquement les performances exceptionnelles de son modèle Claude Opus 5, OpenAI a rapidement mis un terme à cette réjouissance. En ajustant simplement deux paramètres, la société a révélé une vérité délicate concernant le rôle des harnais, tout en dépassant son concurrent avec GPT-5.6 Sol.

Tout a commencé par un tweet de victoire. Anthropic a annoncé sur son compte officiel que sur le test ARC-AGI-3, le score de son Claude Opus 5 était trois fois supérieur à celui du deuxième meilleur modèle, GPT-5.6 Sol. Un élément qui renforce la crédibilité de ce chiffre : il a été mesuré par un tiers, la fondation ARC Prize, et non par Anthropic. Le résultat, 30,2 %, constitue un record pour ce test.

Qu’est-ce que l’ARC-AGI-3 ? Il s’agit d’un test conçu pour évaluer le raisonnement. Le modèle est plongé dans de petits jeux en 2D qu’il n’a jamais rencontrés, sans règles ni instructions, et doit comprendre par lui-même comment cela fonctionne. Il est donc impossible de tricher en récitant des exemples appris durant l’entraînement.

Opus 5 a réussi à résoudre cinq environnements que aucun autre modèle n’avait réussi, tandis que le GPT-5.6 Sol d’OpenAI stagnait autour de 8 %. Ce type de vérification indépendante reste rare : la plupart des scores affichés lors d’un lancement sont produits par le laboratoire lui-même, sur son propre matériel. D’où le tweet triomphant.

Cependant, OpenAI n’a pas apprécié la comparaison. Le 29 juillet, l’entreprise a publié une analyse au titre explicite : deux réglages ont triplé son score. Le test officiel repose sur un « harnais » générique (la tuyauterie reliant le modèle au jeu), et ce harnais efface le raisonnement du modèle après chaque action.

Ainsi, GPT-5.6 devait tout réapprendre à chaque tour, comme s’il perdait la mémoire en permanence. En activant deux options déjà utilisées dans ChatGPT et Codex, à savoir la conservation du raisonnement et la compaction, le même modèle a vu son score passer de 13,3 % à 38,3 %, tout en consommant six fois moins de jetons. Sur le papier, cela le place au-dessus des 30,2 % d’Opus 5.

Le développeur autrichien Peter Steinberger, connu pour avoir créé OpenClaw et ancien ingénieur chez OpenAI depuis début 2026, a souligné cette situation, se demandant si personne chez Anthropic n’avait été surpris par des chiffres aussi extravagants avant de proclamer leur victoire.

La compétition n’est évidemment pas neutre. ARC Prize, de son côté, admet que le résultat d’OpenAI est réel et utile, tout en défendant son harnais volontairement basique : il impose les mêmes conditions à tous les modèles pour permettre une comparaison équitable. Les deux laboratoires s’engagent déjà dans une guerre des agents de bureau, bien plus lucrative.

Au-delà de cette rivalité, une leçon importante émerge. Un benchmark ne mesure jamais un modèle isolément : il évalue également le harnais, les réglages d’API et le niveau d’effort choisi par celui qui réalise le test.

Le score d’Opus 5 est crédible car vérifié par un tiers. Celui de GPT-5.6 rappelle qu’un même modèle peut varier considérablement selon l’environnement dans lequel il évolue. Avant de croire un « x3 » en gros caractères, il est préférable de se demander qui a effectué la mesure, avec quel harnais et à quel niveau d’effort.

D’ailleurs, Composio a récemment réalisé un test : faire fonctionner le modèle Kimi K3 sur trois harnais différents : Kimi Code, Hermes et Claude Code pour la même tâche. Le résultat est presque identique (la tâche a été accomplie), mais la consommation de jetons (et donc le coût) varie radicalement. Cela démontre encore une fois que le harnais est presque aussi crucial que le choix du modèle.