Leaderboard — Modèles LLM
Collecte : 10–12 juillet 2026. Prochaine mise à jour : mensuelle. Méthodologie détaillée.
Meta-Score Raisonnement & Tâche
Ce classement atténue le biais de lisibilité/stylistique de l’Arena LMSYS (votes humains), qui surestime les modèles optimisés pour la clarté et sous-estime les modèles optimisés pour le raisonnement pur.
Principe
Cinq sous-domaines où la subjectivité est réduite, pondérés à parts égales (20 % chacun) :
| Composant | Pourquoi |
|---|---|
| Arena Math | Une réponse mathématique est juste ou fausse — subjectivité minimale |
| Arena Coding | Algorithmique, difficile à « baratiner » avec du style |
| Arena Hard Prompts | Problèmes multi-étapes complexes — la clarté ne suffit pas |
| Arena Expert | Évalué par des experts du domaine, pas des votants lambda |
| Arena Agent | Tâches outillées avec succès vérifiable (bash recovery, completion rate) |
Calcul : pour chaque sous-domaine, score = 1 − (rang − 1) / (total_models − 1). Moyenne des 5 scores. La meilleure variante (thinking ou standard) est retenue pour chaque modèle.
Voir la méthodologie complète pour les sources, les biais assumés et ce qui est exclu.
Classement
| Rang | Modèle | Score | Math | Code | Hard | Expert | Agent | Licence | Prix/MTok |
|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Fable 5 | 99,9% | #1 | #1 | #1 | #3 | #1 | Propriétaire | $10/$50 |
| 2 | Claude Opus 4.8 ᵗ | 98,7% | #5 | #6 | #6 | #6 | #2 | Propriétaire | $5/$25 |
| 3 | Claude Opus 4.8 | 97,6% | #16 | #7 | #8 | #9 | #12 | Propriétaire | $5/$25 |
| ★ 4 | Qwen 3.7 Max ☆ | 96,6% | #11 | #12 | #19 | #13 | — | Propriétaire | $1,25/$3,75 |
| 5 | Gemini 3.1 Pro | 97,0% | #10 | #17 | #10 | #12 | #17 | Propriétaire | $2/$12 |
| ★ 6 | Kimi K2.6 | 94,1% | #15 | #25 | #35 | #17 | #16 | Mod. MIT | $0,95/$4 |
| ★ 7 | Gemma 4 31B | 88,9% | #25 | #54 | #52 | #39 | — | Apache 2.0 | $0,14/$0,40 |
| ★ 8 | GLM 5.2 Max | 88,4% | #22 | #27 | #30 | #34 | #10 | MIT | $1,40/$4,40 |
| ★ 9 | DeepSeek V4 Pro ᵗ | 88,2% | #23 | #58 | #47 | #52 | #19 | MIT | $0,43/$0,87 |
| ★ 10 | DeepSeek V4 Pro | 88,0% | #54 | #48 | #43 | #38 | — | MIT | $0,43/$0,87 |
★ = open-source · ☆ = score préliminaire (< 15 000 votes) · ᵗ = mode thinking · — = absent du top 32 Agent Arena.
Exclus
GPT 5.6 Sol et Muse Spark 1.1 (Meta) sont trop récents pour des rangs fiables par sous-domaine (< 5 000 votes). Mistral Medium 3.5 est au Meta-Score ~78 % (Math #69, Code #79, Expert #95) — hors top 10.
TOP 10 Global — Arena Overall
Classé par le score Arena Text Overall (juillet 2026), meilleur flagship par entreprise.
| Rang | Modèle | Éditeur | Score | Prix/MTok | Contexte |
|---|---|---|---|---|---|
| 1 | Claude Fable 5 | Anthropic | 1509 ☆ | $10/$50 | 1M |
| 2 | Muse Spark 1.1 | Meta | 1490 ☆ | $1,25/$4,25 | N/A |
| 3 | GPT 5.6 Sol | OpenAI | 1486 ☆ | $5/$30 | 1,1M |
| 4 | Gemini 3.1 Pro | 1485 | $2/$12 | 1M | |
| 5 | Claude Opus 4.8 ᵗ | Anthropic | 1482 | $5/$25 | 1M |
| ★ 6 | GLM 5.2 Max | Z.ai / THU | 1465 | $1,40/$4,40 | 1M |
| ★ 7 | Kimi K2.6 | Moonshot | 1462 | $0,95/$4 | 262K |
| ★ 8 | DeepSeek V4 Pro ᵗ | DeepSeek | 1457 | $0,43/$0,87 | 1M |
| ★ 9 | MiniMax M3 | MiniMax | 1445 | $0,60/$2,40 | N/A |
| ★ 10 | Mistral Medium 3.5 | Mistral AI | 1427 | $1,50/$7,50 | 256K |
Mode Thinking (ᵗ) — précision
Un même modèle peut tourner dans deux modes d’inférence :
- Standard : réponse directe, rapide, moins chère.
- Thinking / Reasoning : le modèle passe d’abord par une chaîne de raisonnement interne, puis produit sa réponse. Plus lent, plus cher, mais plus précis — surtout en math et problèmes complexes.
L’écart est mesurable : Opus 4.8 gagne 11 rangs en Math avec le thinking activé (de #16 à #5).
Ce que les benchmarks éditeurs confirment
Les system cards apportent des mesures objectives à grille fixe :
| Modèle | SWE-bench | Terminal-bench | GPQA Diamond | Online-Mind2Web | Legal Agent |
|---|---|---|---|---|---|
| Opus 4.8 | ≥72,5 % | ≥43,2 % | ≥74,9 % | 84 % | 1er >10 % |
| DeepSeek V4 Pro Max | auto-éval : ~Opus 4.5 | non publié | dans le papier | non publié | non publié |
| Mistral Medium 3.5 | non publié | non publié | non publié | non publié | non publié |
Lecture
Claude Fable 5 est le modèle le plus intelligent du marché — #1 sur tous les sous-domaines sans exception. Lent, cher ($10/$50), mais sans équivalent.
Opus 4.8 est le choix pratique : #2–3 en Meta-Score, $5/$25, leader en agentique.
DeepSeek V4 Pro n’est pas dans le top 5 en performance pure. Son avantage est le prix (11× moins cher qu’Opus), le contexte 1M natif (10 % du coût KV du V3.2), et la licence MIT.
Mistral Medium 3.5 ne publie aucun benchmark comparable. Son créneau est la souveraineté EU (SecNumCloud), pas la performance brute.
Méthodologie
Sources
| Source | Nature | Limite |
|---|---|---|
| Arena Text (LMSYS) | 7,3M votes humains, 374 modèles | Biais de lisibilité, favorise l’ancienneté |
| Arena Agent (LMSYS) | 947k sessions agentiques, métriques objectives partielles | 32 modèles seulement |
| System cards éditeurs | Benchmarks à grille fixe (SWE-bench, GPQA) | Non interopérables entre éditeurs |
| Open LLM Leaderboard v3 | Benchmarks standardisés (IFEval, BBH, MATH) | Hors service (dataset cassé depuis mars 2025) |
Ce qui est exclu du Meta-Score
Creative Writing (subjectif pur), Instruction Following (obéissance, pas intelligence), Longer Query (endurance, pas qualité), Overall Text (trop corrélé au style).
Biais résiduels
Même dans les sous-domaines « objectifs », les votants évaluent la réponse finale, pas la chaîne de raisonnement. Un modèle qui raisonne parfaitement mais s’exprime pauvrement sera sous-noté. L’Arena Agent a des métriques plus objectives (bash recovery, tool hallucination), mais les autres sous-domaines gardent une composante subjective — le biais est atténué, pas supprimé.
Limites générales
- L’Open LLM Leaderboard v3 (HuggingFace) est hors service — seule source de benchmarks standardisés interopérables.
- Les modèles récents (mai–juin 2026) ont des scores instables.
- Ce classement mesure le chat/agent/reasoning — pas la vision, l’audio ni la capacité locale.
Prochaines étapes
- Rafraîchir mensuellement.
- Intégrer l’Open LLM Leaderboard v3 dès son rétablissement.
- Ajouter une colonne « souveraineté » (USA / Chine / EU).
Données Arena : snapshot du 10/07/2026. Prix API publics à date. Méthodologie en source ouverte — réutilisable et auditable.
Historique des versions
- v1.0 — 2026-07-12 : Première publication. Données Arena collectées le 10/07/2026.
Rédaction par IA (DeepSeek V4 Pro) · responsabilité éditoriale : Olivier Ricot. Traçabilité du rédacteur : dépôt de traçabilité (lien à brancher).