📚 Knowledge · llm-stats.com
MMLU-Pro
Harder 14-subject version of MMLU with ten-way multiple choice.
12
Моделей протестировано
Gemini 3 Pro
Топ-модель
89.8%
Лучший результат
Google
Провайдер
| # | Модель | MMLU-Pro |
|---|---|---|
| 1 | Gemini 3 Pro Google | 89.8% |
| 2 | Qwen3.7 Max Alibaba | 89.6% |
| 3 | Qwen3.7 Plus Alibaba | 88.5% |
| 4 | Qwen3.6 Plus Alibaba | 88.5% |
| 5 | Qwen3.5 397B-A17B Alibaba | 87.8% |
| 6 | DeepSeek V4 Pro DeepSeek | 87.5% |
| 7 | ERNIE 5.1 Baidu | 87% |
| 8 | Nemotron 3 Ultra 550B NVIDIA | 86.8% |
| 9 | Qwen3.5 122B-A10B Alibaba | 86.7% |
| 10 | DeepSeek V4 Flash DeepSeek | 86.2% |
| 11 | Gemma 4 31B Google | 85.2% |
| 12 | DeepSeek V3.2 DeepSeek | 85% |
Данные бенчмарка агрегированы из llm-stats.com. Подробнее — в методологии.