← Все посты

Бенчмарки ИИ: как тестируют модели и почему врут рейтинги

Разбираемся, из чего на самом деле складываются баллы нейросетей, где ошибаются лидерборды и как устроен 21 ключевой бенчмарк современности.

Рубрика
Технологии
Дата
Чтение
18 минут
Источник
MMLU / SWE-bench / LMArena
Бенчмарки ИИ: как тестируют модели и почему врут рейтинги: Русский
Бенчмарки ИИ: как тестируют модели и почему врут рейтинги: English
English Русский
Потяни линию: влево русский, вправо английскийСкачать RUСкачать EN

Главная мысль

Бенчмарк, не экзамен на общий интеллект. Это заранее определённая процедура измерения: определённые задания, конкретная версия датасета, способ дать модели инструкцию, инструментальная обвязка, лимит времени/денег и правило подсчёта. Его результат отвечает на узкий вопрос: насколько хорошо эта система в этих условиях справилась с этой операционализированной задачей.

Поэтому фраза «модель набрала 90 %» без названия теста, версии, способа запуска и даты почти ничего не говорит. Она может быть сильным сигналом для одной рабочей задачи и слабым, для другой.

Из чего на самом деле состоит «балл»

Полезно мысленно разложить результат так:

результат = модель × тестовые задания × протокол × обвязка × метрика × дата

Измените любой множитель, и честное сравнение может исчезнуть. Одна и та же базовая модель способна показать разный результат при другой системной инструкции, числе попыток, доступе к поиску или терминалу, температуре генерации, модели-судье, агентном цикле и даже при обновлении API под тем же маркетинговым именем.

Это не делает тесты бесполезными. Наоборот: именно стандартизация позволяет увидеть прогресс и регресс. Но стандартизировать нужно всю процедуру, а не только название модели.

Три разных типа тестов, которые часто смешивают

Тип

Что спрашивает

Примеры

Что хорошо показывает

Что пропускает

Закрытые задания

«Выберет ли правильный ответ?»

MMLU, GPQA

широту знаний, решение структурированных задач

работу с реальной неоднозначностью, ценой ошибки

Исполнимые задачи

«Сработает ли результат в среде?»

HumanEval, SWE-bench

функциональную корректность кода, работу с репозиторием

продуктовые требования, безопасность, сопровождение

Оценка людьми

«Какой ответ пользователям лучше?»

Chatbot Arena

полезность и стиль в живом диалоге

репрезентативность аудитории, долгую работу, объективную истинность

Ни один из этих типов не «главнее» сам по себе. Для выбора помощника программиста важнее воспроизводимый запуск кода; для ассистента поддержки, реальные диалоги и проверка безопасности; для научного поиска, качество источников, калибровка уверенности и человеческая экспертиза.

Четыре причины, почему лидерборд может вводить в заблуждение

1. Загрязнение данных

Если тестовые задачи или близкие решения попали в предобучение, дообучение или промпты, модель может узнавать их, а не обобщать навык. Для закрытых моделей это трудно установить: обучающий корпус обычно не раскрыт полностью. Исследователи применяют, например, перефразирование задач и проверку восстановления скрытых фрагментов, но это косвенные методы.

Загрязнение не обязательно меняет порядок всех моделей, но оно делает абсолютный балл более сомнительным. Защита: свежие закрытые наборы, контролируемое хранение заданий, вариации задач, аудит следов данных и прозрачность о том, что использовалось при обучении.

2. Оптимизация под тест вместо навыка

Когда рынок следит за одним числом, команды естественно оптимизируют именно его: подбирают промпт, обвязку, множественные попытки, фильтры или обучающие примеры. Это не мошенничество само по себе, если условия раскрыты. Проблема начинается, когда «результат агента с инструментами и дорогим поиском лучших траекторий» продаётся как базовая способность модели.

Хороший отчёт отделяет базовую модель от системы вокруг неё и публикует бюджет, инструменты, число попыток и точный протокол.

3. Ошибка измерения и насыщение

У датасета бывают неверные ключи, двусмысленные формулировки и недостаточные тесты. Когда сильные модели приближаются к потолку, несколько ошибочных заданий и случайность семплирования становятся существеннее разницы в таблице. Без доверительных интервалов «90,1 против 89,8» часто выглядит точнее, чем позволяет измерение.

4. Несовпадение с вашей задачей

Вашей команде редко нужен абстрактный победитель. Нужна система, которая отвечает на вашем языке, знает ваши форматы, не выдаёт секреты, укладывается в бюджет и позволяет человеку проверить важные решения. Вполне возможно, что модель со вторым местом в общем рейтинге окажется первой на вашем наборе из 50 реальных задач.

Как читать результат корректно: мини-паспорт оценки

Прежде чем доверять цифре, попросите или найдите ответы на восемь вопросов:

  1. Какую задачу измеряли? Не имя бенчмарка, а вход, ожидаемый выход и критерий успеха.

  2. Какая версия и дата? Датасеты, модели и лидерборды меняются.

  3. Какая конфигурация модели? Точная версия, системная инструкция, температура, контекст.

  4. Какие инструменты и права были у агента? Поиск, браузер, терминал, выполнение кода, память.

  5. Какой бюджет? Токены, время, деньги, число параллельных попыток.

  6. Как считали? pass@1 или pass@k, автоматическая проверка или судья-модель, слепая ли оценка.

  7. Насколько результат стабилен? Повторные прогоны, разброс, доверительные интервалы, примеры провалов.

  8. Как контролировали утечку и качество заданий? Дата отсечки, закрытый test split, человеческий аудит.

Если на половину вопросов нет ответа, это не обязательно плохой продукт. Но это слабое доказательство для дорогого или рискованного решения.

Как провести собственный честный мини-бенчмарк

Вместо того чтобы спорить о глобальном лидерборде, можно за день собрать внутреннюю проверку:

  1. Возьмите 30–100 недавних задач, на которых у вас уже есть критерий качества. Уберите персональные данные и секреты.

  2. Разделите их по важности: обычные, дорогие ошибки, критические запреты. Не усредняйте всё в один балл.

  3. Зафиксируйте один сценарий запуска для всех: одинаковые инструменты, лимит времени и число попыток.

  4. Оценивайте там, где можно, исполнением/проверкой факта; там, где нельзя,, слепым сравнением двух ответов несколькими людьми.

  5. Записывайте не только успех, но и стоимость, задержку, необходимость вмешательства, опасные ошибки и отказоустойчивость.

  6. Держите свежий отложенный набор: не используйте его для ежедневной настройки промпта.

  7. Повторяйте тест после смены версии, обвязки или политики доступа, «то же имя модели» не гарантирует ту же систему.

Итогом должна быть не корона «самой умной модели», а решение: какая система при каком риске и бюджете подходит для какой части нашего процесса.

Что меняется в зрелой оценке

Современные фреймворки вроде HELM уходят от единственной accuracy к нескольким сценариям и метрикам, включая эффективность, токсичность и предвзятость. Для передовых моделей важны также отдельные оценки опасных возможностей и эффективность защит: это иной класс вопросов, чем «насколько хорошо модель решает тест».

Зрелый подход выглядит как портфель: закрытые и свежие задания для обобщения; исполнимые задачи для реального действия; экспертная проверка для высокой ставки; пользовательские сравнения для удобства; красная команда и safety-evals для вреда. Их результаты нельзя честно сложить в магическое одно число, зато вместе они гораздо лучше описывают пригодность системы.

Вывод

Бенчмарк, это прибор, не приговор. Хороший прибор позволяет сравнивать изменения при контролируемых условиях. Плохое применение прибора начинается, когда его показание объявляют мерой универсального интеллекта, безопасности или готовности к любой работе.

Смотреть на лидерборды стоит так: сначала понять, какое утверждение подтверждает тест, затем, насколько прозрачна процедура, и только потом, похожа ли она на вашу задачу. Чем выше цена ошибки, тем меньше достаточно одной цифры.

Карта 20 ключевых бенчмарков и арен

Ниже ориентир, какие тесты смотреть под конкретную прикладную задачу, и технический разбор каждого из них.

Если вопрос такой…

Сначала смотрите

Затем обязательно добавьте

«Хорошо ли модель рассуждает на сложных знаниях?»

MMLU-Pro, GPQA Diamond, HLE

ARC-AGI-2 или FrontierMath, но только с ценой/числом попыток

«Она решает математику?»

AIME, FrontierMath

проверку полного решения человеком; итоговый ответ сам по себе не равен доказательству

«Она пишет код?»

LiveCodeBench, HumanEval+

SWE-bench и Terminal-Bench, если речь об агенте, а не автодополнении

«Она починит наш продукт?»

SWE-bench, Terminal-Bench

ваш собственный набор реальных задач, CI, безопасность и стоимость

«Она умеет пользоваться браузером и компьютером?»

WebArena, OSWorld, GAIA

тест на ваши сайты, формы и политики доступа

«Она видит документы, графики и схемы?»

MMMU-Pro, MathVista

реальные сканы/таблицы вашей предметной области

«Какой чат людям нравится?»

LMArena

Arena-Hard-Auto и фактическая проверка важного содержания

«Кто лучше собирает web-приложение?»

WebDev Arena

тест на вашем стеке, деплое и ревью кода

Как читать этот список


Раздел 1. Знания, логика и математика

1. MMLU-Pro

2. GPQA Diamond

3. Humanity’s Last Exam (HLE)

4. ARC-AGI-2

5. FrontierMath

6. AIME

7. GSM8K / MATH-500


Раздел 2. Следование инструкции и код одной функцией

8. IFEval

9. HumanEval+ / MBPP+

10. LiveCodeBench


Раздел 3. Агенты: репозиторий, терминал, браузер, компьютер

11. SWE-bench

12. Terminal-Bench

13. WebArena

14. OSWorld

15. GAIA


Раздел 4. Изображения, документы, схемы и графики

16. MMMU-Pro

17. MathVista


Раздел 5. Арены: люди выбирают, что им больше понравилось

18. LMArena / Chatbot Arena

19. Arena-Hard-Auto

20. WebDev Arena


Минимальный набор для реального выбора модели

Выбирайте не один «топовый» результат, а небольшой набор под задачу:

Одна строка, которую надо требовать от любого лидерборда

Модель и дата + агент и tools + версия benchmark + число попыток + бюджет + метрика + разброс.

Если хотя бы половины этих полей нет, это рекламное сравнение, а не достаточное техническое доказательство.

#ии #бенчмарки #нейросети #llm #разработка

Понравилось? Сохрани, чтобы вернуться.