Проверьте модели на прочность.
Более четкое представление о возможностях вашей модели. Запустите быстрый бенчмарк и превратите результаты в полезные выводы.
Настройка прогона
Выберите модель, бенчмарк и уровень сложности.
Используйте тот же сид, тип и длину прогона, чтобы сравнить идентичные сложные вопросы.
✳Запуски могут расходовать кредиты. Фактическая стоимость зависит от модели и количества использованных токенов.
Ваш отчет
Немного ясности — и результат будет заметен.
Детализация производительности
Откройте категорию, чтобы просмотреть проверки и ответы.
Ваш отчет начинается здесь
Выберите модель и запустите бенчмарк, чтобы увидеть результаты.
Полезно знать
Полезный срез, но не вся картина.
Это пользовательские тесты на английском языке, а не отраслевые стандартные бенчмарки. Идеальный балл возможен и означает лишь то, что модель прошла эти проверки. Баллы не измеряют безопасность, креативность или общую производительность в реальных условиях.
Узнать, как работает оценка↓Каждый запрос содержит три или пять равнозначных проверок. Запросы циклически проходят по выбранным категориям; если количество запросов не кратно количеству категорий, первые категории получают дополнительный запрос. Столбцы объединяют все запросы для каждой категории. Общий балл учитывает каждую проверку одинаково, поэтому категории с большим количеством проверок имеют больший вес. В продвинутых вопросах используются генерируемые значения и вычисляемые ответы, но общие шаблоны. Базовые и средние вопросы повторяются при длительных запусках. Проверки, не касающиеся формата, допускают JSON-объект, окруженный лишним текстом; тест на форматирование требует только валидный JSON с запрошенными значениями и типами. Ошибки или пустые ответы останавливают запуск вместо того, чтобы считаться неправильными. Оценки: A ≥ 90, B ≥ 80, C ≥ 70, D ≥ 60, в остальных случаях F. Для сравнения моделей и повторных запусков используйте одну и ту же версию набора, тип, уровень и длину запуска. Сгенерированные данные следует проверить перед обучением; держите данные для оценки отдельно от обучающих данных.