Poddaj modele próbie.
Jaśniejszy obraz tego, co potrafi Twój model. Przeprowadź szybki benchmark i zamień wyniki w wiedzę.
Skonfiguruj uruchomienie
Wybierz model, benchmark i poziom trudności.
Użyj tego samego ziarna, typu i długości uruchomienia, aby porównać identyczne pytania zaawansowane.
✳Uruchomienia mogą zużywać kredyty. Rzeczywisty koszt zależy od modelu i liczby użytych tokenów.
Twoja karta wyników
Odrobina jasności wiele daje.
Szczegółowa analiza wydajności
Otwórz kategorię, aby sprawdzić testy i odpowiedzi.
Twój raport zaczyna się tutaj
Wybierz model i uruchom benchmark, aby zobaczyć wyniki.
Warto wiedzieć
Przydatny przekrój, a nie pełna historia.
Są to niestandardowe testy w języku angielskim, a nie branżowe benchmarki. Maksymalny wynik jest możliwy i oznacza jedynie, że model przeszedł te kontrole. Wyniki nie mierzą bezpieczeństwa, kreatywności ani ogólnej wydajności w rzeczywistych warunkach.
Zobacz, jak działa punktacja↓Każde żądanie zawiera trzy lub pięć równoważnych kontroli. Żądania przechodzą cyklicznie przez wybrane kategorie; liczby, które nie są wielokrotnością liczby kategorii, dają wcześniejszym kategoriom dodatkowe żądanie. Paski łączą wszystkie żądania dla każdej kategorii. Wynik ogólny traktuje każdą kontrolę jednakowo, więc kategorie z większą liczbą kontroli mają większe znaczenie. Pytania zaawansowane wykorzystują generowane wartości i obliczane klucze odpowiedzi, ale korzystają ze wspólnych szablonów. Pytania podstawowe i średnie powtarzają się przy dłuższych przebiegach. Kontrole niezwiązane z formatem dopuszczają obiekt JSON otoczony dodatkowym tekstem; test formatowania wymaga wyłącznie poprawnego formatu JSON z żądanymi wartościami i typami. Nieudane lub puste żądania przerywają przebieg zamiast być liczone jako błędne. Oceny: A ≥ 90, B ≥ 80, C ≥ 70, D ≥ 60, w przeciwnym razie F. Porównuj tę samą wersję zestawu, typ, poziom i długość przebiegu między modelami oraz powtarzaj przebiegi. Wygenerowane dane powinny zostać przejrzane przed trenowaniem; dane ewaluacyjne należy trzymać oddzielnie od danych treningowych.