Modelle auf die Probe stellen.
Ein klareres Bild davon, was Ihr Modell leisten kann. Führen Sie einen schnellen Benchmark durch und verwandeln Sie die Ergebnisse in Erkenntnisse.
Durchlauf konfigurieren
Wählen Sie ein Modell, einen Benchmark und einen Schwierigkeitsgrad aus.
Verwenden Sie denselben Seed, Typ und dieselbe Länge, um identische fortgeschrittene Fragen zu vergleichen.
✳Durchläufe können Credits verbrauchen. Die tatsächlichen Kosten hängen vom Modell und den verwendeten Tokens ab.
Ihr Zeugnis
Ein wenig Klarheit bewirkt viel.
Leistungsanalyse
Öffnen Sie eine Kategorie, um deren Prüfungen und Antworten zu untersuchen.
Ihr Bericht beginnt hier
Wählen Sie ein Modell und führen Sie den Benchmark aus, um die Ergebnisse zu sehen.
Gut zu wissen
Eine nützliche Momentaufnahme, nicht die ganze Geschichte.
Dies sind benutzerdefinierte englischsprachige Tests, keine Industriestandard-Benchmarks. Eine perfekte Punktzahl ist möglich und bedeutet lediglich, dass das Modell diese Prüfungen bestanden hat. Die Punktzahlen messen weder Sicherheit, Kreativität noch die allgemeine Leistung in der realen Welt.
Erfahren Sie, wie die Bewertung funktioniert↓Jede Anfrage enthält drei oder fünf gleich gewichtete Prüfungen. Die Anfragen durchlaufen die ausgewählten Kategorien; Anzahlen, die kein Vielfaches der Anzahl der Kategorien sind, geben den früheren Kategorien eine zusätzliche Anfrage. Die Balken kombinieren alle Anfragen für jede Kategorie. Die Gesamtpunktzahl gewichtet jede Prüfung gleich, sodass Kategorien mit mehr Prüfungen stärker ins Gewicht fallen. Fortgeschrittene Fragen verwenden generierte Werte und berechnete Antwortschlüssel, teilen sich jedoch Vorlagen. Basis- und Mittelstufenfragen wiederholen sich bei längeren Durchläufen. Nicht-Formatprüfungen erlauben ein JSON-Objekt, das von zusätzlichem Text umgeben ist; der Formatierungstest erfordert ausschließlich gültiges JSON mit den angeforderten Werten und Typen. Fehlgeschlagene oder leere Anfragen stoppen den Durchlauf, anstatt als falsch gezählt zu werden. Noten: A ≥ 90, B ≥ 80, C ≥ 70, D ≥ 60, ansonsten F. Vergleichen Sie dieselbe Suite-Version, denselben Typ, dasselbe Level und dieselbe Durchlauf Länge über Modelle hinweg und wiederholen Sie Durchläufe. Generierte Daten sollten vor dem Training überprüft werden; halten Sie Evaluierungsdaten von Trainingsdaten getrennt.