Metti alla prova i modelli.
Un quadro più chiaro di ciò che il tuo modello può fare. Esegui un benchmark rapido e trasforma i risultati in intuizioni.
Configura l'esecuzione
Scegli un modello, un benchmark e un livello di difficoltà.
Riesegui con lo stesso seed, tipo e lunghezza per confrontare domande Avanzate identiche.
✳Le esecuzioni potrebbero consumare crediti. Il costo effettivo dipende dal modello e dai token utilizzati.
La tua pagella
Un po' di chiarezza fa la differenza.
Analisi delle prestazioni
Apri una categoria per ispezionare i controlli e la risposta.
Il tuo report inizia qui
Scegli un modello ed esegui il benchmark per vederne i risultati.
Buono a sapersi
Un'istantanea utile, non l'intera storia.
Questi sono test personalizzati in lingua inglese, non benchmark standard del settore. Un punteggio perfetto è possibile e significa solo che il modello ha superato questi controlli. I punteggi non misurano la sicurezza, la creatività o le prestazioni complessive nel mondo reale.
Scopri come funziona il punteggio↓Ogni richiesta contiene tre o cinque controlli con lo stesso peso. Le richieste ciclano tra le categorie selezionate; i conteggi che non sono multipli del numero di categorie assegnano una richiesta extra alle categorie precedenti. Le barre combinano tutte le richieste per ogni categoria. Il punteggio complessivo pesa ogni controllo equamente, quindi le categorie con più controlli contano di più. Le domande avanzate utilizzano valori generati e chiavi di risposta calcolate, ma condividono i template. Le domande base e intermedie si ripetono nelle esecuzioni più lunghe. I controlli non relativi al formato consentono un oggetto JSON circondato da testo extra; il test di formattazione richiede solo JSON valido, con i valori e i tipi richiesti. Le richieste fallite o vuote interrompono l'esecuzione invece di essere conteggiate come errate. Voti: A ≥ 90, B ≥ 80, C ≥ 70, D ≥ 60, altrimenti F. Confronta la stessa versione della suite, tipo, livello e durata dell'esecuzione tra i modelli, e ripeti le esecuzioni. I dati generati dovrebbero essere revisionati prima dell'addestramento; mantieni i dati di valutazione separati dai dati di addestramento.