Mettez les modèles à l'épreuve.
Une image plus claire de ce que votre modèle peut faire. Lancez un benchmark rapide et transformez les résultats en enseignements.
Configurez votre exécution
Choisissez un modèle, un benchmark et un niveau de difficulté.
Réutilisez la même graine, le même type et la même longueur d'exécution pour comparer des questions Avancées identiques.
✳Les exécutions peuvent utiliser des crédits. Le coût réel dépend du modèle et des jetons utilisés.
Votre bulletin de notes
Un peu de clarté fait toute la différence.
Détail des performances
Ouvrez une catégorie pour inspecter ses vérifications et sa réponse.
Votre rapport commence ici
Choisissez un modèle et lancez le benchmark pour voir ses résultats.
À savoir
Un instantané utile, pas toute l'histoire.
Il s'agit de tests personnalisés en langue anglaise, et non de benchmarks standards de l'industrie. Un score parfait est possible et signifie seulement que le modèle a réussi ces vérifications. Les scores ne mesurent pas la sécurité, la créativité ou la performance globale en conditions réelles.
Voir comment fonctionne le score↓Chaque demande contient trois ou cinq vérifications pondérées équitablement. Les demandes alternent entre les catégories sélectionnées ; les nombres qui ne sont pas des multiples du nombre de catégories accordent une demande supplémentaire aux premières catégories. Les barres combinent toutes les demandes pour chaque catégorie. Le score global pondère chaque vérification équitablement, donc les catégories avec plus de vérifications comptent davantage. Les questions avancées utilisent des valeurs générées et des clés de réponse calculées, mais partagent des modèles. Les questions basiques et intermédiaires se répètent lors des exécutions plus longues. Les vérifications hors format autorisent un objet JSON entouré de texte supplémentaire ; le test de formatage exige uniquement un JSON valide, avec les valeurs et types demandés. Les demandes échouées ou vides interrompent l'exécution au lieu d'être comptées comme erronées. Notes : A ≥ 90, B ≥ 80, C ≥ 70, D ≥ 60, sinon F. Comparez la même version de suite, le même type, le même niveau et la même longueur d'exécution entre les modèles, et répétez les exécutions. Les données générées doivent être examinées avant l'entraînement ; gardez les données d'évaluation séparées des données d'entraînement.