Modelleri teste tabi tutun.
Modelinizin neler yapabileceğine dair daha net bir tablo. Hızlı bir kıyaslama çalışması yapın ve sonuçları içgörüye dönüştürün.
Çalıştırmanızı yapılandırın
Bir model, kıyaslama ve zorluk seviyesi seçin.
Aynı Gelişmiş soruları karşılaştırmak için aynı tohumu, türü ve çalıştırma uzunluğunu kullanın.
✳Çalıştırmalar kredi kullanabilir. Gerçek maliyet, kullanılan modele ve tokenlara bağlıdır.
Karne
Küçük bir açıklama çok fark yaratır.
Performans dökümü
Kontrollerini ve yanıtını incelemek için bir kategori açın.
Raporunuz burada başlıyor
Bir model seçin ve sonuçlarını görmek için kıyaslamayı çalıştırın.
Bilmenizde fayda var
Kullanışlı bir anlık görüntü, hikayenin tamamı değil.
Bunlar endüstri standardı kıyaslamalar değil, özel İngilizce dil testleridir. Tam puan almak mümkündür ve yalnızca modelin bu kontrollerden geçtiği anlamına gelir. Puanlar güvenliği, yaratıcılığı veya genel gerçek dünya performansını ölçmez.
Puanlamanın nasıl çalıştığını görün↓Her istek, eşit ağırlıklı üç veya beş kontrol içerir. İstekler seçilen kategoriler arasında döngüye girer; kategori sayısının katı olmayan sayılar, önceki kategorilere ek bir istek verir. Çubuklar, her kategori için tüm istekleri birleştirir. Genel puan her kontrolü eşit ağırlıklandırır, bu nedenle daha fazla kontrolü olan kategoriler daha fazla sayılır. İleri düzey sorular üretilen değerler ve hesaplanmış cevap anahtarları kullanır ancak şablonları paylaşır. Temel ve orta düzey sorular daha uzun çalışmalarda tekrarlanır. Format dışı kontroller, etrafı ek metinlerle çevrili bir JSON nesnesine izin verir; format testi ise yalnızca istenen değerler ve türlerle geçerli bir JSON gerektirir. Hatalı veya boş istekler, yanlış sayılmak yerine çalışmayı durdurur. Notlar: A ≥ 90, B ≥ 80, C ≥ 70, D ≥ 60, aksi takdirde F. Modeller arasında aynı set sürümünü, türünü, düzeyini ve çalışma uzunluğunu karşılaştırın ve çalışmaları tekrarlayın. Üretilen veriler eğitimden önce gözden geçirilmelidir; değerlendirme verilerini eğitim verilerinden ayrı tutun.