मॉडल का परीक्षण करें।
आपका मॉडल क्या कर सकता है, इसकी एक स्पष्ट तस्वीर। एक त्वरित बेंचमार्क चलाएं और परिणामों को अंतर्दृष्टि में बदलें।
अपना रन सेटअप करें
एक मॉडल, बेंचमार्क और कठिनाई चुनें।
समान उन्नत प्रश्नों की तुलना करने के लिए एक ही सीड, प्रकार और रन लंबाई का पुन: उपयोग करें।
✳रन के लिए क्रेडिट का उपयोग किया जा सकता है। वास्तविक लागत मॉडल और उपयोग किए गए टोकन पर निर्भर करती है।
आपका रिपोर्ट कार्ड
थोड़ी सी स्पष्टता बहुत काम आती है।
प्रदर्शन विवरण
जांच और प्रतिक्रिया देखने के लिए एक श्रेणी खोलें।
आपकी रिपोर्ट यहाँ से शुरू होती है
एक मॉडल चुनें और इसके परिणाम देखने के लिए बेंचमार्क चलाएँ।
जानना उपयोगी है
एक उपयोगी स्नैपशॉट, पूरी कहानी नहीं।
ये कस्टम अंग्रेजी-भाषा के परीक्षण हैं, उद्योग-मानक बेंचमार्क नहीं। एक पूर्ण स्कोर संभव है और इसका केवल यह अर्थ है कि मॉडल ने इन जांचों को पास कर लिया है। स्कोर सुरक्षा, रचनात्मकता या समग्र वास्तविक दुनिया के प्रदर्शन को नहीं मापते हैं।
स्कोरिंग कैसे काम करती है, देखें↓प्रत्येक अनुरोध में तीन या पांच समान भार वाले चेक होते हैं। अनुरोध चयनित श्रेणियों के माध्यम से चक्रित होते हैं; वे गणनाएं जो श्रेणियों की संख्या के गुणज नहीं हैं, शुरुआती श्रेणियों को एक अतिरिक्त अनुरोध देती हैं। बार प्रत्येक श्रेणी के लिए सभी अनुरोधों को मिलाते हैं। समग्र स्कोर प्रत्येक चेक को समान भार देता है, इसलिए अधिक चेक वाली श्रेणियां अधिक मायने रखती हैं। उन्नत प्रश्न जनरेट किए गए मानों और गणना किए गए उत्तर कुंजियों का उपयोग करते हैं, लेकिन टेम्पलेट साझा करते हैं। बुनियादी और मध्यवर्ती प्रश्न लंबे रन पर दोहराए जाते हैं। गैर-फॉर्मेट चेक अतिरिक्त टेक्स्ट से घिरे JSON ऑब्जेक्ट की अनुमति देते हैं; फॉर्मेटिंग टेस्ट के लिए केवल वैध JSON की आवश्यकता होती है, जिसमें अनुरोधित मान और प्रकार हों। विफल या खाली अनुरोध गलत गिने जाने के बजाय रन को रोक देते हैं। ग्रेड: A ≥ 90, B ≥ 80, C ≥ 70, D ≥ 60, अन्यथा F। विभिन्न मॉडलों में एक ही सूट संस्करण, प्रकार, स्तर और रन लंबाई की तुलना करें, और रन दोहराएं। प्रशिक्षण से पहले जनरेट किए गए डेटा की समीक्षा की जानी चाहिए; मूल्यांकन डेटा को प्रशिक्षण डेटा से अलग रखें।
