モデルをテストする。
モデルに何ができるかをより明確に。クイックベンチマークを実行し、結果をインサイトに変えましょう。
実行設定
モデル、ベンチマーク、難易度を選択してください。
同じシード、タイプ、実行回数を再利用すると、同一の高度な質問で比較できます。
✳実行にはクレジットが消費される場合があります。実際のコストはモデルと使用されたトークンによって異なります。
レポートカード
少しの明確さが大きな違いを生みます。
パフォーマンスの内訳
カテゴリーを開いて、チェック内容と回答を確認してください。
レポートはここから始まります
モデルを選択してベンチマークを実行し、結果を確認してください。
知っておいていただきたいこと
有用なスナップショットであり、すべてを物語るものではありません。
これらはカスタムの英語テストであり、業界標準のベンチマークではありません。満点は可能ですが、それはモデルがこれらのチェックに合格したことを意味するに過ぎません。スコアは安全性、創造性、または全体的な実世界でのパフォーマンスを測定するものではありません。
スコアリングの仕組みを見る↓各リクエストには、等しい重みのチェックが3つまたは5つ含まれています。リクエストは選択されたカテゴリーをサイクルします。カテゴリー数の倍数でない回数の場合、前のカテゴリーに余分なリクエストが割り当てられます。バーは各カテゴリーのすべてのリクエストを統合したものです。総合スコアは各チェックを等しく重み付けするため、チェック数が多いカテゴリーの比重が高くなります。上級の質問は生成された値と計算された解答キーを使用しますが、テンプレートは共有されます。初級および中級の質問は、実行回数が多い場合に繰り返されます。フォーマット以外のチェックでは、追加のテキストで囲まれたJSONオブジェクトが許可されます。フォーマットテストでは、要求された値と型を持つ有効なJSONのみが必要です。失敗または空のリクエストは、不正解としてカウントされるのではなく、実行を停止させます。成績：A ≥ 90, B ≥ 80, C ≥ 70, D ≥ 60, それ以外はF。モデル間で同じスイートバージョン、タイプ、レベル、実行回数を比較し、実行を繰り返してください。生成されたデータはトレーニング前に確認してください。評価データはトレーニングデータから分離して保持してください。