Coloque os modelos à prova.
Uma imagem mais clara do que seu modelo pode fazer. Execute um benchmark rápido e transforme os resultados em insights.
Configure sua execução
Escolha um modelo, benchmark e dificuldade.
Reutilize a mesma semente, tipo e duração da execução para comparar perguntas Avançadas idênticas.
✳As execuções podem consumir créditos. O custo real depende do modelo e dos tokens utilizados.
Seu boletim
Um pouco de clareza faz muita diferença.
Detalhamento de desempenho
Abra uma categoria para inspecionar suas verificações e respostas.
Seu relatório começa aqui
Escolha um modelo e execute o benchmark para ver os resultados.
Bom saber
Um snapshot útil, não a história completa.
Estes são testes personalizados em língua inglesa, não benchmarks padrão da indústria. Uma pontuação perfeita é possível e significa apenas que o modelo passou nestas verificações. As pontuações não medem segurança, criatividade ou desempenho geral no mundo real.
Veja como funciona a pontuação↓Cada solicitação contém três ou cinco verificações com o mesmo peso. As solicitações alternam entre as categorias selecionadas; contagens que não sejam múltiplos do número de categorias dão às primeiras categorias uma solicitação extra. As barras combinam todas as solicitações de cada categoria. A pontuação geral pondera cada verificação igualmente, portanto, categorias com mais verificações contam mais. Perguntas avançadas usam valores gerados e chaves de resposta computadas, mas compartilham modelos. Perguntas básicas e intermediárias se repetem em execuções mais longas. Verificações que não sejam de formato permitem um objeto JSON cercado por texto extra; o teste de formatação exige apenas JSON válido, com os valores e tipos solicitados. Solicitações com falha ou vazias interrompem a execução em vez de serem contadas como erradas. Notas: A ≥ 90, B ≥ 80, C ≥ 70, D ≥ 60, caso contrário F. Compare a mesma versão da suíte, tipo, nível e duração da execução entre modelos, e repita as execuções. Dados gerados devem ser revisados antes do treinamento; mantenha os dados de avaliação separados dos dados de treinamento.