Hãy đưa các mô hình vào thử nghiệm.
Hình ảnh rõ nét hơn về khả năng của mô hình. Chạy benchmark nhanh và chuyển kết quả thành thông tin chi tiết.
Thiết lập lượt chạy của bạn
Chọn mô hình, điểm chuẩn và độ khó.
Sử dụng cùng một hạt giống, loại và độ dài lượt chạy để so sánh các câu hỏi Nâng cao giống hệt nhau.
✳Các lượt chạy có thể sử dụng tín dụng. Chi phí thực tế tùy thuộc vào mô hình và số token được sử dụng.
Phiếu điểm của bạn
Một chút rõ ràng sẽ mang lại hiệu quả lớn.
Chi tiết hiệu suất
Mở một danh mục để kiểm tra các lượt kiểm tra và phản hồi của nó.
Báo cáo của bạn bắt đầu tại đây
Chọn một mô hình và chạy benchmark để xem kết quả.
Điều cần biết
Một bản tóm tắt hữu ích, không phải là toàn bộ câu chuyện.
Đây là các bài kiểm tra tùy chỉnh bằng tiếng Anh, không phải là các benchmark tiêu chuẩn công nghiệp. Điểm tuyệt đối là có thể và chỉ có nghĩa là mô hình đã vượt qua các kiểm tra này. Điểm số không đo lường mức độ an toàn, sáng tạo hoặc hiệu suất thực tế tổng thể.
Xem cách tính điểm↓Mỗi yêu cầu chứa ba hoặc năm lượt kiểm tra có trọng số bằng nhau. Các yêu cầu xoay vòng qua các danh mục đã chọn; số lượng không phải là bội số của số danh mục sẽ khiến các danh mục đầu tiên có thêm một yêu cầu. Các thanh biểu đồ kết hợp tất cả các yêu cầu cho mỗi danh mục. Điểm tổng thể tính trọng số mỗi lượt kiểm tra bằng nhau, vì vậy các danh mục có nhiều lượt kiểm tra hơn sẽ có giá trị cao hơn. Các câu hỏi nâng cao sử dụng các giá trị được tạo và khóa đáp án được tính toán, nhưng dùng chung mẫu. Các câu hỏi cơ bản và trung cấp sẽ lặp lại trong các lượt chạy dài hơn. Các kiểm tra không định dạng cho phép một đối tượng JSON được bao quanh bởi văn bản bổ sung; bài kiểm tra định dạng yêu cầu chỉ JSON hợp lệ, với các giá trị và kiểu dữ liệu được yêu cầu. Các yêu cầu thất bại hoặc trống sẽ dừng lượt chạy thay vì được tính là sai. Xếp loại: A ≥ 90, B ≥ 80, C ≥ 70, D ≥ 60, còn lại là F. Hãy so sánh cùng một phiên bản bộ thử nghiệm, loại, cấp độ và độ dài lượt chạy giữa các mô hình, và lặp lại các lượt chạy. Dữ liệu được tạo nên được xem xét trước khi huấn luyện; hãy giữ dữ liệu đánh giá tách biệt với dữ liệu huấn luyện.