Bảng xếp hạng “Chatbot Arena” (ra mắt vào tháng 5/2023) của LMSYS (Large Model Systems Organization) - tổ chức đánh giá và xếp hạng khả năng của các mô hình ngôn ngữ lớn - đã công bố ChatGPT không còn là chatbot thông minh nhất thế giới.
Kể từ khi được phát hành, ChatGPT đã nhanh chóng tạo ra cơn sốt toàn cầu bởi sự thông minh và đa nhiệm của nó. Ngoài ra, mô hình ngôn ngữ của OpenAI và các phiên bản GPT-4 chưa bao giờ rời khỏi vị trí đầu bảng của bảng xếp hạng “Chatbot Arena” cho đến thời điểm hiện tại.
Bảng xếp hạng “Chatbot Arena" trong lần cập nhật gần nhất.
Tuy nhiên, trong lần cập nhật gần nhất của bảng xếp hạng "Chatbot Arena", Claude 3 Opus đã vượt qua ChatGPT (GPT-4-1106-preview) của OpenAI để trở thành mô hình ngôn ngữ lớn thông minh nhất thế giới. Nhưng điểm số đánh giá của Claude 3 Opus và GPT-4-1106-preview đều không cách nhau quá xa.
Claude 3 Opus được phát triển bởi Anthropic, công ty khởi nghiệp có trụ sở tại San Francisco, là mô hình ngôn ngữ được sử dụng để phát triển chatbot Claude AI.
Các chỉ số của các phiên bản Claude 3 đều vượt trội.
Theo Anthropic, các điểm chuẩn đánh giá chung cho hệ thống AI của Claude 3 Opus đều vượt trội so hơn với các mô hình cùng loại về các chỉ số bao gồm: MMLU (Đo lường mức độ hiểu ngôn ngữ đa nhiệm lớn), MATH (Giải quyết vấn đề về toán học),.... Bên cạnh đó, mô hình ngôn ngữ này còn có khả năng có thể xử lý nhiều định dạng khác nhau bao gồm hình ảnh, biểu đồ, đồ thị và sơ đồ kỹ thuật.
Trên trang TechCrunch, cây viết Kyle Wiggers nhận định về khả năng tác vụ của Claude 3 Opus: “Opus là một trong những chatbot hữu ích nhất mà tôi từng sử dụng, ít nhất là khi Opus đưa ra câu trả lời thì tất cả đều rất dễ hiểu, ngắn gọn và không có từ chuyên ngành.”
Claude 3 Opus vẫn còn gặp khó khăn trong một số câu hỏi.
Tuy nhiên, Opus lại có phần thua kém các chatbot khác về vấn đề trả lời thông tin của các sự kiện được diễn ra từ năm ngoái, những sự kiện mà đáng lẽ phải có trong cơ sở dữ liệu của Opus trước tháng 8 năm 2023. Cụ thể, cây viết Kyle Wiggers đã hỏi Opus về những sự kiện được diễn ra vào tháng 7 năm 2023, kết quả là Opus không thể thông tin được một cách chính xác và rõ ràng.
Kim Yến
