Meta ra mắt Llama 3.1, mô hình nguồn mở lớn và tốt hiện nay

Công ty mẹ của Facebook là Meta đã công bố phát hành mô hình ngôn ngữ lớn nguồn mở Llama 3.1. LLM mới sẽ có ba kích cỡ - tham số 8B, 70B và 405B - kích cỡ sau là AI nguồn mở lớn nhất được xây dựng cho đến nay, được CEO của Meta là Mark Zuckerberg mô tả là "mô hình AI nguồn mở cấp độ biên giới đầu tiên".

Meta ra mắt Llama 3.1, mô hình nguồn mở lớn nhất và tốt nhất hiện nay

“Năm ngoái, Llama 2 chỉ có thể so sánh với một thế hệ mô hình cũ hơn ở phía sau biên giới,” Zuckerberg viết trong một bài đăng trên blog vào thứ Ba “Năm nay, Llama 3 có thể cạnh tranh với các mô hình tiên tiến nhất và dẫn đầu trong một số lĩnh vực. Bắt đầu từ năm sau, chúng tôi hy vọng các mô hình Llama trong tương lai sẽ trở thành tiên tiến nhất trong ngành.”

Được đào tạo trên 15 nghìn tỷ token sử dụng 16.000 GPU H100 , Meta tuyên bố rằng mô hình 405B lớn hơn đáng kể so với người tiền nhiệm Llama 3. Theo báo cáo, nó có thể cạnh tranh với các mô hình nguồn đóng hàng đầu hiện nay, chẳng hạn như GPT-4o của OpenAI, Gemini 1.5 của Google hoặc Claude 3.5 của Anthropic về "kiến thức chung, toán học, sử dụng công cụ và dịch đa ngôn ngữ". Zuckerberg đã dự đoán trên Instagram rằng Meta AI sẽ vượt qua ChatGPT để trở thành trợ lý AI được sử dụng rộng rãi nhất vào cuối năm.

Công ty lưu ý rằng cả ba phiên bản của Llama 3.1 sẽ có độ dài nhắc nhở mở rộng là 128k token, cho phép người dùng cung cấp thêm ngữ cảnh và tài liệu hỗ trợ lên đến một cuốn sách. Chúng cũng sẽ hỗ trợ 8 ngôn ngữ khi ra mắt. Hơn nữa, Meta đã sửa đổi thỏa thuận cấp phép của mình để cho phép các nhà phát triển sử dụng đầu ra của Llama 3.1 để đào tạo các mô hình khác.

Meta cũng thông báo rằng họ đang hợp tác với hơn một chục công ty khác trong ngành để phát triển hơn nữa hệ sinh thái Llama. Amazon, Databricks và Nvidia sẽ ra mắt bộ phần mềm dịch vụ đầy đủ để giúp các nhà phát triển tinh chỉnh các mô hình của riêng họ dựa trên Llama, trong khi công ty khởi nghiệp Groq đã "xây dựng dịch vụ suy luận có độ trễ thấp, chi phí thấp" cho họ mô hình 3.1 mới, Zuckerberg viết.

Vì là mã nguồn mở, Llama 3.1 sẽ có sẵn trên tất cả các dịch vụ đám mây lớn bao gồm AWS, Google Cloud và Azure.

Theo dõi Phúc Anh để cập nhật các tin tức công nghệ thú vị nhé!