Llama 4 × BibiGPT

5 điểm cốt lõi (đọc trong 90 giây)

Những thay đổi chính trong đợt phát hành Llama 4.

1. 1

   Ra mắt ngày 2025-04-05

   Meta phát hành Llama 4 Scout và Maverick ngày 5 tháng 4 năm 2025 — những bản Llama trọng số mở đầu tiên dùng đa phương thức nguyên bản và kiến trúc MoE.

2. 2

   Lần đầu Llama dùng MoE

   Llama 4 là dòng Llama đầu tiên của Meta áp dụng định tuyến MoE. Dù tổng tham số là 109B (Scout) hay 400B (Maverick), mỗi token chỉ kích hoạt khoảng 17B nên chi phí suy luận vẫn ở mức của một mô hình dense 17B.

3. 3

   Scout — ngữ cảnh 10M token

   Ngữ cảnh 10M của Scout dài hơn mọi bản Llama trọng số mở trước đó và vượt nhiều mô hình đóng cùng thời. Kết quả này đạt được nhờ các lớp attention xen kẽ không dùng position embedding và kỹ thuật điều chỉnh nhiệt độ attention khi suy luận.

4. 4

   Maverick — 400B / 128 chuyên gia / dẫn đầu đa phương thức

   Maverick có 128 chuyên gia định tuyến cộng 1 chuyên gia dùng chung, tổng cộng 400 tỉ tham số. Meta cho biết mô hình vượt GPT-4o và Gemini 2.0 Flash trên các bộ benchmark đa phương thức, và triển khai được trên một máy chủ H100 DGX đơn lẻ.

5. 5

   Bản xem trước Behemoth (khoảng 2 nghìn tỉ tham số tổng)

   Meta đồng thời giới thiệu bản xem trước Llama 4 Behemoth — mô hình dạy với khoảng 2 nghìn tỉ tham số tổng, được dùng để huấn luyện Scout và Maverick. Mô hình này chưa được phát hành dưới dạng trọng số mở.

3 tình huống tiêu biểu của người dùng BibiGPT

Dựa trên các nhóm người dùng BibiGPT thực tế, tất cả đều làm được ngay từ hôm nay.

Được các nhà sáng tạo, sinh viên và nhà nghiên cứu yêu thích

Lý do mọi người dùng BibiGPT mỗi ngày để chuyển video thành văn bản.

Được hơn 50.000 người dùng trên toàn thế giới tin dùng

Thêm công cụ miễn phí

Khám phá các công cụ chạy trong trình duyệt khác của chúng tôi — đều miễn phí, không cần đăng ký.