Meta Melancarkan Llama 4: LLM Pelbagai Modal Terunggul
Siri ini termasuk tiga versi: Llama 4 Scout, Llama 4 Maverick dan Llama 4 Behemoth.
Pada awal April 2025, Meta melancarkan Llama 4 , siri model AI terkini yang direka untuk membawa syarikat ke peringkat seterusnya. Setiap model Llama 4 baharu mempunyai peningkatan yang ketara berbanding pendahulunya, dan ini adalah ciri baharu yang menonjol untuk dicuba.
3. Seni Bina Campuran Pakar (KPM).
Salah satu ciri yang paling ketara bagi model Llama 4 ialah seni bina MoE baharu, yang pertama untuk siri Llama, yang menggunakan pendekatan berbeza daripada model sebelumnya. Dalam seni bina baharu, hanya sebahagian kecil daripada parameter model yang diaktifkan untuk setiap token, tidak seperti dalam model pengubah padat tradisional seperti Llama 3 dan ke bawah, di mana semua parameter diaktifkan untuk setiap tugas.
Sebagai contoh, Llama 4 Maverick hanya menggunakan 17 bilion parameter aktif daripada 400 bilion, dengan 128 pakar dihalakan dan seorang pakar dikongsi. Llama 4 Scout, yang terkecil dalam siri ini, mempunyai sejumlah 109 bilion parameter, mengaktifkan hanya 17 bilion dengan 16 pakar.
Versi terbesar trio, Llama 4 Behemoth, menggunakan 288 bilion parameter aktif (dengan 16 pakar) daripada jumlah hampir dua trilion parameter. Terima kasih kepada seni bina baharu ini, hanya dua pakar ditugaskan untuk setiap tugas.
Terima kasih kepada perubahan seni bina, model dalam siri Llama 4 lebih cekap dari segi pengiraan semasa latihan dan inferens. Mendayakan hanya sebahagian kecil parameter mengurangkan kos perkhidmatan dan kependaman. Terima kasih kepada seni bina MoE, Meta mendakwa bahawa Llama boleh berjalan pada satu GPU Nvidia H100, satu pencapaian yang mengagumkan memandangkan bilangan parameter. Walaupun tiada metrik khusus, adalah dipercayai bahawa setiap pertanyaan kepada ChatGPT menggunakan berbilang GPU Nvidia, yang menghasilkan overhed yang lebih besar dalam hampir setiap metrik yang boleh diukur.
2. Keupayaan pemprosesan berbilang modal asli
Satu lagi kemas kini penting untuk model AI Llama 4 ialah pemprosesan multimodal asli, bermakna ketiga-tiga mereka boleh memahami teks dan imej secara serentak.
Ini adalah terima kasih kepada gabungan yang dilakukan dalam fasa latihan awal, di mana token teks dan visual disepadukan ke dalam seni bina bersatu. Model dilatih menggunakan sejumlah besar teks, imej dan data video yang tidak berlabel.
Ia tidak menjadi lebih baik daripada ini. Jika anda masih ingat, peningkatan Llama 3.2 Meta , yang dikeluarkan pada September 2024, memperkenalkan beberapa model baharu (10 kesemuanya), termasuk 5 model penglihatan multimodal dan 5 model teks. Dengan generasi ini, syarikat tidak perlu mengeluarkan model teks dan penglihatan yang berasingan berkat keupayaan pemprosesan multimodal asli.
Selain itu, Llama 4 menggunakan pengekod visual yang dipertingkatkan, membolehkan model mengendalikan tugas inferens visual yang kompleks dan input berbilang imej, menjadikannya mampu mengendalikan aplikasi yang memerlukan pemahaman lanjutan tentang teks dan imej. Pemprosesan multimodal juga membolehkan model LLama 4 digunakan dalam pelbagai aplikasi.
1. Tetingkap kontekstual peneraju industri
Model AI Llama 4 mempunyai tetingkap kontekstual yang belum pernah berlaku sebelum ini sehingga 10 juta token. Semasa Llama 4 Behemoth masih dalam pembangunan pada masa penerbitan, Llama 4 Scout telah menetapkan penanda aras industri baharu dengan keupayaannya untuk menyokong sehingga 10 juta token dalam panjang konteks, membolehkan anda memasukkan teks lebih panjang daripada 5 juta perkataan.
Panjang konteks lanjutan ini ialah peningkatan ketara daripada token 8k Llama 3 apabila ia mula-mula dilancarkan dan juga pengembangan seterusnya kepada 128k selepas peningkatan Llama 3.2. Dan bukan hanya 10 juta panjang konteks Pengakap Llama 4 yang menarik; Malah Llama 4 Maverick, dengan satu juta panjang konteksnya, adalah pencapaian yang mengagumkan.
Llama 3.2 kini merupakan salah satu chatbot AI terbaik untuk perbualan lanjutan. Walau bagaimanapun, tetingkap konteks Llama 4 yang diperluas meletakkan Llama di hadapan, mengatasi tetingkap konteks token 2 juta teratas Gemini sebelumnya, 200K Sonnet Claude 3.7 dan 128K GPT-4.5.
Dengan tetingkap konteks yang besar, siri Llama 4 boleh mengendalikan tugasan yang memerlukan input dengan jumlah maklumat yang besar. Tetingkap besar itu berguna untuk tugas seperti menganalisis dokumen yang panjang dan berbilang, menganalisis asas kod yang besar secara terperinci dan membuat penaakulan pada set data yang besar.
Ia juga membolehkan Llama 4 menjalankan perbualan lanjutan, tidak seperti model dan model Llama sebelumnya daripada syarikat AI lain. Jika salah satu sebab Gemini 2.5 Pro ialah model penaakulan terbaik ialah tetingkap konteksnya yang besar, anda boleh bayangkan betapa hebatnya tetingkap konteks 5x atau 10x.
Model Llama 3 siri Meta telah menjadi antara LLM terbaik di pasaran. Tetapi dengan keluaran siri Llama 4, Meta mengambil langkah lebih jauh dengan bukan sahaja memfokuskan pada prestasi inferens yang dipertingkatkan (terima kasih kepada tetingkap konteks peneraju industri baharu) tetapi juga memastikan model yang paling cekap mungkin dengan menggunakan seni bina MoE baharu semasa latihan dan inferens.
Keupayaan pemprosesan multimodal asli Llama 4, seni bina MoE yang cekap dan tetingkap konteks besar meletakkannya sebagai model AI berwajaran berat yang terbuka, berprestasi tinggi, fleksibel yang boleh bersaing dengan atau mengatasi model terkemuka untuk inferens, pengekodan dan banyak tugas lain.
Mewujudkan hubungan yang sihat dengan teknologi boleh kelihatan menakutkan, tetapi perubahan kecil sering membuat perbezaan yang besar.
Apl Galeri Samsung lebih berkebolehan daripada yang anda fikirkan, tetapi itu mungkin tidak jelas dengan serta-merta.
Microsoft dikatakan semakin hampir untuk melancarkan telefon pintar boleh lipat pertamanya apabila ia diberikan paten untuk telefon boleh lipat dengan keupayaan untuk melipat 360 darjah tetapi tanpa menimbulkan kedutan pada skrin pada 1 Oktober.
Google sedang menguji ciri pengesahan baharu melalui tanda semak biru dalam carian. Ciri ini akan membantu pengguna mengelak daripada mengklik pada pautan tapak web palsu atau penipuan.
Pada pandangan pertama, Microsoft 365 dan Office 2024 mungkin kelihatan sangat serupa, kerana kedua-duanya memberi anda akses kepada aplikasi Microsoft yang popular dan digunakan secara meluas.
Kod Elemental Dungeons ialah bentuk ganjaran yang diperlukan untuk pemain. Seperti mana-mana permainan dalam talian lain di Roblox, pemain boleh menerima bantuan ini sebagai pertukaran wang atau barangan lain.
Apabila anda mencetak dokumen Word, cipta jadual dalam Word, mengulangi tajuk dalam Word membantu kami menjejak tajuk dengan lebih mudah, membaca tajuk dokumen dengan lancar merentas halaman yang berbeza, terutamanya dengan tajuk yang panjang.
iOS 18 iMessage baharu dikemas kini dengan mesej animasi, kesan teks dengan banyak pilihan untuk digunakan untuk mesej yang anda hantar.
Terdapat fakta menarik tentang babi yang tidak semua orang tahu: babi dianggap musuh ular, kerana apabila kedua-dua haiwan ini bertemu, kebanyakan ular akan menjadi makanan untuk babi.
Berapakah jarak dari Bumi ke Musytari? Jika anda tidak tahu, artikel ini akan memberitahu anda sejauh mana Musytari dari Bumi.
Jeneral manakah yang keluar daripada meta Mobile Alliance? Jom explore sekarang
Graves DTCL dari musim 1, musim 3 dan musim 6 semuanya berharga 1 emas dan nampaknya cuma juara tambahan untuk merangsang klan, peranan utama dalam early game masih digunakan tetapi tidak banyak. Setakat DTCL musim 7.5, Graves telah melonjakkan harganya kepada 4 emas dan pastinya merupakan pembawa yang sangat diperlukan jika anda memutuskan untuk bermain Thunder Dragon atau Gunner.
Dengan telefon Samsung, anda harus menggunakan ciri bunyi apl yang berasingan. Contohnya, anda boleh memainkan Apple Music dan telefon anda akan menghalakan audio melalui pembesar suara kereta anda.
Terdapat banyak status yang baik tentang kerja di Internet. Artikel ini akan meringkaskan untuk anda status pekerjaan yang baik dan bermakna.
Apakah kapsyen ulang tahun perkahwinan yang baik dan bermakna? Artikel itu akan meringkaskan untuk anda kapsyen ulang tahun yang ringkas dan padat yang boleh membuatkan pasangan anda ingat selama-lamanya.