Cerebras Melancarkan Teknologi Inferens AI Terpantas di Dunia, Prestasi 20x ganda Daripada NVIDIA

Sistem Cerebras baru sahaja mengumumkan Inferens Cerebras secara rasmi, yang dianggap sebagai penyelesaian inferens AI terpantas di dunia. Inferens Cerebras ini menyampaikan prestasi sehingga 1,800 token sesaat untuk model Llama 3.1 8B (8 bilion parameter) dan 450 token sesaat untuk Llama 3.1 70B, yang sehingga hampir 20 kali lebih pantas daripada penyelesaian inferens AI berasaskan GPU NVIDIA yang tersedia dalam awan Azure berskala besar di seluruh dunia hari ini.

Selain prestasinya yang luar biasa, harga perkhidmatan penyelesaian inferens baharu ini juga sangat murah, pada sebahagian kecil daripada harga platform awan GPU yang popular. Sebagai contoh, pelanggan boleh mendapatkan satu juta token dengan hanya 10 sen, sekali gus memberikan prestasi harga 100x lebih tinggi untuk beban kerja AI.

Ketepatan 16-bit Cerebras dan kelajuan inferens 20x lebih pantas akan membolehkan pembangun membina aplikasi AI berprestasi tinggi generasi seterusnya tanpa menjejaskan kelajuan atau kos. Nisbah harga/prestasi terobosan ini dimungkinkan oleh sistem Cerebras CS-3 dan pemproses AI Wafer Scale Engine 3 (WSE-3). CS-3 menawarkan 7,000 kali lebih lebar jalur memori daripada Nvidia H100, menyelesaikan cabaran teknikal jalur lebar memori untuk AI generatif.

Cerebras Melancarkan Teknologi Inferens AI Terpantas di Dunia, Prestasi 20x ganda Daripada NVIDIA

Inferens Cerebras kini tersedia pada tiga peringkat berikut:

  • Peringkat Percuma menawarkan akses API percuma dan had penggunaan yang besar kepada sesiapa sahaja yang mendaftar.
  • Peringkat Pembangun direka bentuk untuk penggunaan fleksibel tanpa pelayan, menyediakan pengguna dengan titik akhir API pada sebahagian kecil daripada kos alternatif sedia ada di pasaran, dengan model Llama 3.1 8B dan 70B masing-masing berharga 10 sen dan 60 sen bagi setiap juta token.
  • Pelan Peringkat Perusahaan menawarkan model yang diperhalusi, perjanjian tahap perkhidmatan tersuai dan sokongan khusus. Sesuai untuk beban kerja yang berterusan, perniagaan boleh mengakses Inferens Cerebras melalui awan peribadi yang diuruskan oleh Cerebras atau di premis.

Dengan prestasi rekod, harga kompetitif dan akses API terbuka, Cerebras Inference menetapkan standard baharu untuk pembangunan dan penggunaan LLM terbuka. Sebagai satu-satunya penyelesaian yang mampu menyampaikan latihan dan inferens berkelajuan tinggi, Cerebras membuka kemungkinan baharu sepenuhnya untuk AI.

Dengan trend AI berkembang pesat, dan NVIDIA kini memegang kedudukan dominan dalam pasaran, kemunculan syarikat seperti Cerebras dan Groq menandakan potensi peralihan dalam dinamik keseluruhan industri. Memandangkan permintaan untuk penyelesaian inferens AI yang lebih pantas dan lebih kos efektif meningkat, penyelesaian seperti Cerebras Inference berada pada kedudukan yang baik untuk mengambil peluang terhadap penguasaan NVIDIA, terutamanya dalam ruang inferens.

Sign up and earn $1000 a day ⋙

Leave a Comment

7 Tweak Teknologi Mudah Yang Meningkatkan Kualiti Hidup Anda Secara Dramatik

7 Tweak Teknologi Mudah Yang Meningkatkan Kualiti Hidup Anda Secara Dramatik

Mewujudkan hubungan yang sihat dengan teknologi boleh kelihatan menakutkan, tetapi perubahan kecil sering membuat perbezaan yang besar.

8 Perkara Yang Anda Tidak Tahu Boleh Anda Lakukan dalam Apl Galeri Samsung

8 Perkara Yang Anda Tidak Tahu Boleh Anda Lakukan dalam Apl Galeri Samsung

Apl Galeri Samsung lebih berkebolehan daripada yang anda fikirkan, tetapi itu mungkin tidak jelas dengan serta-merta.

Telefon pintar boleh lipat Microsoft tidak akan mempunyai lipatan

Telefon pintar boleh lipat Microsoft tidak akan mempunyai lipatan

Microsoft dikatakan semakin hampir untuk melancarkan telefon pintar boleh lipat pertamanya apabila ia diberikan paten untuk telefon boleh lipat dengan keupayaan untuk melipat 360 darjah tetapi tanpa menimbulkan kedutan pada skrin pada 1 Oktober.

Google menguji tanda semak biru dalam carian

Google menguji tanda semak biru dalam carian

Google sedang menguji ciri pengesahan baharu melalui tanda semak biru dalam carian. Ciri ini akan membantu pengguna mengelak daripada mengklik pada pautan tapak web palsu atau penipuan.

Membezakan Microsoft 365 dan Office 2024

Membezakan Microsoft 365 dan Office 2024

Pada pandangan pertama, Microsoft 365 dan Office 2024 mungkin kelihatan sangat serupa, kerana kedua-duanya memberi anda akses kepada aplikasi Microsoft yang popular dan digunakan secara meluas.

Kod Elemental Dungeons Terkini dan Cara Memasukkan Kod

Kod Elemental Dungeons Terkini dan Cara Memasukkan Kod

Kod Elemental Dungeons ialah bentuk ganjaran yang diperlukan untuk pemain. Seperti mana-mana permainan dalam talian lain di Roblox, pemain boleh menerima bantuan ini sebagai pertukaran wang atau barangan lain.

Bagaimana untuk mengulangi bar tajuk jadual dalam Word

Bagaimana untuk mengulangi bar tajuk jadual dalam Word

Apabila anda mencetak dokumen Word, cipta jadual dalam Word, mengulangi tajuk dalam Word membantu kami menjejak tajuk dengan lebih mudah, membaca tajuk dokumen dengan lancar merentas halaman yang berbeza, terutamanya dengan tajuk yang panjang.

Cara membuat mesej animasi pada iMessage iOS 18

Cara membuat mesej animasi pada iMessage iOS 18

iOS 18 iMessage baharu dikemas kini dengan mesej animasi, kesan teks dengan banyak pilihan untuk digunakan untuk mesej yang anda hantar.

Mengapa babi adalah musuh ular?

Mengapa babi adalah musuh ular?

Terdapat fakta menarik tentang babi yang tidak semua orang tahu: babi dianggap musuh ular, kerana apabila kedua-dua haiwan ini bertemu, kebanyakan ular akan menjadi makanan untuk babi.

Berapakah jarak dari Bumi ke Musytari - planet terbesar dalam Sistem Suria?

Berapakah jarak dari Bumi ke Musytari - planet terbesar dalam Sistem Suria?

Berapakah jarak dari Bumi ke Musytari? Jika anda tidak tahu, artikel ini akan memberitahu anda sejauh mana Musytari dari Bumi.

Temui jeneral meta musim S1 2023 Lien Quan Mobile

Temui jeneral meta musim S1 2023 Lien Quan Mobile

Jeneral manakah yang keluar daripada meta Mobile Alliance? Jom explore sekarang

Graves DTCL musim 7.5: Item standard, skuad Graves Loi Long

Graves DTCL musim 7.5: Item standard, skuad Graves Loi Long

Graves DTCL dari musim 1, musim 3 dan musim 6 semuanya berharga 1 emas dan nampaknya cuma juara tambahan untuk merangsang klan, peranan utama dalam early game masih digunakan tetapi tidak banyak. Setakat DTCL musim 7.5, Graves telah melonjakkan harganya kepada 4 emas dan pastinya merupakan pembawa yang sangat diperlukan jika anda memutuskan untuk bermain Thunder Dragon atau Gunner.

Cara menggunakan bunyi aplikasi berasingan pada Samsung

Cara menggunakan bunyi aplikasi berasingan pada Samsung

Dengan telefon Samsung, anda harus menggunakan ciri bunyi apl yang berasingan. Contohnya, anda boleh memainkan Apple Music dan telefon anda akan menghalakan audio melalui pembesar suara kereta anda.

Petikan yang baik tentang kerja, status yang baik tentang kerja memberi inspirasi kepada anda untuk mencapai kejayaan

Petikan yang baik tentang kerja, status yang baik tentang kerja memberi inspirasi kepada anda untuk mencapai kejayaan

Terdapat banyak status yang baik tentang kerja di Internet. Artikel ini akan meringkaskan untuk anda status pekerjaan yang baik dan bermakna.

Kapsyen ulang tahun perkahwinan, status ulang tahun perkahwinan yang bermakna dan manis

Kapsyen ulang tahun perkahwinan, status ulang tahun perkahwinan yang bermakna dan manis

Apakah kapsyen ulang tahun perkahwinan yang baik dan bermakna? Artikel itu akan meringkaskan untuk anda kapsyen ulang tahun yang ringkas dan padat yang boleh membuatkan pasangan anda ingat selama-lamanya.