Cerebras Melancarkan Teknologi Inferens AI Terpantas di Dunia, Prestasi 20x ganda Daripada NVIDIA

Sistem Cerebras baru sahaja mengumumkan Inferens Cerebras secara rasmi, yang dianggap sebagai penyelesaian inferens AI terpantas di dunia. Inferens Cerebras ini menyampaikan prestasi sehingga 1,800 token sesaat untuk model Llama 3.1 8B (8 bilion parameter) dan 450 token sesaat untuk Llama 3.1 70B, yang sehingga hampir 20 kali lebih pantas daripada penyelesaian inferens AI berasaskan GPU NVIDIA yang tersedia dalam awan Azure berskala besar di seluruh dunia hari ini.

Selain prestasinya yang luar biasa, harga perkhidmatan penyelesaian inferens baharu ini juga sangat murah, pada sebahagian kecil daripada harga platform awan GPU yang popular. Sebagai contoh, pelanggan boleh mendapatkan satu juta token dengan hanya 10 sen, sekali gus memberikan prestasi harga 100x lebih tinggi untuk beban kerja AI.

Ketepatan 16-bit Cerebras dan kelajuan inferens 20x lebih pantas akan membolehkan pembangun membina aplikasi AI berprestasi tinggi generasi seterusnya tanpa menjejaskan kelajuan atau kos. Nisbah harga/prestasi terobosan ini dimungkinkan oleh sistem Cerebras CS-3 dan pemproses AI Wafer Scale Engine 3 (WSE-3). CS-3 menawarkan 7,000 kali lebih lebar jalur memori daripada Nvidia H100, menyelesaikan cabaran teknikal jalur lebar memori untuk AI generatif.

Inferens Cerebras kini tersedia pada tiga peringkat berikut:

• Peringkat Percuma menawarkan akses API percuma dan had penggunaan yang besar kepada sesiapa sahaja yang mendaftar.
• Peringkat Pembangun direka bentuk untuk penggunaan fleksibel tanpa pelayan, menyediakan pengguna dengan titik akhir API pada sebahagian kecil daripada kos alternatif sedia ada di pasaran, dengan model Llama 3.1 8B dan 70B masing-masing berharga 10 sen dan 60 sen bagi setiap juta token.
• Pelan Peringkat Perusahaan menawarkan model yang diperhalusi, perjanjian tahap perkhidmatan tersuai dan sokongan khusus. Sesuai untuk beban kerja yang berterusan, perniagaan boleh mengakses Inferens Cerebras melalui awan peribadi yang diuruskan oleh Cerebras atau di premis.

Dengan prestasi rekod, harga kompetitif dan akses API terbuka, Cerebras Inference menetapkan standard baharu untuk pembangunan dan penggunaan LLM terbuka. Sebagai satu-satunya penyelesaian yang mampu menyampaikan latihan dan inferens berkelajuan tinggi, Cerebras membuka kemungkinan baharu sepenuhnya untuk AI.

Dengan trend AI berkembang pesat, dan NVIDIA kini memegang kedudukan dominan dalam pasaran, kemunculan syarikat seperti Cerebras dan Groq menandakan potensi peralihan dalam dinamik keseluruhan industri. Memandangkan permintaan untuk penyelesaian inferens AI yang lebih pantas dan lebih kos efektif meningkat, penyelesaian seperti Cerebras Inference berada pada kedudukan yang baik untuk mengambil peluang terhadap penguasaan NVIDIA, terutamanya dalam ruang inferens.