9 LLM Tempatan/Luar Talian Terbaik yang Boleh Anda Cuba Sekarang

Dengan LLM kuantum kini tersedia pada ekosistem HuggingFace dan AI seperti H20, Text Gen dan GPT4All yang membolehkan anda memuatkan pemberat LLM pada komputer anda, kini anda mempunyai pilihan untuk AI percuma, fleksibel dan selamat. Berikut ialah 9 LLM tempatan/luar talian terbaik yang boleh anda cuba sekarang!

Jadual Kandungan

• 1. Hermes 2 Pro GPTQ
• 2. Zephyr 7B Beta
• 3. Falcon Arahkan GPTQ
• 4. GPT4ALL-J Groovy
• 5. DeepSeek Coder V2 Arahan
• 6. Mixtral-8x7B
• 7. Wizard Vicuna Uncensored-GPTQ
• 8. Orca Mini-GPTQ
• 9. Llama 2 13B Sembang GPTQ

1. Hermes 2 Pro GPTQ

Hermes 2 Pro ialah model bahasa lanjutan yang diperhalusi oleh Nous Research. Ia menggunakan versi set data OpenHermes 2.5 yang dikemas kini dan dikecilkan, bersama-sama dengan set data Panggilan Fungsi dan JSON yang baru diperkenalkan yang dibangunkan oleh syarikat itu sendiri. Model ini berdasarkan seni bina Mistral 7B dan telah dilatih pada 1,000,000 arahan/perbualan kualiti GPT-4 atau lebih baik, kebanyakannya data sintetik.

Hermes 2 Pro pada Mistral 7B ialah model Hermes 7B perdana baharu, menawarkan prestasi yang dipertingkatkan merentas pelbagai penanda aras, termasuk AGIEval, BigBench Reasoning, GPT4All dan TruthfulQA. Keupayaan canggihnya menjadikannya sesuai untuk banyak tugas pemprosesan bahasa semula jadi (NLP), seperti penjanaan kod, penciptaan kandungan dan aplikasi AI perbualan.

2. Zephyr 7B Beta

Zephyr ialah satu siri model bahasa yang dilatih untuk bertindak sebagai pembantu yang membantu. Zephyr-7B-Beta ialah model kedua dalam siri ini, diperhalusi daripada Mistral-7B-v0.1 menggunakan Pengoptimuman Keutamaan Terus (DPO) pada campuran set data sintetik yang tersedia untuk umum.

Dengan menghapuskan penjajaran terbina dalam set data latihan, Zephyr-7B-Beta menunjukkan prestasi yang lebih baik pada penanda aras seperti MT-Bench, meningkatkan kegunaannya dalam pelbagai tugas. Walau bagaimanapun, pelarasan ini boleh membawa kepada penjanaan teks yang bermasalah apabila digesa dengan cara tertentu.

3. Falcon Arahkan GPTQ

Versi terkuantiti Falcon ini adalah berdasarkan seni bina penyahkod sahaja yang diperhalusi pada model mentah Falcon-7b TII. Model Falcon asas dilatih menggunakan 1.5 trilion token tertunggak yang diperoleh daripada Internet awam. Sebagai model penyahkod berasaskan arahan berlesen Apache 2 sahaja, Falcon Instruct sesuai untuk perniagaan kecil yang mencari model untuk digunakan untuk terjemahan bahasa dan pengingesan data.

Walau bagaimanapun, versi Falcon ini tidak sesuai untuk penalaan halus dan hanya bertujuan untuk inferens. Jika anda ingin memperhalusi Falcon, anda perlu menggunakan model mentah, yang mungkin memerlukan akses kepada perkakasan latihan gred perusahaan seperti NVIDIA DGX atau AMD Instinct AI Accelerators.

4. GPT4ALL-J Groovy

GPT4All-J Groovy ialah model penyahkod sahaja yang ditala oleh Nomic AI dan dilesenkan di bawah Apache 2.0. GPT4ALL-J Groovy adalah berdasarkan model GPT-J asal, yang diketahui hebat dalam menjana teks daripada gesaan. GPT4ALL -J Groovy telah diubah suai kepada model perbualan, yang bagus untuk aplikasi penjanaan teks yang pantas dan kreatif. Ini menjadikan GPT4All-J Groovy sesuai untuk pencipta kandungan dalam membantu mereka dengan penulisan dan gubahan mereka, sama ada puisi, muzik atau cerita.

Malangnya, model GPT-J garis dasar telah dilatih pada set data bahasa Inggeris sahaja, yang bermaksud bahawa model GPT4ALL-J yang diperhalusi ini hanya boleh bercakap dan melaksanakan aplikasi penjanaan teks dalam bahasa Inggeris.

5. DeepSeek Coder V2 Arahan

DeepSeek Coder V2 ialah model bahasa lanjutan yang meningkatkan pengaturcaraan dan penaakulan matematik. DeepSeek Coder V2 menyokong berbilang bahasa pengaturcaraan dan menawarkan panjang konteks lanjutan, menjadikannya alat serba boleh untuk pembangun.

Berbanding dengan pendahulunya, DeepSeek Coder V2 menunjukkan peningkatan ketara dalam tugas yang berkaitan dengan kod, penaakulan dan keupayaan umum. Ia melanjutkan sokongan untuk bahasa pengaturcaraan daripada 86 kepada 338 dan memanjangkan panjang konteks daripada 16K kepada 128K token. Dalam penanda aras, ia mengatasi model seperti GPT-4 Turbo, Claude 3 Opus dan Gemini 1.5 Pro dalam penanda aras kriptografi dan matematik.

6. Mixtral-8x7B

Mixtral-8x7B ialah gabungan model pakar (MoE) yang dibangunkan oleh Mistral AI. Ia mempunyai 8 pakar setiap MLP, berjumlah 45 bilion parameter. Walau bagaimanapun, hanya dua pakar diaktifkan setiap token semasa inferens, menjadikannya cekap dari segi pengiraan, dengan kelajuan dan kos yang setanding dengan model parameter 12 bilion.

Mixtral menyokong panjang konteks sebanyak 32k token dan mengatasi prestasi Llama 2 sebanyak 70B pada kebanyakan penanda aras, sepadan atau melebihi prestasi GPT-3.5. Ia fasih dalam berbilang bahasa, termasuk Inggeris, Perancis, Jerman, Sepanyol dan Itali, menjadikannya pilihan serba boleh untuk pelbagai tugas NLP.

7. Wizard Vicuna Uncensored-GPTQ

Wizard-Vicuna GPTQ ialah versi kuantum Wizard Vicuna berdasarkan model LlaMA. Tidak seperti kebanyakan LLM yang dikeluarkan kepada umum, Wizard-Vicuna ialah model yang tidak ditapis dengan perkaitan dialih keluar. Ini bermakna model tersebut tidak mempunyai standard keselamatan dan etika yang sama seperti kebanyakan model lain.

Walaupun ia mungkin menimbulkan masalah untuk kawalan penjajaran AI, mempunyai LLM yang tidak ditapis juga memberikan yang terbaik dalam model dengan membenarkannya menjawab tanpa sebarang kekangan. Ini juga membolehkan pengguna menambah penjajaran tersuai mereka sendiri tentang cara AI harus bertindak atau bertindak balas berdasarkan gesaan yang diberikan.

8. Orca Mini-GPTQ

Adakah anda ingin menguji model yang dilatih menggunakan kaedah pembelajaran yang unik? Orca Mini ialah pelaksanaan tidak rasmi kertas penyelidikan Orca Microsoft. Model ini dilatih menggunakan pendekatan pembelajaran guru-murid, di mana set data diisi dengan penjelasan dan bukannya gesaan dan respons sahaja. Secara teori, ini sepatutnya menjadikan pelajar lebih bijak, kerana model itu boleh memahami masalah dan bukannya hanya mencari pasangan input dan output kerana LLM konvensional berfungsi.

9. Llama 2 13B Sembang GPTQ

Llama 2 ialah pengganti kepada Llama LLM yang asal, menawarkan prestasi yang lebih baik dan serba boleh. Varian 13B Chat GPTQ ditala untuk aplikasi AI perbualan yang dioptimumkan untuk dialog bahasa Inggeris.

Beberapa model yang disenaraikan di atas datang dalam pelbagai versi dari segi spesifikasi. Secara umum, versi spesifikasi yang lebih tinggi menghasilkan hasil yang lebih baik tetapi memerlukan perkakasan yang lebih berkuasa, manakala versi spesifikasi yang lebih rendah menghasilkan hasil kualiti yang lebih rendah tetapi boleh dijalankan pada perkakasan yang lebih rendah. Jika anda tidak pasti sama ada PC anda boleh menjalankan model ini, cuba versi spesifikasi yang lebih rendah dahulu, kemudian teruskan sehingga anda merasakan penurunan prestasi tidak lagi boleh diterima.