Home
» Petua Mudah Alih
»
Cara Memasang dan Menjalankan LLM Secara Setempat pada Telefon Android
Cara Memasang dan Menjalankan LLM Secara Setempat pada Telefon Android
Menjalankan model bahasa besar (LLM) secara setempat pada telefon Android anda bermakna anda boleh mengakses model AI tersebut tanpa bergantung pada pelayan awan atau sambungan Internet . Persediaan setempat ini memastikan privasi dengan memastikan data anda selamat dan pada peranti. Dengan kemajuan dalam perkakasan mudah alih, menjalankan model AI secara tempatan telah menjadi kenyataan. Aplikasi MLC Chat memudahkan anda mengalami teknologi berkuasa ini terus pada telefon anda.
Artikel ini akan menerangkan kepentingan menjalankan LLM secara setempat pada telefon Android dan memberikan arahan langkah demi langkah untuk memasang dan menjalankannya menggunakan apl MLC Chat.
Mengapa menjalankan LLM pada telefon Android?
LLM biasanya dijalankan pada pelayan awan kerana ia memerlukan kuasa pengkomputeran yang ketara. Walaupun telefon Android mempunyai had tertentu semasa menjalankan LLM, ia juga membuka beberapa kemungkinan menarik.
Privasi yang Dipertingkat : Memandangkan semua pengkomputeran berlaku pada telefon anda, data anda kekal setempat, yang penting untuk sebarang maklumat sensitif yang anda kongsi.
Akses Luar Talian : Tiada sambungan Internet berterusan diperlukan untuk mengakses atau berinteraksi dengan model ini. Ini amat berguna untuk pengguna di kawasan terpencil atau mereka yang mempunyai sambungan internet terhad.
Kos Berkesan : Menjalankan LLM pada pelayan awan melibatkan kos operasi seperti storan awan dan kuasa pemprosesan. Kaedah ini menyediakan penyelesaian yang kos efektif untuk pengguna.
Panduan Langkah demi Langkah untuk Memasang dan Menjalankan MLC Chat pada Android
Aplikasi MLC Chat direka untuk membolehkan pengguna menjalankan dan berinteraksi dengan model bahasa besar (LLM) secara tempatan pada pelbagai peranti, termasuk telefon mudah alih, tanpa bergantung pada perkhidmatan berasaskan awan. Ikuti langkah di bawah untuk menjalankan LLM secara setempat pada peranti Android anda.
Langkah 1: Pasang aplikasi MLC Chat
Mula-mula, anda perlu memuat turun APK untuk apl MLC Chat (112MB) daripada pautan di bawah.
Setelah APK dimuat turun, ketik pada fail untuk memulakan pemasangan.
Langkah 2: Muat turun LLM
Selepas berjaya memasang apl, buka apl tersebut dan anda akan melihat senarai LLM yang tersedia untuk dimuat turun. Model dengan saiz dan keupayaan yang berbeza, seperti LLama-3.2, Phi-3.5 dan Mistral, tersedia. Pilih model mengikut keperluan anda dan klik pada ikon muat turun di sebelahnya untuk mula memuat turun. Contohnya, jika anda menggunakan telefon jarak pertengahan seperti Redmi Note 10, pilih model ringan seperti Qwen-2.5 untuk prestasi yang lebih lancar.
Muat turun LLM
Langkah 3: Jalankan LLM yang dipasang
Setelah model dimuat turun, ikon sembang akan muncul di sebelahnya. Klik pada ikon untuk memulakan pemodelan.
Jalankan LLM yang dipasang
Setelah model sedia, anda boleh mula menaip gesaan dan berinteraksi dengan LLM tempatan.
Sebagai contoh, pada peranti seperti Redmi Note 10, menjalankan model yang lebih kecil seperti Qwen2.5 memberikan pengalaman yang cukup lancar, menjana sekitar 1.4 token sesaat. Walaupun prestasi ini lebih perlahan daripada peranti mewah seperti Galaxy S23 Ultra , ia masih berfungsi dengan baik untuk tugas asas seperti sembang pendek dan penciptaan kandungan mudah.
Menjalankan LLM secara setempat pada peranti Android melalui apl MLC Chat menyediakan cara yang boleh diakses dan dilindungi privasi untuk berinteraksi dengan model AI. Prestasi sangat bergantung pada perkakasan telefon. Penyelesaian ini sesuai untuk pengguna yang memerlukan akses luar talian kepada model AI, menguji LLM dalam masa nyata atau mengambil berat tentang privasi. Memandangkan perkakasan mudah alih terus bertambah baik, keupayaan LLM tempatan hanya akan berkembang, menjadikan ini sempadan yang menarik untuk teknologi AI.