Cara Memasang dan Menjalankan LLM Secara Setempat pada Telefon Android

Menjalankan model bahasa besar (LLM) secara setempat pada telefon Android anda bermakna anda boleh mengakses model AI tersebut tanpa bergantung pada pelayan awan atau sambungan Internet . Persediaan setempat ini memastikan privasi dengan memastikan data anda selamat dan pada peranti. Dengan kemajuan dalam perkakasan mudah alih, menjalankan model AI secara tempatan telah menjadi kenyataan. Aplikasi MLC Chat memudahkan anda mengalami teknologi berkuasa ini terus pada telefon anda.

Artikel ini akan menerangkan kepentingan menjalankan LLM secara setempat pada telefon Android dan memberikan arahan langkah demi langkah untuk memasang dan menjalankannya menggunakan apl MLC Chat.

Mengapa menjalankan LLM pada telefon Android?

LLM biasanya dijalankan pada pelayan awan kerana ia memerlukan kuasa pengkomputeran yang ketara. Walaupun telefon Android mempunyai had tertentu semasa menjalankan LLM, ia juga membuka beberapa kemungkinan menarik.

  • Privasi yang Dipertingkat : Memandangkan semua pengkomputeran berlaku pada telefon anda, data anda kekal setempat, yang penting untuk sebarang maklumat sensitif yang anda kongsi.
  • Akses Luar Talian : Tiada sambungan Internet berterusan diperlukan untuk mengakses atau berinteraksi dengan model ini. Ini amat berguna untuk pengguna di kawasan terpencil atau mereka yang mempunyai sambungan internet terhad.
  • Kos Berkesan : Menjalankan LLM pada pelayan awan melibatkan kos operasi seperti storan awan dan kuasa pemprosesan. Kaedah ini menyediakan penyelesaian yang kos efektif untuk pengguna.

Panduan Langkah demi Langkah untuk Memasang dan Menjalankan MLC Chat pada Android

Aplikasi MLC Chat direka untuk membolehkan pengguna menjalankan dan berinteraksi dengan model bahasa besar (LLM) secara tempatan pada pelbagai peranti, termasuk telefon mudah alih, tanpa bergantung pada perkhidmatan berasaskan awan. Ikuti langkah di bawah untuk menjalankan LLM secara setempat pada peranti Android anda.

Langkah 1: Pasang aplikasi MLC Chat

Mula-mula, anda perlu memuat turun APK untuk apl MLC Chat (112MB) daripada pautan di bawah.

Fail APK aplikasi MLC Chat

Cara Memasang dan Menjalankan LLM Secara Setempat pada Telefon Android
Pasang apl MLC Chat

Setelah APK dimuat turun, ketik pada fail untuk memulakan pemasangan.

Langkah 2: Muat turun LLM

Selepas berjaya memasang apl, buka apl tersebut dan anda akan melihat senarai LLM yang tersedia untuk dimuat turun. Model dengan saiz dan keupayaan yang berbeza, seperti LLama-3.2, Phi-3.5 dan Mistral, tersedia. Pilih model mengikut keperluan anda dan klik pada ikon muat turun di sebelahnya untuk mula memuat turun. Contohnya, jika anda menggunakan telefon jarak pertengahan seperti Redmi Note 10, pilih model ringan seperti Qwen-2.5 untuk prestasi yang lebih lancar.

Cara Memasang dan Menjalankan LLM Secara Setempat pada Telefon Android
Muat turun LLM

Langkah 3: Jalankan LLM yang dipasang

Setelah model dimuat turun, ikon sembang akan muncul di sebelahnya. Klik pada ikon untuk memulakan pemodelan.

Cara Memasang dan Menjalankan LLM Secara Setempat pada Telefon Android
Jalankan LLM yang dipasang

Setelah model sedia, anda boleh mula menaip gesaan dan berinteraksi dengan LLM tempatan.

Cara Memasang dan Menjalankan LLM Secara Setempat pada Telefon Android

Sebagai contoh, pada peranti seperti Redmi Note 10, menjalankan model yang lebih kecil seperti Qwen2.5 memberikan pengalaman yang cukup lancar, menjana sekitar 1.4 token sesaat. Walaupun prestasi ini lebih perlahan daripada peranti mewah seperti Galaxy S23 Ultra , ia masih berfungsi dengan baik untuk tugas asas seperti sembang pendek dan penciptaan kandungan mudah.

Menjalankan LLM secara setempat pada peranti Android melalui apl MLC Chat menyediakan cara yang boleh diakses dan dilindungi privasi untuk berinteraksi dengan model AI. Prestasi sangat bergantung pada perkakasan telefon. Penyelesaian ini sesuai untuk pengguna yang memerlukan akses luar talian kepada model AI, menguji LLM dalam masa nyata atau mengambil berat tentang privasi. Memandangkan perkakasan mudah alih terus bertambah baik, keupayaan LLM tempatan hanya akan berkembang, menjadikan ini sempadan yang menarik untuk teknologi AI.

Tinggalkan Komen

7 Cara Mudah untuk Menjadikan Telefon Samsung Anda Kelihatan Kurang Membosankan

7 Cara Mudah untuk Menjadikan Telefon Samsung Anda Kelihatan Kurang Membosankan

Samsung Galaxy mahal anda tidak perlu kelihatan sama seperti telefon lain di pasaran. Dengan beberapa tweak, anda boleh menjadikannya lebih peribadi, bergaya dan unik.

Mengapa begitu ramai orang memutuskan untuk beralih kepada Samsung selepas bertahun-tahun menggunakan iPhone?

Mengapa begitu ramai orang memutuskan untuk beralih kepada Samsung selepas bertahun-tahun menggunakan iPhone?

Selepas bosan dengan iOS, mereka akhirnya beralih kepada telefon Samsung, dan tidak menyesal dengan keputusan itu.

Bagaimana untuk menukar DNS pada iPhone, telefon Android

Bagaimana untuk menukar DNS pada iPhone, telefon Android

Menukar DNS pada iPhone atau menukar DNS pada Android akan membantu anda mengekalkan sambungan yang stabil, meningkatkan kelajuan sambungan rangkaian dan mengakses tapak web yang disekat.

Bagaimana untuk membetulkan ralat log masuk Akaun Apple di web

Bagaimana untuk membetulkan ralat log masuk Akaun Apple di web

Antara muka web akaun Apple dalam penyemak imbas anda membolehkan anda melihat maklumat peribadi anda, menukar tetapan, mengurus langganan dan banyak lagi. Tetapi kadangkala anda tidak boleh log masuk atas pelbagai sebab.

5 petua untuk menjadikan Cari Saya pada iPhone lebih tepat

5 petua untuk menjadikan Cari Saya pada iPhone lebih tepat

Apabila Cari Saya menjadi tidak tepat atau tidak boleh dipercayai, gunakan beberapa tweak untuk menjadikannya lebih tepat apabila ia amat diperlukan.

Cara Menjadikan Kamera Ultra Wide Angle Telefon Anda Sangat Hebat

Cara Menjadikan Kamera Ultra Wide Angle Telefon Anda Sangat Hebat

Ramai orang tidak pernah menjangkakan kamera paling lemah pada telefon mereka menjadi senjata rahsia untuk fotografi kreatif.

Kuasa Suai dan Kuasa Rendah: Mod penjimatan bateri iPhone manakah yang patut anda gunakan?

Kuasa Suai dan Kuasa Rendah: Mod penjimatan bateri iPhone manakah yang patut anda gunakan?

Apple memperkenalkan Kuasa Adaptif, yang berfungsi bersama Mod Kuasa Rendah. Kedua-duanya memanjangkan hayat bateri iPhone, tetapi ia berfungsi dengan cara yang sangat berbeza.

Cara menghidupkan NFC pada iPhone dengan mudah dan cepat

Cara menghidupkan NFC pada iPhone dengan mudah dan cepat

Komunikasi Medan Dekat ialah teknologi wayarles yang membenarkan peranti bertukar-tukar data apabila ia berada berdekatan antara satu sama lain, biasanya dalam beberapa sentimeter.

11 Apl Auto Klik Terbaik untuk Android tanpa Root

11 Apl Auto Klik Terbaik untuk Android tanpa Root

Dengan aplikasi klik automatik. Anda tidak perlu berbuat banyak apabila bermain permainan, menggunakan aplikasi atau tugasan yang tersedia pada peranti.

6 Ciri Eksklusif Pixel yang Anda Boleh Pindahkan ke Mana-mana Telefon Android

6 Ciri Eksklusif Pixel yang Anda Boleh Pindahkan ke Mana-mana Telefon Android

Bergantung pada keperluan anda, anda mungkin akan mendapat satu set ciri eksklusif Pixel yang dijalankan pada peranti Android anda yang sedia ada.