Penyelidik di Penn Engineering (AS) dikatakan telah menemui kelemahan keselamatan yang tidak dikenal pasti sebelum ini dalam beberapa platform robotik yang dikawal AI.
" Penyelidikan kami menunjukkan bahawa, pada ketika ini, model bahasa besar (LLM) umumnya tidak cukup selamat apabila disepadukan dengan perkakasan fizikal yang kompleks, " kata George Pappas, profesor kejuruteraan elektrik dan sistem di Yayasan UPS, dalam satu kenyataan.
Pappas dan pasukannya membangunkan algoritma, dipanggil RoboPAIR, "algoritma pertama yang direka untuk memecahkan robot yang dikawal LLM." Dan tidak seperti serangan teknikal pantas sedia ada yang menyasarkan chatbots, RoboPAIR dibina khusus untuk "mendorong tindakan fizikal yang berbahaya" daripada robot yang dikawal LLM, seperti platform robot humanoid yang dipanggil Atlas yang sedang dibangunkan oleh Boston Dynamics dan Toyota Research Institute (TRI).
RoboPAIR dilaporkan mencapai kadar kejayaan 100% dalam memecahkan tiga platform penyelidikan robotik yang popular: Unitree Go2 berkaki empat, Clearpath Robotics Jackal beroda empat dan simulator Dolphins LLM untuk kenderaan autonomi. Algoritma hanya mengambil masa beberapa hari untuk mendapatkan akses penuh kepada sistem tersebut, dan mula memintas halangan keselamatan. Sebaik sahaja penyelidik mengambil kawalan, mereka dapat mengarahkan platform robot autonomi untuk melakukan pelbagai tindakan berbahaya, seperti memandu melalui persimpangan tanpa berhenti.
" Hasil penilaian pertama menunjukkan bahawa risiko LLM yang retak melangkaui penjanaan teks, kerana jelas bahawa robot yang retak boleh menyebabkan kerosakan fizikal di dunia nyata ."

Pasukan di Penn Engineering sedang bekerjasama dengan pembangun platform untuk mengeraskan sistem mereka daripada pencerobohan selanjutnya, tetapi memberi amaran bahawa isu keselamatan ini adalah sistemik dan sukar untuk ditangani sepenuhnya.
" Penemuan kertas ini jelas menunjukkan bahawa penggunaan pendekatan keselamatan adalah penting untuk membuka kunci inovasi yang bertanggungjawab. Kita mesti menangani kelemahan yang wujud sebelum menggunakan robot berkuasa AI di dunia nyata ," kata pasukan itu.
Operasi yang selamat memerlukan ujian sistem AI untuk potensi ancaman dan kelemahan, yang penting untuk melindungi sistem AI yang mereka cipta. Kerana hanya apabila anda mengenal pasti kelemahan anda boleh menguji dan juga melatih sistem untuk mencegah risiko.