Home
» Wiki
»
Microsoft Mengumumkan Alat Baharu untuk Mengesan dan Membetulkan Kandungan Halusinasi dalam Output AI
Microsoft Mengumumkan Alat Baharu untuk Mengesan dan Membetulkan Kandungan Halusinasi dalam Output AI
Azure AI Content Safety ialah perkhidmatan AI Microsoft yang membantu mengesan kandungan berbahaya yang dijana AI merentas apl, perkhidmatan dan platform. Utiliti ini menyediakan API teks dan imej, membolehkan pembangun mengenal pasti kandungan yang tidak diingini.
Groundedness API dalam Azure AI Content Safety dapat mengenal pasti sama ada respons daripada model bahasa yang besar adalah berdasarkan dokumen sumber yang dipilih pengguna. Memandangkan model bahasa besar semasa boleh menghasilkan maklumat yang tidak tepat atau palsu (maklumat ilusi), API ini membantu pembangun mengenal pasti kandungan tersebut dalam data output AI.
Hari ini, Microsoft mengumumkan pratonton pembetulan. Hasilnya, pembangun kini boleh mengesan dan membetulkan kandungan "ilusi" dalam data keluaran AI dalam masa nyata, memastikan pengguna akhir sentiasa menerima kandungan janaan AI yang tepat fakta. Ciri ini berfungsi seperti berikut:
Pembangun aplikasi membolehkan keupayaan mengedit.
Apabila data tidak berasas dikesan, permintaan baharu dihantar kepada model AI untuk membetulkan ralat.
Algoritma LLM akan menilai skor keseluruhan berdasarkan dokumen yang berwibawa.
Ayat yang tidak berkaitan dengan asas, dokumen yang disahkan boleh ditapis sepenuhnya.
Jika kandungan diperoleh daripada dokumen asas, model asas akan menulis semula ayat yang tidak berasas untuk dipadankan dengan dokumen tersebut.
Di samping ciri penyuntingan, Microsoft turut mengumumkan pratonton awam Hybrid Azure AI Content Safety (AACS). Ciri ini membolehkan pembangun melaksanakan mekanisme keselamatan kandungan dalam awan dan pada peranti. SDK terbenam AACS mendayakan semakan keselamatan kandungan masa nyata secara langsung pada peranti, walaupun tanpa sambungan internet.
Akhir sekali, Microsoft telah mengumumkan pratonton Pengesanan Bahan Terlindung untuk Kod yang boleh digunakan dengan aplikasi AI penjanaan kod untuk mengesan sama ada LLM menjana sebarang kod yang dilindungi. Ciri ini sebelum ini hanya tersedia melalui Perkhidmatan OpenAI Azure. Microsoft kini membuat Pengesanan Bahan Terlindung untuk Kod tersedia kepada pelanggan untuk digunakan bersama dengan model AI penjanaan kod lain.