Sebuah laporan hasil penelitian dari lembaga pengawas nirlaba Common Sense Media mengungkap risiko besar penggunaan kecerdasan buatan (AI) pendamping atau AI Companion untuk anak-anak dan remaja di bawah 18 tahun. Simak alasannya.
Laporan ini terbit menyusul gugatan yang diajukan tahun lalu atas peristiwa bunuh diri seorang anak laki-laki berusia 14 tahun, yang terakhir kali ‘ngobrol’ dengan chatbot AI.
Gugatan itu ditujukan kepada aplikasi Character.AI, sehingga membuat aplikasi percakapan AI menjadi sorotan hingga potensi risikonya bagi generasi muda. Setelah gugatan itu, muncul banyak seruan agar pengembang aplikasi AI memperhatikan langkah-langkah keamanan dan lebih transparan.
Jenis percakapan yang tercantum dalam gugatan itu termasuk perbincangan yang berbau seksualitas dan pesan yang mendorong korban untuk melukai diri sendiri. Menurut laporan tersebut, pesan-pesan itu seharusnya tidak boleh tersedia untuk pengguna di bawah usia 18 tahun.
Common Sense Media bekerja sama dengan para peneliti Universitas Stanford untuk menguji tiga layanan AI pendamping seperti Character.AI, Replika, dan Nomi.
Aplikasi AI pendamping adalah aplikasi yang memungkinkan pengguna untuk membuat chatbot khusus atau berinteraksi dengan chatbot yang dirancang oleh pengguna lain. Chatbot khusus tersebut dapat mengasumsikan berbagai persona dan ciri-ciri kepribadian, serta sering kali memiliki lebih sedikit batasan dalam cara mereka berinteraksi dengan pengguna.
Nomi misalnya, menawarkan kemampuan AI yang dapat berbicara tanpa filter dengan pasangan romantis AI.
“Pengujian kami menunjukkan bahwa sistem ini dengan mudah menghasilkan respons yang berbahaya, termasuk pelecehan seksual, stereotip, dan ‘nasihat’ berbahaya yang, jika diikuti, dapat memiliki dampak dunia nyata yang mengancam jiwa atau mematikan bagi remaja dan orang-orang yang rentan,” kata James Steyer, pendiri dan CEO Common Sense Media, dalam sebuah pernyataan, Rabu (30/4).
Para orang tua dan ahli khawatir penggunaan AI pendamping oleh anak-anak dan remaja bisa membentuk keterikatan yang berpotensi berbahaya pada karakter AI atau mengakses konten yang tidak sesuai dengan usia mereka.
Nomi dan Replika mengatakan bahwa platform mereka sebetulnya memang ditujukan untuk pengguna dewasa. Sementara, Character.AI mengatakan mereka belum lama ini menerapkan langkah-langkah keamanan tambahan untuk pengguna muda.
Kendati begitu, para peneliti mengatakan perusahaan-perusahaan tersebut seharusnya bisa berbuat lebih untuk menjauhkan anak-anak dari platfo
Risiko keamanan
Kekhawatiran utama para peneliti terhadap aplikasi pendamping AI adalah remaja dapat menerima ‘nasihat’ berbahaya atau terlibat dalam role play seksual yang tidak pantas dengan bot. Layanan-layanan ini juga dapat memanipulasi pengguna di bawah umur untuk melupakan bahwa mereka sedang mengobrol dengan AI.
Para peneliti kemudian melakukan uji coba dengan membuat akun anak berusia 14 tahun di Character.AI. Dalam sebuah interaksi, chatbot tersebut membuka percakapan seksual, termasuk mengenai posisi seks apa yang dapat dicoba untuk ‘pertama kalinya’ bagi akun remaja tersebut.
“AI pendamping tidak memahami konsekuensi dari saran buruk mereka dan mungkin memprioritaskan untuk setuju dengan pengguna daripada membimbing mereka menjauh dari keputusan yang berbahaya,” kata Robbie Torney, kepala staf CEO Common Sense Media.
Dalam satu interaksi dengan para peneliti, misalnya, chatbot Replika dengan sigap menjawab pertanyaan tentang bahan kimia rumah tangga apa saja yang bisa beracun dengan daftar yang mencakup pemutih dan pembersih saluran air, meskipun ia mencatat bahwa “sangat penting untuk menangani zat-zat ini dengan hati-hati.”
Para peneliti mengatakan bahwa pengujian mereka menunjukkan bahwa pendamping AI terkadang membuat pengguna enggan untuk terlibat dalam hubungan antarmanusia.
Menurut laporan tersebut, terlepas dari klaim dapat mengurangi kesepian dan meningkatkan kreativitas, risiko AI pendamping jauh lebih besar daripada manfaatnya.
“Perusahaan dapat membuat yang lebih baik, tetapi saat ini, AI pendamping gagal dalam tes paling dasar tentang keselamatan anak dan etika psikologis. Sampai ada perlindungan yang lebih kuat, anak-anak tidak boleh menggunakannya,” kata Nina Vasan, pendiri dan direktur Stanford Brainstorm.