MAKALAH penelitian terbaru dari OpenAI secara teliti mendiagnosis mengapa ChatGPT dan Model Bahasa Besar (LLM) lainnya secara meyakinkan menciptakan kepalsuan. Fenomena yang dikenal sebagai “halusinasi AI.”
Makalah ini tidak hanya menjelaskan masalahnya. Makalah ini juga menunjukkan mengapa halusinasi ini mungkin tak terhindarkan secara matematis dan sulit diperbaiki, setidaknya untuk aplikasi konsumen.
Halusinasi: Kesalahan yang Tak Terelakkan
OpenAI memberikan penjelasan matematis paling rinci hingga saat ini mengenai mengapa model AI yakin akan kepalsuan. Mereka menunjukkan bahwa halusinasi bukan sekadar efek samping yang tidak diinginkan dari pelatihan AI, tetapi merupakan konsekuensi logis.
Penyebab Inti:
- Kesalahan Data: Meskipun sebagian masalah berasal dari ketidaksempurnaan data pelatihan, para peneliti membuktikan bahwa masalah ini tetap ada bahkan jika data pelatihannya sempurna.
- Mekanisme Prediksi: Cara LLM merespons pertanyaan adalah dengan memprediksi kata demi kata berdasarkan probabilitas. Proses berantai ini secara alami menghasilkan kesalahan yang dapat terakumulasi seiring berjalannya kalimat. Tingkat kesalahan untuk menghasilkan kalimat terbukti setidaknya dua kali lebih tinggi daripada pertanyaan ya/tidak sederhana.
- Batas Pengetahuan: Tingkat halusinasi dibatasi oleh seberapa baik sistem AI dapat membedakan respons yang valid dari yang tidak valid. Karena klasifikasi ini sulit untuk banyak bidang pengetahuan, halusinasi menjadi tak terhindarkan.
Fakta Menarik: Semakin jarang suatu fakta terlihat dalam data pelatihan, semakin besar kemungkinan AI berhalusinasi. Contohnya, ketika ditanya ulang tahun Adam Kalai (salah satu penulis makalah), DeepSeek-V3 dengan yakin memberikan tiga tanggal yang salah dalam percobaan terpisah.
Perangkap Evaluasi: Dorongan untuk Menebak
Yang lebih meresahkan adalah analisis mengapa halusinasi tetap ada meskipun sudah ada upaya perbaikan pasca-pelatihan (seperti umpan balik manusia yang ekstensif).
Para penulis menguji 10 tolok ukur (benchmark) AI utama dan menemukan sembilan di antaranya menggunakan sistem penilaian biner. Mereka memberikan poin nol jika AI mengekspresikan ketidakpastian (“Saya tidak tahu”).
Hal ini menciptakan “epidemi” pemberian sanksi pada respons yang jujur. Karena skor untuk mengatakan “Saya tidak tahu” sama dengan memberikan jawaban yang sepenuhnya salah, strategi optimal bagi AI adalah selalu menebak. Para peneliti membuktikan secara matematis bahwa skor yang diharapkan untuk menebak selalu melebihi skor untuk tidak menjawab dalam evaluasi biner semacam itu.
Solusi yang Berisiko Mengusir Pengguna
Perbaikan yang diusulkan OpenAI adalah meminta AI untuk mempertimbangkan tingkat keyakinannya sendiri terhadap suatu jawaban sebelum merespons. Tolok ukur juga harus menilai jawaban berdasarkan tingkat keyakinan ini.
Dengan ambang batas keyakinan yang tepat, AI akan secara alami memilih untuk mengekspresikan ketidakpastian daripada menebak, sehingga mengurangi halusinasi.
Dampak Negatif pada Pengguna:
Perbaikan ini datang dengan konsekuensi besar bagi pengalaman pengguna. Jika ChatGPT mulai mengatakan “Saya tidak tahu” untuk 30% kueri, pengguna yang terbiasa dengan jawaban meyakinkan akan segera meninggalkan sistem tersebut.
Ini mirip dengan proyek kualitas udara yang disebutkan dalam naskah: pengguna cenderung tidak terlibat ketika layar menampilkan ketidakpastian, meskipun pembacaan yang tampak “akurat” terbukti salah.
Kendala Ekonomi Komputasional
Selain masalah kepuasan pengguna, ada kendala yang lebih besar: ekonomi komputasional.
Model bahasa yang sensitif terhadap ketidakpastian memerlukan komputasi yang jauh lebih besar daripada pendekatan saat ini, karena mereka harus mengevaluasi banyak kemungkinan respons dan memperkirakan tingkat keyakinan untuk setiap jawaban. Untuk sistem yang memproses jutaan kueri harian, hal ini berarti biaya operasional yang jauh lebih tinggi.
Pendekatan seperti active learning (di mana AI mengajukan pertanyaan klarifikasi) dapat meningkatkan akurasi, tetapi melipatgandakan kebutuhan komputasi.
Meskipun layak dalam domain khusus seperti desain chip atau diagnostik medis (di mana biaya kesalahan sangat mahal), aspek ekonomi ini menjadi mahal untuk aplikasi konsumen yang mengharapkan respons instan.
Prioritas Bisnis vs Kejujuran
Makalah OpenAI secara tidak sengaja menyoroti fakta yang tidak mengenakkan: insentif bisnis yang mendorong pengembangan AI konsumen pada dasarnya belum selaras dengan upaya pengurangan halusinasi.
- Pengguna ingin sistem yang yakin dan menjawab semua pertanyaan.
- Tolok ukur memberikan penghargaan kepada sistem yang menebak daripada yang jujur.
- Biaya komputasi memprioritaskan respons yang cepat dan terlalu percaya diri daripada respons yang lambat dan tidak pasti.
Hingga insentif ini berubah, dan biaya komputasi turun secara signifikan, halusinasi akan tetap menjadi fitur yang tak terhindarkan dalam pengalaman AI konsumen. (Live Sciences/Z-2)
[OTOMOTIFKU]