![[Novel] Musamus Tubuh Kecil Jiwa Besar, Episode 55-56](https://assets-a2.kompasiana.com/items/album/2025/09/06/cover-novel-musamus-01-jpeg-tayang-68bc1c6034777c17595a37b2.jpeg?t=t&v=100&x=100&info=meta_related)
Dalam beberapa tahun terakhir, dunia rekayasa perangkat lunak diramaikan oleh optimisme tinggi terhadap potensi kecerdasan buatan, terutama deep learning, dalam menyelesaikan berbagai tugas pengembangan perangkat lunak secara otomatis. Salah satu janji paling berani adalah kemampuan sistem AI untuk mengubah deskripsi kebutuhan (requirement) dalam bahasa alami menjadi kode program yang berjalan.
Namun, seperti yang dibuktikan secara telak dalam artikel "Deep Learning Based Program Generation from Requirements Text: Are We There Yet?" oleh Hui Liu dan koleganya, kenyataan di lapangan masih jauh dari ekspektasi. Artikel ini bukan hanya sebuah studi, tetapi juga tamparan realitas yang membongkar hype seputar "AI coder."
Mimpi yang Belum Terwujud
Siapa yang tidak tertarik pada gagasan menulis spesifikasi dalam bahasa Inggris biasa, lalu melihat mesin langsung menghasilkan implementasi dalam Python, Java, atau C++? Terlebih, studi-studi sebelumnya melaporkan skor BLEU tinggi---indikator akurasi dalam machine translation---hingga lebih dari 80%. Seolah-olah kita hanya selangkah lagi dari pengembang yang bisa "pensiun" digantikan AI.
Namun Liu dkk. mengingatkan kita bahwa angka BLEU tinggi bukanlah segalanya. Dalam eksperimen mereka dengan dataset baru yang jauh lebih realistis, model deep learning yang sebelumnya dipuji justru menunjukkan performa yang mengecewakan:
Rata-rata skor BLEU hanya 0.167.
Hanya 9.7% kode yang bisa dikompilasi dan dijalankan.
-
Tidak satu pun model berhasil menghasilkan kode yang lolos pengujian fungsi (test case).
Masalah Utama: Pemahaman Semantik yang Dangkal
Studi ini membuktikan bahwa model deep learning saat ini tidak benar-benar memahami kebutuhan yang diberikan dalam teks. Ketika input requirement diganti dengan teks acak, hasil yang dihasilkan tetap hampir sama. Ini menunjukkan bahwa sistem hanya "menghafal" pola kode dari dataset pelatihan, bukan benar-benar "memahami dan menyintesis" solusi berdasarkan permintaan.
