Coba kamu bayangin, kamu dapat pesan suara di ponsel. Di sana, suara seorang artis yang sangat kamu kenal terdengar sangat meyakinkan mengumumkan sebuah program undian berhadiah fantastis, lengkap dengan instruksi cara mendaftar di akhir pesan. Nadanya persis, gaya bicaranya khas, bahkan jeda napasnya pun terasa alami. Masalahnya, orang itu tidak pernah benar-benar mengucapkan kalimat tersebut. Semuanya hasil rekayasa AI, dan yang dipalsukan murni suaranya saja.

Kasus seperti ini sebenernya bukan sekedar cerita hipotetis belaka, tapi terjadi di dunia nyata. Teknologi voice cloning alias kloning suara berbasis kecerdasan buatan sekarang sudah berkembang pesat, sampai dimana hanya butuh sampel suara berdurasi berapa detik saja, yang diambil dari potongan wawancara, siaran radio, atau rekaman suara yang sudah ada di internet, untuk menghasilkan suara tiruan yang nyaris tidak bisa dibedakan dari aslinya. Dulu penipuan seperti ini jarang terjadi dan targetnya ke orang orang terkenal, tapi sekarang siapa aja bisa jadi korban, baik dari korban karena suaranya dipakai atau korban yang ditipu.

Ancaman yang Diam-Diam Makin Nyata

Fenomena seperti ini termasuk ke dalam bagian kejahatan siber berbasis rekayasa sosial (social engineering) yang terus berevolusi dari tahun ke tahun. Dulu, pelaku penipuan mengandalkan percakapan dan trik psikologis manual. Sekarang, dengan bantuan AI generatif, mereka cukup mengumpulkan rekaman suara singkat seseorang, lalu menduplikasi identitas vokalnya secara presisi untuk berbagai modus, mulai dari penipuan finansial personal sampai penyebaran informasi palsu yang mengatasnamakan tokoh publik.

Kabar baiknya, riset soal deteksi deepfake audio bukan hal baru. Beberapa lembaga riset internasional sudah menunjukkan hasil yang mengesankan, dengan tingkat akurasi klasifikasi di atas 90%. Tapi umumnya sistem-sistemnya dibangun dengan arsitektur yang sangat kompleks dan berat secara komputasi dan dilatih menggunakan dataset berbahasa asing. Padahal karakteristik fonetik Bahasa Indonesia, mulai dari pola intonasi hingga distribusi frekuensi formant, cukup berbeda dari bahasa-bahasa yang selama ini menjadi fokus riset global tersebut. Di sinilah letak celah yang menurut kami penting untuk diisi.

Kenapa Isu Ini Terasa Dekat Buat Kami

Sebelum masuk ke sisi teknis, kami ingin cerita sedikit soal kenapa topik ini yang akhirnya kami pilih untuk PKM-Karsa Cipta (PKM-KC) tahun ini. Semakin banyak kami membaca kasus-kasus penipuan berbasis suara AI, semakin sadar bahwa ancaman ini bukan sekadar isu teknologi yang jauh dari keseharian, tapi sesuatu yang berpotensi menimpa siapa saja di sekitar kita, termasuk orang tua atau kerabat yang belum terlalu familier dengan modus kejahatan digital semacam ini.

Dari situ, kami menetapkan satu pertanyaan sederhana sebagai titik berangkat riset kami: bagaimana caranya masyarakat awam bisa dengan cepat memeriksa apakah sebuah rekaman suara itu asli atau hasil rekayasa AI, tanpa perlu perangkat canggih atau keahlian teknis? Pertanyaan inilah yang kemudian kami terjemahkan menjadi proposal pengembangan sebuah sistem deteksi.

Bagaimana Sistem yang Kami Rancang Bekerja

Kami menamakannya Sistem Intelijen Forensik Pendeteksi Kloning Suara Generatif AI, sebuah prototipe aplikasi analitik interaktif yang bisa diakses lewat antarmuka web. dibanding pakai arsitektur deep learning yang berat, kami memilih pendekatan Lightweight Convolutional Neural Network (Lightweight CNN), yang dioptimalkan supaya tetap efisien tanpa memerlukan perangkat keras kelas atas.

Alurnya kurang lebih begini: pengguna mengunggah atau merekam berkas audio lewat antarmuka web, lalu sistem mengubah audio tersebut menjadi Mel-spectrogram, semacam representasi visual dari gelombang suara yang menampilkan pola frekuensi dari waktu ke waktu. Nah, di titik inilah kekuatan CNN dimanfaatkan. Arsitektur ini memang dikenal andal dalam mengenali pola dan anomali pada data visual, sehingga begitu suara diubah menjadi “citra” spektrogram, model bisa mendeteksi jejak-jejak halus hasil rekayasa AI yang biasanya tidak kasatmata bagi telinga manusia. Hasil akhirnya ditampilkan berupa metrik persentase keaslian suara, ditargetkan bisa muncul hanya dalam hitungan detik.

Soal Data: Bahan Baku yang Tak Kalah Penting

Sekuat apa pun arsitektur model yang dipakai, hasil akhirnya tetap bergantung pada data yang melatihnya, dan ini jadi salah satu pekerjaan rumah paling awal dalam rencana kami. Dataset yang kami butuhkan terdiri dari dua kelompok, yaitu rekaman suara asli berbahasa Indonesia sebagai kelas positif, dan rekaman hasil kloning AI sebagai kelas negatif. Untuk mengumpulkannya, kami berencana memadukan dua jalur sekaligus: menghimpun rekaman secara mandiri, sekaligus menelusuri sumber data terbuka yang sudah tersedia.

Data mentah itu tentu tidak bisa langsung dipakai untuk melatih model. Sebelum masuk ke tahap ekstraksi fitur, kami perlu melewati praproses terlebih dahulu, mulai dari normalisasi volume, penyaringan derau latar (noise filtering), sampai penyeragaman durasi tiap klip audio. Tahap ini terkesan sepele, tapi sebenarnya krusial. Kalau dilewatkan begitu saja, model berisiko belajar dari “sinyal” yang keliru, misalnya membedakan suara asli dan palsu hanya dari perbedaan kualitas rekaman, bukan dari jejak rekayasa AI yang sesungguhnya ingin dideteksi.

Melihat Posisi Riset Ini di Antara Riset Serupa

Supaya tidak asal membangun dari nol, kami menelusuri dulu beberapa riset terkait yang sudah ada. Ada studi yang memakai kombinasi CNN dan Mel-Frequency Cepstral Coefficients (MFCC) untuk mengenali emosi pembicara berbahasa Indonesia dengan akurasi sekitar 85%. Studi ini memang belum menyasar deteksi deepfake secara langsung, tapi cukup membuktikan bahwa arsitektur CNN dapat diadaptasi dengan baik pada korpus audio lokal yang masih terbatas jumlahnya. Ada juga riset lain yang mengklasifikasikan rentang usia dan gender dari suara berbahasa Indonesia dengan akurasi sekitar 92%, meski fokusnya masih pada karakteristik suara konvensional, bukan artefak hasil rekayasa generative AI.

Dari sisi tinjauan literatur yang lebih luas, ada pula kajian komprehensif yang merangkum lebih dari lima puluh referensi global dan menyimpulkan bahwa kombinasi spektrogram dengan CNN ringan adalah pendekatan paling optimal untuk deteksi audio deepfake. Sayangnya kajian ini sepenuhnya berbasis referensi berbahasa asing, sehingga belum ada prototype yang secara khusus dirancang untuk konteks Bahasa Indonesia. Di titik inilah kontribusi yang ingin kami tawarkan: bukan menemukan algoritma yang sama sekali baru, melainkan mengambil pendekatan yang sudah terbukti efektif secara teori, lalu mengkalibrasi dan mengujinya langsung dengan data suara berbahasa Indonesia, dan mengemasnya menjadi prototipe fungsional, bukan sekadar model matematis di atas kertas.

Ada satu riset lagi yang sempat kami tinjau, meski berada di luar ranah audio, yaitu studi yang mengevaluasi jaringan saraf konvolusional untuk membedakan wajah asli dan wajah hasil deepfake, dengan capaian akurasi, presisi, recall, dan F1-score di kisaran 91%. Studi ini menegaskan hal serupa dari sisi modalitas yang berbeda: CNN memang punya rekam jejak kuat dalam menangkap anomali hasil rekayasa AI, entah itu pada citra wajah, atau, seperti yang sedang kami coba buktikan, pada citra spektrogram suara.

Kebutuhan di Balik Layar

Untuk mewujudkan sistem ini, kami merancang tumpukan teknologi yang tetap ringan dan mudah diakses. Pemrosesan audio dilakukan dengan pustaka Librosa untuk ekstraksi fitur dan konversi ke spektrogram. Model Lightweight CNN dibangun dengan Python dan framework TensorFlow, sementara eksplorasi data dan evaluasi model dilakukan lewat Jupyter Notebook, dibantu pustaka NumPy, Pandas, dan Matplotlib untuk analisis serta visualisasi hasil. Antarmuka penggunanya sendiri dibangun dengan React.js dan Tailwind CSS.

Dari sisi perangkat keras, pelatihan model kami rencanakan berjalan di atas laptop dengan spesifikasi kelas menengah ke atas, dengan Python 3.10 sebagai bahasa pemrograman utama. Kami sengaja tidak menyasar spesifikasi server kelas industri, karena justru itulah inti dari pendekatan Lightweight CNN yang kami pilih, yaitu model yang tetap bisa dilatih dan dijalankan di perangkat yang relatif terjangkau, tanpa harus bergantung pada infrastruktur cloud yang mahal.

Seperti Apa Tampilan Prototipenya

Dari sisi tampilan, prototipe ini kami rancang dengan tata letak dua kolom agar mudah dipahami. Kolom kiri berisi panel input tempat pengguna mengunggah file audio berformat MP3 atau merekam suara secara langsung, dilengkapi panel riwayat untuk melacak rekaman yang pernah dianalisis, serta panel survei singkat untuk mengumpulkan masukan pengguna. Kolom kanan menampilkan hasil analisis: label klasifikasi asli atau deepfake, skor persentase keaslian suara, tingkat kepercayaan model, hingga visualisasi Mel-spectrogram dari audio yang dianalisis. Semuanya sengaja dibuat sesederhana mungkin, supaya pengguna awam sekalipun tidak kesulitan memahami alur dari unggah sampai interpretasi hasil.

Rencana Perjalanan ke Depan

Rencananya, pengembangan berlangsung selama empat bulan setelah proposal dinyatakan lolos pendanaan, dimulai dari studi literatur dan konfigurasi lingkungan pengembangan, dilanjutkan pengumpulan dataset suara asli dan hasil kloning AI berbahasa Indonesia. Kemudian dilanjut dengan ekstraksi fitur audio menjadi Mel-spectrogram dan pelatihan model, lalu diuji lewat pengukuran akurasi dan latensi apakah sudah bagus atau belum, dengan target waktu respons deteksi yang cepat, sebuah angka yang penting mengingat penipuan berbasis suara biasanya terjadi dalam momen serba cepat dan penuh tekanan.

Setelah model dianggap cukup andal, lanjut mengintegrasikannya ke antarmuka web dan mengujinya secara fungsional lewat black box testing. Barulah di tahap akhir, prototipe yang sudah utuh diuji kemudahan penggunaannya lewat usability testing kepada calon pengguna.

Kami tetapkan sejak awal, tahapan tahapan ini kami rancang berjalan secara sekuensial dan konstruktif, tanpa siklus perbaikan berulang di tengah jalan. Mengingat jendela waktu pengerjaan yang hanya empat bulan, kami memilih untuk menuntaskan tiap tahap sebelum melangkah ke tahap berikutnya, alih-alih bolak-balik menyempurnakan model di tengah proses.

Kalau Berhasil, Apa Dampaknya

Kalau berhasil dikembangkan lebih jauh, kami membayangkan tiga lapis manfaat. Bagi masyarakat luas, sistem ini bisa menjadi lapis pertahanan dan peringatan dini untuk menekan risiko kerugian dari penipuan suara palsu. Bagi dunia akademik, riset ini berpotensi menambah literatur baru soal penerapan Lightweight CNN yang dikalibrasi khusus untuk linguistik audio Bahasa Indonesia, sesuatu yang selama ini masih jarang dibahas mendalam. Bagi institusi dan pemerintah, purwarupa ini punya peluang menjadi proyek percontohan yang ke depannya bisa menjadi fondasi standar audit dan investigasi forensik kejahatan siber berskala nasional.

Penutup

Kami sadar, apa yang sedang kami kerjakan hanyalah setitik kecil dari upaya besar melawan penyalahgunaan AI yang terus berkembang. Tapi kami percaya, inovasi besar sering kali dimulai dari keresahan sederhana yang diterjemahkan menjadi langkah konkret. Semoga proposal ini bisa terus melangkah ke tahap berikutnya, dan semoga tulisan ini juga membuka mata banyak orang bahwa suara yang kita dengar, baik dari telepon maupun video di linimasa, tidak selalu bisa dipercaya begitu saja.

Referensi

• Alamsyah & Yusuf (2025)
• Almutairi, N. & Elgibreen, H. (2022)
• Karenina et al. (2023)
• Klein et al. (2025)
• Mu et al. (2024)
• Nurcahyo & Iqbal (2022)
• Wang et al. (2023)
• Widodo & Annas (2024)