Abstrak

Pelestarian seni tari tradisional Indonesia menghadapi tantangan signifikan dalam proses pembelajarannya, terutama karena keterbatasan instruktur dalam mendampingi setiap penari secara langsung dan sifat evaluasi yang masih dilakukan setelah sesi latihan selesai. Artikel ini membahas pengembangan Gandara, sebuah aplikasi mobile pembelajaran tari tradisional yang mengintegrasikan teknologi kecerdasan buatan (Artificial Intelligence) dan perangkat cerdas (Internet of Things) untuk memberikan umpan balik gerakan secara real-time. Sistem ini memanfaatkan MediaPipe untuk ekstraksi titik tubuh, jaringan Convolutional Neural Network (CNN) berbasis MobileNetV2 untuk analisis spasial, serta Long Short-Term Memory (LSTM) untuk memproses data sensor Inertial Measurement Unit (IMU) MPU9250 yang terpasang di pergelangan tangan dan kaki penari. Pengembangan dilakukan menggunakan metodologi Agile dengan kerangka kerja Scrum. Hasil rancangan menunjukkan bahwa integrasi data visual dan data sensor gerak memungkinkan evaluasi yang lebih akurat terhadap titik-titik tubuh kunci, sehingga penari dapat memperoleh koreksi seketika tanpa harus menunggu sesi latihan berakhir. Produk ini diharapkan dapat mendukung pelestarian budaya sekaligus meningkatkan efektivitas pembelajaran tari di sanggar-sanggar seni.

Kata kunci: tari tradisional, kecerdasan buatan, Internet of Things, MediaPipe, umpan balik real-time

1. Pendahuluan

Tari tradisional merupakan salah satu warisan budaya yang memiliki peran penting sebagai media ekspresi sekaligus sarana pendidikan budaya bagi generasi muda. Keberlanjutannya banyak ditopang oleh sanggar seni sebagai ruang pendidikan nonformal yang mengajarkan teknik gerakan sekaligus nilai-nilai budaya yang terkandung di dalamnya. Di Provinsi Jawa Barat, berbagai tari tradisional seperti Tari Merak, Tari Topeng, Sampurasun Putri, dan Jaipongan diwariskan melalui komunitas seni dan sanggar di berbagai daerah. Kota Bandung sendiri tercatat memiliki ratusan sanggar seni yang tersebar di puluhan kecamatan, mencerminkan besarnya potensi pelestarian budaya melalui jalur pendidikan nonformal ini.

Meskipun potensinya besar, proses pembelajaran di sanggar masih menghadapi sejumlah kendala struktural. Metode latihan yang konvensional—demonstrasi gerakan oleh instruktur yang diikuti peserta—menjadi kurang optimal ketika instruktur tidak dapat mendampingi setiap penari secara langsung dalam satu sesi. Evaluasi ketepatan gerakan sangat bergantung pada pengamatan manual instruktur, sehingga koreksi tidak selalu dapat menjangkau seluruh peserta secara menyeluruh dan merata. Pada latihan kelompok, menjaga sinkronisasi gerakan antarpenari juga menjadi tantangan tersendiri, sebab penari sering kesulitan mengidentifikasi sendiri bagian gerakan yang kurang tepat ketika latihan sedang berlangsung. Akibatnya, penari umumnya baru meninjau ulang rekaman video setelah sesi latihan selesai untuk menemukan letak kesalahan, sehingga proses latihan dan proses evaluasi menjadi dua tahap yang terpisah dan koreksi tidak dapat diberikan secara langsung pada momen kesalahan itu terjadi.

Untuk menjawab persoalan tersebut, dikembangkan Gandara, sebuah aplikasi yang menggabungkan analisis visual berbasis kecerdasan buatan dengan data sensor gerak dari perangkat IoT guna menghasilkan umpan balik seketika terhadap kesesuaian gerakan penari dengan koreografi yang dipelajari. Selain nilai teknisnya, pengembangan Gandara juga diposisikan sebagai kontribusi terhadap sejumlah tujuan pembangunan berkelanjutan (SDGs), yaitu pendidikan berkualitas melalui inovasi pembelajaran seni berbasis digital, keberlanjutan kota dan komunitas melalui pelestarian warisan budaya lokal, serta penguatan institusi melalui peningkatan kesadaran kolektif akan identitas budaya.

2. Tinjauan Pustaka dan Posisi Inovasi

Beberapa inovasi serupa telah dikembangkan sebelumnya di ranah pembelajaran tari berbasis teknologi. MoveAlly, misalnya, memanfaatkan teknologi computer vision seperti OpenCV, YOLO untuk deteksi penari, serta MediaPipe untuk ekstraksi titik tubuh guna membandingkan gerakan siswa dengan instruktur, dengan menerapkan normalisasi data dan perbandingan time-series untuk menghasilkan skor kesesuaian. Adapun SyncUp yang dikembangkan oleh peneliti Universitas Tokyo menggunakan estimasi pose dan penyelarasan temporal (temporal alignment) untuk menganalisis sinkronisasi gerakan antarpenari dalam kelompok. Kelemahan utama kedua sistem tersebut adalah ketergantungannya pada evaluasi pasca-latihan: penari baru mengetahui letak kesalahan setelah sesi selesai, sehingga koreksi menjadi kurang optimal dan proses pembelajaran menjadi kurang efisien secara waktu.

Gandara menawarkan sejumlah pembaruan dibandingkan sistem-sistem tersebut. Pertama, sistem ini menerapkan pelacakan gerakan real-time berbasis computer vision dan IoT yang mampu memberikan evaluasi deskriptif langsung terhadap bagian tubuh yang kurang optimal, misalnya berupa informasi kecepatan rotasi pergelangan tangan atau posisi ketinggian bahu, tanpa perlu menunggu sesi latihan berakhir. Kedua, ekstraksi titik tubuh dilakukan menggunakan MediaPipe yang dipadukan dengan pendekatan CNN berbasis pretrained MobileNetV2 agar posisi dan pergerakan penari dapat dideteksi secara lebih akurat dan stabil dibandingkan pendekatan estimasi pose konvensional. Ketiga, data visual tersebut diperkaya dengan data dari modul IoT MPU9250 yang dipasang di pergelangan tangan dan kaki, kemudian diproses menggunakan LSTM untuk memperoleh informasi sudut, kecepatan, dan stabilitas gerakan yang tidak selalu tertangkap kamera. Keempat, instruktur dapat menetapkan batas evaluasi pada titik-titik tubuh utama—meliputi leher, bahu kiri-kanan, siku kiri-kanan, pergelangan tangan kiri-kanan, tulang belakang, pinggul kiri-kanan, serta pergelangan kaki kiri-kanan—yang digunakan sistem sebagai acuan penilaian kelulusan gerakan, lengkap dengan rincian jumlah dan lokasi kesalahan pada setiap titik tubuh.

Landasan teoretis pengembangan ini mencakup beberapa bidang kajian yang saling melengkapi. Dalam praktik konvensional, instruktur berperan penting menilai ketepatan teknik berdasarkan standar gerak yang ditetapkan, sekaligus menilai aspek “rasa” dan kemampuan penari menyampaikan makna gerakan—suatu aspek kualitatif yang sulit sepenuhnya digantikan sistem otomatis, namun dapat dibantu melalui penyediaan data objektif. Pada sisi teknis, estimasi pose menggunakan MediaPipe memungkinkan deteksi 33 titik tubuh manusia secara real-time berkat model machine learning yang telah dioptimalkan untuk perangkat dengan sumber daya terbatas. Analisis gerakan manusia sendiri memerlukan pemahaman terhadap dua jenis pola, yaitu pola spasial (posisi dan bentuk tubuh pada suatu waktu) dan pola temporal (perubahan gerakan dari waktu ke waktu). CNN dinilai efektif mengekstraksi fitur spasial dari data visual, tetapi memiliki keterbatasan dalam menangkap dependensi temporal antarurutan data—kekurangan inilah yang ditutupi oleh LSTM, yang mampu memodelkan hubungan waktu dan mempertahankan informasi dari frame-frame sebelumnya. Sementara itu, modul IMU seperti MPU9250, yang mengintegrasikan accelerometer, gyroscope, dan magnetometer dalam satu modul, terbukti efektif merekam sudut, kecepatan, dan stabilitas tubuh secara real-time, sehingga mampu menangkap dinamika gerakan yang tidak selalu dapat dideteksi murni melalui kamera, terutama pada momen tubuh saling menutupi (oklusi visual). Selain aspek teknis tersebut, kajian tentang umpan balik real-time dalam pembelajaran motorik juga menunjukkan bahwa mekanisme ini terbukti mempermudah adaptasi gerak, meningkatkan motivasi belajar, dan menjaga konsistensi performa peserta didik dibandingkan model evaluasi yang tertunda.

3. Metode Pengembangan

Pengembangan Gandara dilaksanakan melalui dua jalur yang berjalan paralel, yaitu pembangunan perangkat IoT dan pembangunan perangkat lunak, dengan mengadopsi metodologi Agile berkerangka kerja Scrum yang mengacu pada konsep Ken Schwaber dan Jeff Sutherland beserta pengembangannya dalam Scrum Guide Expansion Pack.

Perangkat IoT dirancang untuk menangkap gerakan tangan dan kaki penari secara akurat, dengan data yang dikirim ke aplikasi untuk dianalisis dan diberi umpan balik secara real-time. Arsitekturnya terdiri atas satu unit ESP32-S3 sebagai mikrokontroler utama yang berfungsi sebagai pusat kendali, menerima data dari node tubuh, melakukan sinkronisasi dan pengolahan awal, lalu meneruskannya ke cloud server melalui koneksi internet dan MQTT broker. Dua unit ESP32-S3 tambahan dipasang pada bagian tangan dan kaki sebagai node pengumpul data gerakan, masing-masing terhubung ke modul sensor MPU9250—total empat modul, dua di pergelangan tangan dan dua di pergelangan kaki. Sebuah tombol start-stop turut disediakan sebagai kontrol manual pengambilan data agar pengguna tidak perlu selalu mengakses aplikasi secara langsung saat berlatih.

Perangkat lunak dikembangkan melalui iterasi Scrum yang terdiri atas beberapa tahapan berulang. Product backlog mencakup pengembangan sistem analisis gerakan berbasis MediaPipe dengan CNN MobileNetV2 yang di-fine-tune untuk ekstraksi titik tubuh, pemrosesan data sensor MPU9250 menggunakan LSTM, serta integrasi kedua sumber data untuk menghasilkan evaluasi gerakan lengkap dengan penanda waktu kesalahan. Sprint planning menetapkan tujuan tiap sprint beserta pembagian tugas dan estimasi waktu. Daily scrum dilakukan sebagai evaluasi harian melalui papan Kanban (To Do, In Progress, Review, Done) untuk memastikan eksekusi sesuai jadwal. Sprint review mengevaluasi kesesuaian fitur yang dibangun dengan Definition of Done dan kebutuhan pengguna, sedangkan sprint retrospective menganalisis kendala operasional pada setiap siklus untuk merumuskan perbaikan pada sprint berikutnya.

Pengujian sistem dilakukan melalui dua tahap. Integration testing memastikan konektivitas antara perangkat IoT dan sumber data—termasuk sinkronisasi modul MPU9250 dengan kamera perangkat mobile—serta akurasi pemrosesan pose melalui CNN dan data time-series melalui LSTM, sekaligus memperbaiki bug sebelum masuk tahap berikutnya. Selanjutnya, user acceptance test melibatkan penari dan instruktur di sanggar tari tradisional secara langsung untuk memvalidasi bahwa perangkat keras dan lunak telah memenuhi kebutuhan pengguna di lapangan.

4. Pembahasan

Pendekatan integratif yang digabungkan Gandara—kombinasi data visual dan data inersial—menjadi nilai tambah signifikan dibandingkan sistem berbasis kamera semata seperti MoveAlly maupun SyncUp. Data visual dari MediaPipe memberikan informasi posisi tubuh secara spasial dalam ruang dua dimensi, sementara data IMU dari MPU9250 menangkap dinamika gerakan seperti kecepatan rotasi dan stabilitas yang sering kali sulit terekam kamera akibat keterbatasan sudut pandang, pencahayaan, atau oklusi visual ketika bagian tubuh saling menutupi. Penggabungan kedua sumber data ini melalui arsitektur CNN-LSTM memungkinkan sistem menghasilkan evaluasi yang lebih komprehensif dibandingkan pendekatan tunggal berbasis vision saja.

Aspek umpan balik real-time berupa getaran pada perangkat wearable juga menjadi pertimbangan desain yang penting, karena memungkinkan penari menerima koreksi secara seketika tanpa mengganggu pendengaran mereka terhadap musik pengiring—suatu kebutuhan khas dalam latihan tari yang belum banyak diakomodasi oleh solusi sejenis yang umumnya hanya mengandalkan notifikasi visual atau audio pada layar. Dari sisi instruktur, sistem ini juga menyederhanakan proses evaluasi dengan menyediakan rincian kesalahan berbasis titik tubuh dan data time-series, sehingga koreksi dapat diberikan secara lebih objektif dan terukur dibandingkan mengandalkan pengamatan visual semata terhadap banyak penari sekaligus.

Meski demikian, sejumlah tantangan tetap perlu diperhitungkan dalam pengembangan lanjutan. Akurasi ekstraksi titik tubuh berbasis kamera masih berpotensi terpengaruh oleh kondisi pencahayaan ruang latihan dan sudut pengambilan video, sehingga kalibrasi awal dan pengujian pada berbagai kondisi lapangan menjadi penting. Selain itu, aspek kualitatif seperti “rasa” dan penjiwaan gerak—yang menurut kajian pustaka tetap menjadi wilayah penilaian instruktur—belum sepenuhnya dapat direpresentasikan oleh sistem berbasis sensor, sehingga Gandara diposisikan sebagai alat bantu yang melengkapi, bukan menggantikan, peran instruktur dalam proses pembelajaran.

5. Kesimpulan

Gandara dirancang sebagai solusi teknologi untuk mengatasi keterbatasan pembelajaran tari tradisional yang konvensional, khususnya minimnya umpan balik real-time dan ketergantungan pada evaluasi pasca-latihan. Melalui integrasi MediaPipe, CNN berbasis MobileNetV2, sensor IMU MPU9250, dan LSTM, sistem ini menawarkan pendekatan evaluasi gerakan yang lebih akurat, objektif, dan seketika dibandingkan inovasi sejenis yang telah ada seperti MoveAlly dan SyncUp. Pengembangan dengan metodologi Agile-Scrum memungkinkan iterasi produk yang terstruktur dan responsif terhadap kebutuhan lapangan, sementara pengujian integrasi dan penerimaan pengguna di sanggar tari memastikan relevansi sistem dengan kondisi nyata praktik pembelajaran tari. Ke depan, keberhasilan implementasi Gandara berpotensi berkontribusi pada pelestarian seni tari tradisional sekaligus mendukung tujuan pembangunan berkelanjutan di bidang pendidikan berkualitas, keberlanjutan komunitas budaya, dan penguatan identitas kolektif bangsa.