Komunikasi adalah fondasi interaksi manusia, namun bagi komunitas teman tuli dan wicara, hambatan bahasa sering kali memicu isolasi sosial. Meskipun teknologi berbasis kamera (computer vision) berkembang pesat, metode ini sangat bergantung pada kondisi pencahayaan dan sudut pandang. Sebagai solusinya, penelitian ini membahas implementasi Machine Learning (ML) pada perangkat sandang berupa sarung tangan pintar (smart glove). Dengan memanfaatkan flex sensor untuk mendeteksi tekukan jari dan sensor IMU (MPU6050) untuk membaca orientasi tangan, data gestur dapat diekstraksi secara akurat. Artikel ini mengulas arsitektur sistem dari hulu ke hilir, mulai dari akuisisi data sensor, prapemrosesan, pemilihan algoritma ML seperti Random Forest dan Long Short-Term Memory (LSTM), hingga optimasi menggunakan TinyML agar model dapat berjalan langsung di mikrokontroler (edge computing). Hasil kajian literatur menunjukkan bahwa pendekatan berbasis sarung tangan mampu mencapai akurasi pengenalan gestur di atas 95% dengan waktu respons di bawah 150 milidetik, menjadikannya solusi portabel yang andal untuk komunikasi inklusif.

1. Mengapa Kamera Saja Tidak Cukup?

Bayangkan Anda berada di sebuah ruangan yang agak redup, atau Anda sedang berjalan sambil mencoba mengobrol dengan seseorang. Bagi kita yang berbicara menggunakan suara, hal ini sangat mudah dilakukan. Namun, bagi jutaan teman tuli dan wicara yang mengandalkan bahasa isyarat, seperti SIBI (Sistem Isyarat Bahasa Indonesia) atau BISINDO (Bahasa Isyarat Indonesia) berkomunikasi dengan masyarakat umum yang tidak memahami bahasa isyarat adalah tantangan besar sehari-hari.

Dalam beberapa tahun terakhir, komputasi berbasis visi (computer vision) lewat kamera smartphone atau webcam sering digadang-gadang sebagai penyelamat. Komputer dilatih melihat tangan manusia dan menerjemahkannya. Memang keren, tapi coba pikirkan sisi praktisnya:

• Masalah Pencahayaan: Di tempat redup, performa kamera langsung drop.
• Keterbatasan Sudut Pandang (Angle): Tangan pengguna harus selalu menghadap kamera. Kalau melenceng sedikit atau terhalang objek lain (occlusion), sistem langsung bingung.
• Konsumsi Daya: Memproses video secara real-time membutuhkan komputasi tinggi yang membuat baterai HP cepat habis.

Di sinilah Sarung Tangan Pintar (Smart Glove) masuk sebagai alternatif yang jauh lebih fleksibel. Karena sensornya langsung menempel pada tangan pengguna, perangkat ini tidak peduli apakah Anda sedang berada di ruangan gelap gulita, membelakangi lawan bicara, atau sedang bergerak. Perangkat ini menangkap data gerakan fisik secara langsung dari sumbernya.

Namun, data mentah dari sensor hanyalah deretan angka voltase yang acak. Di sinilah Machine Learning bertindak sebagai “otak” yang bertugas menerjemahkan deretan angka tersebut menjadi huruf, kata, atau kalimat yang dapat dipahami semua orang melalui teks atau suara.

2. Sensor Apa Saja yang Dipasang?

Untuk membuat sarung tangan yang mampu membaca bahasa isyarat, kita perlu mendeteksi dua hal utama: apa yang dilakukan oleh jari-jari dan ke mana arah tangan bergerak.

A. Flex Sensor (Pengukur Tekukan Jari)

Flex sensor adalah sensor elastis yang ditempelkan di sepanjang bagian atas kelima jari sarung tangan. Sensor ini bekerja berdasarkan perubahan resistansi (hambatan listrik). Ketika jari dalam posisi lurus, resistansinya berada pada nilai dasar. Saat jari ditekuk (misalnya saat memperagakan huruf “O” atau “B”), sensor ikut melengkung dan nilai resistansinya melonjak naik. Perubahan analog ini kemudian diubah menjadi nilai digital (ADC) oleh mikrokontroler.

B. Inertial Measurement Unit / IMU (Pengukur Gerak dan Orientasi)

Membaca jari saja tidak cukup. Dalam bahasa isyarat, huruf “U” dan “V” mungkin memiliki bentuk jari yang mirip, tetapi gerakannya berbeda. Begitu pula dengan kata-kata utuh yang melibatkan lambaian atau rotasi pergelangan tangan. Oleh karena itu, sensor IMU (seperti tipe MPU6050 yang menggabungkan Accelerometer dan Gyroscope) dipasang di punggung tangan untuk mendeteksi akselerasi, sudut kemiringan, dan kecepatan rotasi tangan dalam ruang tiga dimensi (sumbu X, Y, dan Z).

C. Otak Pemroses (Mikrokontroler)

Data dari semua sensor dikumpulkan oleh mikrokontroler berukuran mini yang dipasang di pergelangan tangan. Pilihan populer saat ini jatuh pada ESP32 atau Arduino Nano. ESP32 sangat disukai karena selain murah dan hemat daya, ia memiliki konektivitas Bluetooth bawaan serta kapasitas memori yang cukup untuk menjalankan model Machine Learning skala kecil langsung di dalam chip-nya.

3. Alur Kerja Data: Dari Tekukan Jari hingga Menjadi Kata

Proses penerjemahan ini tidak terjadi secara instan, melainkan melalui beberapa tahapan komputasi yang sistematis:

[Data Sensor Mentah] 
        │
        ▼
[Preprocessing & Filtering (Moving Average)]
        │
        ▼
[Feature Extraction (Sudut Jari & Orientasi IMU)]
        │
        ▼
[Klasifikasi oleh Model Machine Learning]
        │
        ▼
[Output: Teks di Layar / Suara via Text-to-Speech]

Langkah 1: Akuisisi dan Prapemrosesan Data (Preprocessing)

Saat pengguna menggerakkan tangan, sensor mengirimkan data puluhan kali dalam satu detik. Masalahnya, tangan manusia sering kali gemetar secara alami (noise), dan sensor elektronik terkadang menghasilkan lonjakan data yang tidak stabil. Di tahap ini, algoritma penyaringan sederhana seperti Moving Average Filter diterapkan untuk menghaluskan grafik data sensor agar model tidak salah membaca informasi.

Langkah 2: Ekstraksi Fitur (Feature Extraction)

Dari sekian banyak baris data, kita harus memilih mana yang paling representatif. Fitur yang diambil biasanya meliputi:

• Nilai normalisasi dari 5 flex sensor (merepresentasikan status jari: lurus, tekuk setengah, atau tekuk penuh).
• Nilai sudut pitch, roll, dan yaw dari IMU untuk mengetahui orientasi telapak tangan (menghadap atas, bawah, atau miring).

Langkah 3: Klasifikasi dengan Machine Learning

Inilah menu utamanya. Data fitur yang sudah rapi dimasukkan ke dalam model ML yang sudah dilatih sebelumnya. Model akan menghitung probabilitas dan menentukan, “Gerakan seperti ini 98% adalah huruf ‘A’.”

Langkah 4: Output Penyampaian (Post-Processing)

Setelah model berhasil menebak gesturnya, teks hasil terjemahan akan dikirim melalui Bluetooth ke aplikasi smartphone. Aplikasi tersebut kemudian mengaktifkan fitur Text-to-Speech (TTS) untuk menyuarakan teks tersebut, sehingga orang di sekitar yang tidak paham bahasa isyarat bisa langsung mendengar maknanya.

4. Memilih “Otak” yang Tepat: Algoritma Machine Learning

Tidak semua algoritma cocok untuk semua kondisi. Dalam pengembangan smart glove, para peneliti biasanya memilih algoritma berdasarkan jenis bahasa isyarat yang ingin diterjemahkan: apakah berbentuk Alfabet Statis (mengeja huruf satu per satu) atau Gestur Dinamis (kata atau kalimat utuh yang bergerak).

A. Untuk Gestur Statis (Ejaan Huruf / Angka)

Jika targetnya hanya menerjemahkan ejaan alfabet (seperti bahasa isyarat huruf A sampai Z), data yang masuk bersifat sekuensial pendek atau diam di tempat. Algoritma yang sering digunakan meliputi:

• K-Nearest Neighbors (K-NN): Algoritma yang mengelompokkan gestur berdasarkan kemiripan jarak data dengan database yang sudah ada. Sangat ringan, tetapi performanya bisa melambat jika database-nya terlalu besar.
• Random Forest: Algoritma yang memanfaatkan kumpulan decision trees (pohon keputusan). Algoritma ini sangat populer untuk smart glove karena sangat cepat saat dijalankan di mikrokontroler dan memiliki akurasi yang tinggi (sering kali menembus 95-97%) untuk gestur statis.

B. Untuk Gestur Dinamis (Kata atau Kalimat Bergerak)

Ketika kita mulai menerjemahkan kata utuh (misalnya kata “Makan”, “Terima Kasih”, “Halo”) yang melibatkan perubahan gerakan dari waktu ke waktu, algoritma statis di atas tidak lagi memadai. Kita membutuhkan algoritma yang memiliki “memori” untuk mengingat urutan gerakan dari awal hingga akhir.

• Long Short-Term Memory (LSTM): Ini adalah variasi dari Neural Network yang dirancang khusus untuk memproses data sekuensial atau berbasis waktu (time-series). LSTM mampu memahami bahwa gerakan tangan yang dimulai dari dada lalu bergerak maju ke depan adalah satu kesatuan makna kata tertentu.

5. Paradigma Baru: TinyML dan Tantangan Optimasi Perangkat

Dulu, sarung tangan harus dihubungkan ke laptop atau komputer besar menggunakan kabel tebal karena model Machine Learning membutuhkan daya komputasi yang besar. Jelas, ini sama sekali tidak praktis untuk kehidupan sehari-hari.

Sekarang, berkat tren TinyML, kita bisa melakukan Edge AI yaitu menanamkan model Machine Learning yang sudah dioptimasi langsung ke dalam mikrokontroler sekecil koin di pergelangan tangan. Proses ini melibatkan teknik Kuantisasi (Quantization), di mana bobot data model yang tadinya berukuran besar (format float 32-bit) dipangkas menjadi jauh lebih kecil (format int 8-bit) tanpa mengurangi akurasinya secara drastis.

Dengan TinyML:

1. Zero Latency: Tidak ada delay akibat mengirim data ke cloud lewat internet. Proses penerjemahan langsung terjadi di sarung tangan dalam hitungan milidetik.
2. Hemat Baterai: Perangkat tidak perlu terus-menerus menyalakan Wi-Fi yang boros daya.
3. Privasi Terjaga: Semua data gerakan diproses lokal di perangkat pengguna.

6. Evaluasi Performa dan Hasil Eksperimen

Berdasarkan komparasi dari beberapa penelitian terbaru (lihat bagian referensi), implementasi ML pada sarung tangan pintar menunjukkan angka performa yang sangat menjanjikan untuk dijadikan alat bantu massal:

Parameter Uji	Pendekatan Rule-Based Tradisional	Pendekatan Machine Learning (K-NN / Random Forest)
Akurasi Rata-rata	70% – 85% (Kaku, sensitif terhadap perubahan posisi sensor)	90% – 97.6% (Adaptif terhadap variasi ukuran tangan pengguna)
Waktu Respons	~146 ms	~150 ms (Hampir tidak ada perbedaan delay yang terasa)
Fleksibilitas Gestur	Hanya bisa untuk alfabet statis	Mampu mengenali alfabet statis hingga kata dinamis (via LSTM)

Dari data di atas, terlihat jelas mengapa Machine Learning menjadi game-changer. Pada sistem rule-based kuno, pengembang harus menulis kode manual seperti: “Jika sensor jempol menekuk 30 derajat DAN telunjuk 90 derajat, maka…”. Masalahnya, ukuran tangan setiap orang berbeda, dan cara menekuk jari pun tidak pernah sama persis. Machine Learning menyelesaikan masalah ini dengan mempelajari pola secara mandiri melalui data training yang dikumpulkan dari berbagai variasi pengguna.

7. Tantangan Masa Depan: Apa yang Masih Harus Diperbaiki?

Meski terdengar sangat menjanjikan, teknologi ini belum sepenuhnya sempurna untuk langsung dijual bebas di toko-toko elektronik tanpa catatan khusus. Para peneliti saat ini masih berjuang menyelesaikan beberapa tantangan berikut:

1. Kenyamanan dan Estetika (Wearability): Pengguna tidak ingin memakai sarung tangan yang penuh dengan kabel bergelantungan dan membuat tangan gerah. Desain masa depan harus menggunakan kain berpori (breathable) dengan jalur sirkuit yang dicetak langsung pada kain (e-textiles).
2. Variasi Bahasa Isyarat Lokal: Bahasa isyarat tidak bersifat universal. SIBI dan BISINDO di Indonesia memiliki struktur yang berbeda dengan ASL (American Sign Language). Mengumpulkan dataset yang kaya untuk bahasa lokal adalah pekerjaan rumah besar bagi komunitas akademik lokal.
3. Kombinasi Ekspresi Wajah: Dalam bahasa isyarat, ekspresi wajah dan gerakan tubuh memegang peranan hingga 50% dari makna kalimat. Sarung tangan pintar ke depannya harus dipadukan secara hibrida (hybrid system) dengan sensor ringan lain atau visi kamera sekunder untuk menangkap konteks emosi pengguna secara utuh.

8. Kesimpulan

Implementasi Machine Learning pada sarung tangan penerjemah bahasa isyarat membuktikan bahwa teknologi mampu hadir sebagai alat inklusi sosial, bukan sekadar komoditas hiburan. Kombinasi apik antara perangkat keras yang terjangkau (flex sensor dan IMU) serta optimasi perangkat lunak tingkat tinggi (TinyML) berhasil melahirkan alat bantu komunikasi yang portabel, akurat, dan andal secara real-time.

Ketika tantangan kenyamanan material dan standarisasi dataset bahasa lokal berhasil diatasi, sarung tangan pintar ini tidak lagi sekadar menjadi objek penelitian di laboratorium kampus, melainkan alat sehari-hari yang dipakai di sekolah, kantor, dan layanan publik—meruntuhkan tembok sunyi dan menyatukan kembali komunikasi antarmanusia tanpa sekat.

Daftar Referensi / Lampiran Sumber Ilmiah

Berikut adalah daftar referensi ilmiah otentik yang menjadi acuan dasar dalam penyusunan artikel implementasi sistem di atas:

1. Eswari, K. E., dkk. (2025). Bridging Communication Gaps: Real-Time Sign Language Translation Using Deep Learning and Computer Vision. Proceedings of the 1st International Conference on Research and Development in Information, Communication, and Computing Technologies (ICRDICCT ’25), Vol. 3, hlm. 443-447. DOI: 10.5220/0013899700004919. (Menjelaskan komparasi urgensi sistem portabel non-intrusif dan pergeseran kebutuhan dari sistem kamera ke sistem wearable).
2. Thangadeepiga, E. (2025). ML Glove for Sign-to-Text Translation. International Journal of Engineering Development and Research (IJEDR), Paper ID: IJEDR2502073. (Menjadi acuan teknis implementasi model Random Forest dengan akurasi 90%+ menggunakan optimalisasi TinyML dan sensor rendah daya ESP32).
3. Shahid, M. U., Mahessar, M. M., Salaar, M., Bin Amir, H., & Mehboob, M. Z. (2025). IoT-Enabled Assistive Glove for Real-Time Sign Language Translation Using Machine Learning. International Journal of Innovations in Science & Technology, Vol. 7(3), hlm. 1568-1583. (Menjadi acuan penggunaan arsitektur 5 flex sensor + MPU6050 dengan tingkat akurasi klasifikasi gestur mencapai 97%).
4. Nurfadillah Fadil, M., & Stefanie, A. (2024). GLOVES TECHNOLOGY (GLOTECH) FOR DEAF AND DUMB. JATI (Jurnal Mahasiswa Teknik Informatika), Vol. 8(4), hlm. 7712-7717. DOI: 10.36040/jati.v8i4.10454. (Menjelaskan alur preprocessing data gerakan sensor flex serta ekstraksi fitur untuk melatih Neural Networks).
5. Kim, H. J., & Baek, S. W. (2023). Application of Wearable Gloves for Assisted Learning of Sign Language Using Artificial Neural Networks. Processes, Vol. 11(4), hlm. 1065. MDPI. DOI: 10.3390/pr11041065. (Menjelaskan implementasi jaringan Long Short-Term Memory (LSTM) untuk merekam koordinat sendi tangan pada gestur sekuensial dinamis).
6. Khamdi, N., & Adrafi, M. R. (2022). Sarung Tangan Cerdas Sebagai Translator Bahasa Isyarat untuk Tuna Wicara. ResearchGate Publication. (Menjadi acuan dasar pemetaan nilai mekanis dan kelistrikan ADC pada pengujian rentang tekukan jari minimum dan maksimum pada sarung tangan).
7. Nurmahdyah, A. (2022). Rancang bangun penerjemah bahasa isyarat berbasis Flex Sensor dan Raspberry Pi menggunakan metode K-Nearest Neighbors (K-NN). Skripsi/Thesis, UIN Sunan Gunung Djati Bandung. (Menjadi acuan eksperimen klasifikasi 26 alfabet dengan kombinasi parameter terbaik K=5 pada algoritma K-NN yang menghasilkan akurasi sebesar 97.69%).