JSITIK.
Vol.
4 No.
1 Desember 2025 ISSN: 2986-0458 (Prin.
/ 2986-044X (Onlin.
DOI: https://doi.
org/10.
53624/jsitik.
Klasifikasi Gestur BISINDO Berbasis Landmark Tangan-Lengan Menggunakan Mediapipe Holistic dan Random Forest Diterima:
19 Juni 2025 Revisi:
19 Juli 2019 Terbit:
25 Desember 2025 AzraAoi Mahendra.
Aldestra Bagas Wardana.
Jodi Armyanto.
Moch.
Raffi Dwi Saktya Rahman Universitas Nusantara PGRI Kediri AbstrakAiLatar Belakang: Bahasa Isyarat Indonesia (BISINDO) menjadi media komunikasi primer bagi komunitas tunarungu di Indonesia.
Akan tetapi, tingkat pemahaman masyarakat umum terhadap BISINDO masih minim, sehingga dibutuhkan inovasi teknologi untuk mengatasi hambatan komunikasi ini.
Tujuan:
Studi ini bertujuan untuk mengevaluasi efektivitas integrasi algoritma Random Forest dengan sistem ekstraksi fitur MediaPipe Holistic dalam mengidentifikasi gestur alfabet statis BISINDO secara tepat dan Metode: Riset ini menerapkan pendekatan kuantitatif eksperimental melalui pengumpulan data gestur alfabet BISINDO (AAeZ kecuali J dan R).
Setiap gerakan direkam menggunakan MediaPipe Holistic untuk menghasilkan 150 fitur landmark tiga dimensi.
Dataset diseimbangkan dan diolah menggunakan model Random Forest dengan konfigurasi standar.
Hasil: Model yang dikembangkan menunjukkan tingkat akurasi 100% pada dataset pengujian dan 96% pada data baru dari pengguna yang berbeda, mengindikasikan performa klasifikasi yang optimal dan kemampuan generalisasi yang baik.
Kesimpulan:
Integrasi MediaPipe Holistic dan Random Forest terbukti efektif dalam klasifikasi gestur BISINDO dan memiliki potensi untuk diimplementasikan dalam aplikasi penerjemah bahasa isyarat real-time yang Kata KunciAi Bahasa Isyarat Indonesia.
BISINDO.
Random Forest.
MediaPipe Holistic AbstractAiBackground: Indonesian Sign Language (BISINDO) serves as the primary communication tool for the deaf community in Indonesia.
However, public understanding of BISINDO remains limited, necessitating technology-based solutions to bridge this communication gap.
Objective: This study aims to evaluate the effectiveness of combining Random Forest algorithm with MediaPipe Holistic feature extraction system in accurately and efficiently classifying static BISINDO alphabet gestures.
Methods: This research employed an experimental quantitative approach through data collection of BISINDO alphabet gestures (AAeZ excluding J and R).
Each gesture was recorded using MediaPipe Holistic to generate 150 three-dimensional landmark features.
The dataset was balanced and processed using Random Forest model with default settings.
Results: The trained model demonstrated 100% accuracy on test data and 96% on new data from different users, indicating high classification performance and good generalization Conclusion: The integration of MediaPipe Holistic and Random Forest proved effective in BISINDO gesture classification and has potential for implementation in inclusive real-time sign language translator applications.
KeywordsAi Indonesian Sign Language.
BISINDO.
Random Forest.
MediaPipe Holistic This is an open access article under the CC BY-SA License.
Penulis Korespondensi:
AzraAoi Mahendra.
Sistem Informasi.
Universitas Nusantara PGRI Kediri.
Email: azrmhenn@gmail.
JSITIK: Jurnal Sistem Informasi dan Teknologi Informasi Komputer | Hal:31-39 JSITIK.
Vol.
4 No.
1 Desember 2025 ISSN: 2986-0458 (Prin.
/ 2986-044X (Onlin.
DOI: https://doi.
org/10.
53624/jsitik.
PENDAHULUAN
Komunitas tunarungu dan tunawicara mengandalkan bahasa isyarat sebagai media komunikasi primer mereka.
Indonesia memiliki dua sistem bahasa isyarat yang berbeda: BISINDO (Bahasa Isyarat Indonesi.
dan SIBI (Sistem Isyarat Bahasa Indonesi.
Kedua sistem ini memiliki karakteristik yang kontras - BISINDO menggunakan pendekatan visual yang lebih alami, sementara SIBI dirancang mengikuti kaidah tata bahasa Indonesia tertulis.
Sayangnya, masih minimnya pengetahuan masyarakat umum tentang BISINDO menciptakan hambatan dalam komunikasi sehari-hari.
Hal inilah yang membuat penelitian ini menjadi penting, karena dibutuhkan inovasi teknologi yang mampu memfasilitasi komunikasi antara individu berkebutuhan khusus dan masyarakat pada umumnya.
Penelitian ini memiliki kebaruan dalam hal pengintegrasian algoritma Random Forest bersama sistem MediaPipe Holistic sebagai ekstraksi fitur, yang digunakan untuk mengenali alfabet BISINDO secara real-time - suatu pendekatan yang belum dilakukan pada riset-riset sebelumnya.
Sebelumnya, beberapa penelitian mengandalkan fitur sederhana seperti bentuk dan warna atau menggunakan metode konvensional lain seperti KNN atau SVM (Amiarrahman & Handhika.
Penelitian oleh Ristyawan et al.
mengungkapkan bahwa metode Random Forest menunjukkan hasil yang memuaskan ketika digunakan untuk mengklasifikasikan data dengan dimensi yang kompleks.
Meski demikian, penelitian tersebut belum mengoptimalkan integrasi antara Random Forest dengan teknologi MediaPipe Holistic.
Sementara itu.
Indra et al.
memanfaatkan fitur warna dan bentuk pada citra BISINDO, dan Moetia Putri & Fuadi .
mengeksplorasi pendekatan LSTM untuk deteksi real-time, tetapi belum fokus pada representasi koordinat landmark tangan-lengan secara eksplisit.
Perbedaan pendekatan dalam penelitian ini diharapkan berkontribusi pada pengembangan sistem klasifikasi gestur BISINDO yang lebih efisien, akurat, dan dapat dijalankan secara realtime di perangkat dengan kapasitas terbatas.
Gambar dan tabel dalam penelitian ini dikutip dan dideskripsikan secara eksplisit untuk mendukung transparansi dan replikasi.
Tujuan penelitian ini adalah secara teoritis mengeksplorasi penerapan algoritma Random Forest dalam klasifikasi gestur alfabet BISINDO berbasis fitur landmark tubuh dan tangan.
Secara praktis, penelitian ini bertujuan membangun sistem klasifikasi alfabet BISINDO yang dapat dijalankan secara optimal dan real-time.
Kontribusi utama dari penelitian ini adalah membuktikan efektivitas kombinasi MediaPipe Holistic dan Random Forest sebagai pendekatan yang andal dalam klasifikasi bahasa isyarat Indonesia.
Penelitian ini juga diharapkan dapat menjadi landasan bagi pengembangan aplikasi penerjemah bahasa isyarat yang inklusif dan mudah diakses oleh masyarakat luas, khususnya dalam konteks komunikasi penyandang disabilitas.
JSITIK: Jurnal Sistem Informasi dan Teknologi Informasi Komputer | Hal:31-39 JSITIK.
Vol.
4 No.
1 Desember 2025 ISSN: 2986-0458 (Prin.
/ 2986-044X (Onlin.
DOI: https://doi.
org/10.
53624/jsitik.
II.
METODE
Metode penelitian ini dirancang untuk menguji kinerja model Random Forest dalam mengklasifikasikan huruf BISINDO menggunakan fitur landmark tangan yang diekstraksi oleh MediaPipe.
Rancangan metode dibagi ke dalam beberapa tahapan utama, yaitu: .
Persiapan dataset, .
Balancing Data, .
Transform Data, .
Split Data, .
Konfigurasi dan pelatihan model Random Forest, .
Klasifikasi data sample, serta .
Evaluasi.
Skema alur metodologi dapat dilihat pada Gambar 1 (Ristyawan et al.
, 2.
Gambar 1.
Diagram Penelitian 1 Pengumpulan Dataset Dataset pada penelitian ini dibuat secara manual melalui proses pemotretan gestur bahasa isyarat BISINDO dengan bantuan kamera dan Library MediaPipe Holistic.
Proses ini dirancang agar mampu merekam landmark koordinat 3 dimensi .
, y, .
dari beberapa titik penting tubuh dan tangan, khususnya pada pose bagian atas .
pper bod.
serta kedua tangan.
Untuk setiap huruf alfabet (AAeZ kecuali J dan R), sistem melakukan pengambilan sebanyak 500 gambar dengan label yang sesuai.
Landmark gambar 2 yang diambil meliputi:
8 titik penting dari pose bagian atas .
rists, elbows, shoulders, hip.
21 titik pada tangan kiri .
21 titik pada tangan kanan Gambar 2.
Perekaman Dataset Kelas A JSITIK: Jurnal Sistem Informasi dan Teknologi Informasi Komputer | Hal:31-39 JSITIK.
Vol.
4 No.
1 Desember 2025 ISSN: 2986-0458 (Prin.
/ 2986-044X (Onlin.
DOI: https://doi.
org/10.
53624/jsitik.
Sehingga total jumlah fitur dari setiap citra gestur adalah :
Total Fitur = .
y 3=150 Setiap titik landmark memiliki 3 dimensi: x, y, dan z.
Setiap baris data yang dihasilkan akan Data Row = .
lass,x1,y1,z1,.
,x50,y50,z.
Dengan class adalah label huruf gestur .
isalnya 'A', 'B', ds.
, dan x1Aez50 adalah koordinat landmark yang diurutkan.
Data disimpan dalam format CSV di file dataset.
MediaPipe Holistic memungkinkan akurasi dan kecepatan tinggi dalam ekstraksi ciri .
tanpa memerlukan proses segmentasi gambar manual (Indra et al.
, 2.
, (Amiarrahman & Handhika, 2.
, (Moetia Putri & Fuadi, 2.
2 Transform Data Sebelum data digunakan dalam proses pelatihan model klasifikasi, label huruf dari Bahasa Isyarat Indonesia (BISINDO) pada kolom class perlu diubah ke bentuk numerik agar dapat diproses oleh algoritma pembelajaran mesin.
Oleh karena itu, dilakukan transformasi label menggunakan teknik Label Encoding dari Library sklearn.
preprocessing (Breva Yunanda et al.
LabelEncoder mengubah setiap label unik .
isalnya huruf A-Z) menjadi representasi numerik diskrit, seperti 0 untuk A, 1 untuk B, dan seterusnya.
Hasil transformasi disimpan pada kolom baru class_encoded.
Proses ini bersifat penting karena sebagian besar algoritma klasifikasi hanya dapat menerima input dalam bentuk numerik, bukan teks atau kategori string (Veronika Aritonang et al.
, 2.
3 Split Data Setelah melalui tahapan penyeimbangan dan konversi label menjadi format numerik, dataset selanjutnya dipartisi ke dalam dua bagian: training set dan testing set.
Strategi pembagian ini bertujuan untuk melatih model menggunakan training set, kemudian menguji kemampuannya pada testing set yang belum pernah digunakan sebelumnya guna memperoleh evaluasi performa yang objektif.
Agar distribusi kelas pada data latih dan data uji tetap seimbang dan proporsional, digunakan teknik stratifikasi sehingga :
O DtrainO =0.
8yO DO danO DtestO =0.
2yO DO Ukuran data latih | Dtrain O adalah 80% dari keseluruhan dataset | D |, sedangkan ukuran data uji O Dtest O adalah 20% dari keseluruhan dataset tersebut.
Dengan pembagian ini, model memperoleh sebagian besar data untuk proses pelatihan, sementara sisanya digunakan untuk evaluasi kinerja secara objektif (Pratama et al.
, 2.
(Suyudi et al.
, 2.
JSITIK: Jurnal Sistem Informasi dan Teknologi Informasi Komputer | Hal:31-39 JSITIK.
Vol.
4 No.
1 Desember 2025 ISSN: 2986-0458 (Prin.
/ 2986-044X (Onlin.
DOI: https://doi.
org/10.
53624/jsitik.
4 Balancing Data Meskipun jumlah target pengambilan data per kelas telah ditetapkan sebanyak 500 sampel, dalam praktiknya peneliti dapat menambahkan data dengan label yang sama apabila gestur sebelumnya dirasa kurang akurat.
Hal ini menyebabkan jumlah sampel antar kelas menjadi tidak Untuk mengatasi ketidakseimbangan ini, dilakukan proses Undersampling menggunakan metode RandomUnderSampler dari Library imblearn.
Strategi Undersampling yang digunakan dirumuskan sebagai berikut:
sampling_strategy= .
:500 | c OO C) Rumus tersebut berarti bahwa untuk setiap kelas c dalam himpunan kelas C, akan diambil secara acak sebanyak 500 sampel.
Jika suatu kelas memiliki jumlah data lebih dari 500, maka data akan dikurangi secara acak hingga mencapai jumlah tersebut.
Proses ini bertujuan untuk menyeimbangkan distribusi data antar kelas sehingga model yang dikembangkan tidak terfokus pada kelas tertentu .
(Budi Utomo et al.
, 2.
(Rachmawati et al.
, 2.
5 Konfigurasi dan Pelatihan Random Forest Algoritma Random Forest diatur dengan konfigurasi 100 decision tree .
_estimators=.
dan parameter random_state=42 guna menjamin konsistensi hasil dalam setiap eksperimen.
Proses pembelajaran model dilakukan menggunakan dataset training yang sudah disiapkan melalui eksekusi fungsi model.
fit(X_train, y_trai.
Setelah tahap pembelajaran berakhir, model diterapkan untuk mengklasifikasikan dataset testing dengan menjalankan perintah y_pred = predict(X_tes.
Output prediksi yang diperoleh selanjutnya dikomparasi dengan ground truth dari data testing untuk mengukur kinerja model.
Penilaian performa dilakukan menggunakan sejumlah indikator evaluasi seperti precision, recall.
F1-score, dan confusion matrix.
Metrikmetrik ini secara bersama-sama memberikan gambaran yang komprehensif mengenai akurasi dan kemampuan klasifikasi model dalam mengenali pola-pola pada data isyarat (Sari & Jamzuri, 2.
, (Putra Argadianata et al.
, 2.
, (Agustiani et al.
, 2.
6 Klasifikasi Sebagai bagian dari evaluasi lanjutan terhadap kinerja model yang telah dibangun, dilakukan proses pengujian terhadap data baru.
Untuk keperluan ini, disiapkan himpunan data sampel dengan format serupa seperti saat proses pengumpulan data awal, yakni berdasarkan ekstraksi fitur landmark tubuh dan tangan secara real time mengguanakn bantuan software Visual Studio Code (Dwi Nurhayati et al.
, 2.
, (Ariansyah & Ariansyah, 2.
Setiap label alfabet direpresentasikan oleh 20 sampel, sehingga total data uji relatif kecil namun cukup untuk simulasi Data sampel ini kemudian diklasifikasikan menggunakan model yang telah dilatih sebelumnya untuk mengamati seberapa baik model mengenali pola gestur pada data yang tidak termasuk dalam pelatihan, dapat dilihat pada Gambar 3.
JSITIK: Jurnal Sistem Informasi dan Teknologi Informasi Komputer | Hal:31-39 JSITIK.
Vol.
4 No.
1 Desember 2025 ISSN: 2986-0458 (Prin.
/ 2986-044X (Onlin.
DOI: https://doi.
org/10.
53624/jsitik.
Gambar 3.
Pengumpulan Data Baru Kelas A 7 Evaluasi Hasil klasifikasi terhadap data sampel kemudian dievaluasi menggunakan metrik klasifikasi seperti precision, recall, f1-score, serta akurasi keseluruhan.
Evaluasi ini ditampilkan melalui classification report guna memantau sejauh mana model mampu mengenali gestur alfabet dari data baru.
Jika tingkat akurasi yang diperoleh masih belum memuaskan, maka dapat dilakukan penyesuaian terhadap sejumlah parameter pada model, seperti jumlah estimator .
_estimator.
, kedalaman maksimum pohon .
ax_dept.
, atau metode pemilihan fitur .
ax_feature.
guna meningkatkan performa klasifikasi.
Pilihan rentang parameter ini didasarkan pada praktik baik pada klasifikasi citra dan aplikasi isyarat oleh Sari & Jamzuri serta Argadianata et al.
menggunakan hingga 500 pohon dan variasi kedalaman untuk mencapai akurasi 85Ae88% pada tugas serupa (Putra Argadianata et al.
, 2.
(Sari & Jamzuri, 2.
HASIL DAN PEMBAHASAN
Temuan penelitian ini adalah bahwa model Random Forest dengan fitur dari MediaPipe Holistic mampu mengklasifikasikan gestur alfabet BISINDO secara akurat.
Model mencapai akurasi 100% pada data uji dan 96% pada data baru.
Gambar 4 menunjukkan hasil evaluasi performa model berdasarkan metrik klasifikasi.
Gambar 4.
Clasification Report Model RF JSITIK: Jurnal Sistem Informasi dan Teknologi Informasi Komputer | Hal:31-39 JSITIK.
Vol.
4 No.
1 Desember 2025 ISSN: 2986-0458 (Prin.
/ 2986-044X (Onlin.
DOI: https://doi.
org/10.
53624/jsitik.
1 Klasifikasi menggunakan data baru Data baru atau data sample yang direkam memiliki karakteristik yang sama dengan dataset diawal namun yang membedakan dari sumbernya, data sumber di ambil dari gesture orang baru sehingga model akan di uji secara adil dan tidak mengambil sebagian data test yang sama persis saat di split pada dataset, data baru diambil hanya 20 data per kelasnya yang dimana jumlah ini sudah cukup mewakili jika hanya untuk menguji akurasi, recall, f1-score, precision bisa dilihat pada Gambar 5 menunjukan score rata Ae rata yang diperoleh yaitu 96%, artinya model ini berhasil mendeteksi gesture bahasa isyarat BISINDO secara optimal.
Gambar 5.
Clasification Report Data Baru Hasil penelitian ini sejalan dengan penelitian oleh Ristyawan et al.
dan Indra et al.
, yang membuktikan bahwa algoritma Random Forest menunjukkan kinerja superior dalam mengklasifikasikan data citra.
Namun, kontribusi penelitian ini adalah penggunaan kombinasi fitur landmark tubuh dan tangan dari MediaPipe yang terbukti meningkatkan akurasi dan Dari keseluruhan kelas ada beberapa kelas diantaranya C.
T mendapatkan precision yang menurun dibanding kelas lain hal ini terjadi karena beberapa faktor, salah satunya adalah pencahayaan yang kurang memadai sehingga menyulitkan kamera mengenali gesture dan menghambat MediaPipe Holistic dalam menghasilkan koordinat titik dengan optimal.
IV.
KESIMPULAN
Studi ini telah sukses mengembangkan dan menerapkan sistem pengenalan alfabet BISINDO dengan memanfaatkan algoritma Random Forest yang berbasis pada fitur landmark tangan yang diperoleh melalui ekstraksi MediaPipe Holistic.
Dengan pelatihan pada dataset seimbang dan representatif, model mencapai akurasi 100% pada data uji, dan 96% saat diuji dengan data baru JSITIK: Jurnal Sistem Informasi dan Teknologi Informasi Komputer | Hal:31-39 JSITIK.
Vol.
4 No.
1 Desember 2025 ISSN: 2986-0458 (Prin.
/ 2986-044X (Onlin.
DOI: https://doi.
org/10.
53624/jsitik.
dari pengguna berbeda.
Hal ini menunjukkan bahwa model mampu mengenali gestur secara akurat dan andal.
Penurunan akurasi pada beberapa huruf disebabkan oleh faktor eksternal seperti pencahayaan yang memengaruhi kualitas deteksi landmark.
DAFTAR PUSTAKA