Volume 02.
No.
Juni 2026.
Hal.
20 Ae 26 e-ISSN : 3109-4163 Implementasi Hand Gesture Recognition untuk Bahasa Isyarat Indonesia berbasis MobileNetV2 Radit Julian1*.
Hanindya Aisyah2.
Ardiansyah3
*1,2,3
Program Studi Teknologi Informasi.
Fakultas Kesehatan dan Teknologi.
Universitas Muhammadiyah Klaten.
Klaten Email: 1raditjulian27@gmail.
com, 2haninaisyah514@gmail.
com, 3ardiansyah.
dsn@gmail.
ABSTRACT Ai Communication is a fundamental human necessity.
however, for the deaf community, barriers to interaction with the general public remain a significant challenge due to limited literacy in sign language.
This research aims to implement a hand gesture recognition system capable of translating the alphabet of the Indonesian Sign Language System (SIBI) in real-time.
The MobileNetV2 architecture was selected as the base model due to its efficiency in processing data on resource-constrained devices without significantly compromising accuracy.
The methodology involves several crucial stages, beginning with image pre-processingAiincluding resizing and image normalizationAito the application of data augmentation strategies such as rotation, shifting, and brightness adjustment to enhance the model's generalization capabilities in real-world conditions.
The dataset comprises SIBI alphabet classifications from A to Z, collected with high variability to minimize the risk of overfitting.
The results demonstrate that the use of depthwise separable convolutions in MobileNetV2 allows the system to perform gesture detection with high responsiveness and low computational overhead.
Through hyperparameter optimization, this model is expected to achieve optimal accuracy, providing a practical and inclusive communication tool for the deaf community within social environments and public services.
KEYWORDS Ai Hand Gesture Recognition.
SIBI.
MobileNetV2.
Deep Learning.
Computer Vision.
INTISARI Ai Komunikasi merupakan kebutuhan fundamental manusia, namun bagi penyandang tunarungu, hambatan interaksi dengan masyarakat umum masih menjadi tantangan besar akibat keterbatasan literasi terhadap bahasa isyarat.
Penelitian ini bertujuan untuk mengimplementasikan sistem hand gesture recognition yang mampu menerjemahkan alfabet Sistem Isyarat Bahasa Indonesia (SIBI) secara real-time.
Arsitektur MobileNetV2 dipilih sebagai model dasar karena efisiensinya dalam memproses data pada perangkat dengan sumber daya terbatas tanpa mengorbankan akurasi secara Metode yang digunakan melibatkan beberapa tahapan krusial, dimulai dari image pre-processing berupa resizing dan normalisasi citra, hingga penerapan strategi data augmentation seperti rotasi, pergeseran .
, dan penyesuaian kecerahan untuk meningkatkan kemampuan generalisasi model terhadap kondisi dunia nyata.
Dataset yang digunakan mencakup klasifikasi alfabet SIBI dari A hingga Z yang dikumpulkan secara variatif guna meminimalisir risiko Hasil penelitian menunjukkan bahwa penggunaan mekanisme depthwise separable convolutions pada MobileNetV2 memungkinkan sistem melakukan deteksi gestur dengan responsivitas tinggi dan beban komputasi yang Melalui optimasi hyperparameter, model ini diharapkan dapat mencapai tingkat akurasi yang optimal, sehingga dapat diimplementasikan sebagai alat bantu komunikasi yang praktis dan inklusif bagi komunitas Tuli di lingkungan sosial maupun layanan publik.
KATA KUNCI Ai Pengenalan Gerakan Tangan.
SIBI.
MobileNetV2.
Pembelajaran Mendalam.
Visi Komputer.
PENDAHULUAN
Komunikasi inklusif bagi komunitas tunarungu di Indonesia saat ini masih menghadapi tantangan besar berupa jurang pemisah antara pengguna Sistem Isyarat Bahasa Indonesia (SIBI) sebagai standar formal di sekolah luar biasa dengan masyarakat umum yang mayoritas sama sekali tidak memahami arti gerakan isyarat tersebut .
Akibat minimnya pemahaman ini, penyandang disabilitas rungu sering kali mengalami marginalisasi dan kesulitan besar saat harus mengakses layanan vital di sektor publik, seperti kesehatan, hukum, transportasi, maupun administrasi pemerintahan .
Hambatan interaksi sosial yang terus berulang ini pada akhirnya membatasi mobilitas ekonomi mereka dan memperlebar ketimpangan sosial di tengah masyarakat .
Untuk menjembatani kesenjangan tersebut, perkembangan teknologi Computer Vision berbasis Artificial Intelligence (AI) A Jurnal Keilmuan Teknologi Informasi Volume 02.
No.
Juni 2026.
Hal 20 Ae 26 e-ISSN 3109Ae4163 hadir menawarkan solusi solutif melalui sistem pengenalan gestur tangan (Hand Gesture Recognitio.
otomatis menggunakan kamera ponsel.
Pada awalnya, banyak peneliti terdahulu yang mencoba memecahkan masalah ini dengan menerapkan metode Machine Learning konvensional seperti Support Vector Machine (SVM) atau K-Nearest Neighbor (KNN) .
Namun, pendekatan jadul ini terbukti memiliki kelemahan besar karena sangat bergantung pada proses ekstraksi fitur gambar yang diatur secara manual, sehingga sistem mudah bingung dan salah tebak.
Kelemahan fatal dari metode tradisional tersebut biasanya langsung terlihat nyata ketika aplikasi diuji di luar area laboratorium, terutama saat dihadapkan pada variasi latar belakang yang ramai atau perubahan intensitas cahaya yang tidak menentu .
Guna mengatasi keterbatasan itu, tren riset global kini mulai bergeser memanfaatkan keandalan teknologi Jurnal Keilmuan Teknologi Informasi Volume 02.
No.
Juni 2026.
Hal 20 Ae 26 Deep Learning melalui arsitektur Convolutional Neural Network (CNN).
Metode modern ini dinilai jauh lebih cerdas karena komputer dapat melatih dirinya sendiri secara otomatis untuk mengenali detail lekukan geometri tangan dan artikulasi jari yang rumit tanpa intervensi manual dari manusia .
Meski begitu, penggunaan model CNN konvensional generasi lama yang strukturnya sangat besar dan masif, seperti ResNet atau VGG16, justru memunculkan dilema teknis baru yang kurang bersahabat bagi pengguna lapangan .
Modelmodel raksasa tersebut membutuhkan spesifikasi komputer yang tinggi dengan dukungan kartu grafis (GPU) mahal, sehingga jika dipaksakan masuk ke dalam aplikasi ponsel akan membuat sistem menjadi sangat lambat.
Efek buruk lainnya adalah aplikasi akan menguras kapasitas memori, membuat baterai ponsel pintar cepat boros, dan menimbulkan panas berlebih pada perangkat .
Oleh sebab itu, penelitian ini mengusulkan implementasi arsitektur MobileNetV2 yang sengaja dirancang super ringan dan lincah untuk mengatasi masalah keterbatasan sumber daya pada perangkat seluler.
Melalui mekanisme depthwise separable convolutions.
MobileNetV2 mampu memangkas beban hitungan matematika komputer ponsel secara drastis tanpa harus mengorbankan tingkat akurasi sistem secara keseluruhan .
Dengan mengombinasikan kelincahan model ini bersama strategi image pre-processing dan data augmentation yang matang, penelitian ini diharapkan dapat melahirkan aplikasi penerjemah SIBI yang tangguh, adaptif, dan bekerja secara realtime di lingkungan nyata .
bawaan MobileNetV2 .
Selain itu, para peneliti di jurnal tersebut juga menerapkan normalisasi nilai piksel .
engubah rentang warna menjadi 0 hingga .
untuk mempercepat proses pelatihan model dan mencegah eror akibat perbedaan pencahayaan kamera .
Mengenai ketersediaan data, jurnal-jurnal bertema sejenis menjabarkan bahwa mereka umumnya menggunakan dua jenis sumber data, yaitu dataset publik yang sudah tersedia di internet .
eperti Kaggle atau Githu.
atau memproduksi dataset mandiri secara lokal .
Untuk konteks Indonesia, para peneliti menjabarkan bahwa dataset mereka berfokus pada 26 kelas alfabet Sistem Isyarat Bahasa Indonesia (SIBI) .
Dalam dokumen jurnal mereka, dataset tersebut dijabarkan harus diisi oleh variasi kontributor yang berbeda-bedaAimulai dari bentuk tangan pria dan wanita hingga perbedaan warna kulitAiagar model yang dilatih tidak bias .
Untuk mencegah terjadinya overfitting karena jumlah sampel yang terbatas, dokumen jurnal orang lain menjabarkan penggunaan strategi Data Augmentation secara masif .
dalam laporan penelitian mereka, teknik augmentasi yang diterapkan dijabarkan sebagai berikut:
A Rotasi Gambar: Peneliti memutar gambar tangan .
isalnya antara 10 hingga 30 deraja.
untuk meniru posisi tangan pengguna asli yang sering kali miring di depan kamera ponsel .
A Pergeseran Posisi (Shiftin.
: Peneliti menggeser posisi objek secara horizontal dan vertikal agar AI terbiasa mendeteksi tangan yang posisinya tidak tepat berada di tengah bingkai layar .
A Manipulasi Kecerahan (Brightnes.
: Gambar sengaja dibuat menjadi lebih gelap dan lebih terang di komputer guna menyimulasikan kondisi ruangan pengguna di dunia nyata yang pencahayaannya tidak menentu .
A Penskalaan Jarak (Zoomin.
: Peneliti memperbesar atau memperkecil skala gambar untuk melatih ketahanan model terhadap variasi jarak antara tangan pengguna dengan kamera HP .
II.
TINJAUAN PUSTAKA
Dalam berbagai jurnal penelitian mengenai bahasa isyarat, para peneliti terdahulu banyak memilih arsitektur Convolutional Neural Network (CNN) karena kemampuannya dalam mengekstraksi fitur visual secara otomatis .
Di jurnal-jurnal tersebut.
CNN utamanya digunakan untuk membedah citra tangan dari piksel mentah hingga menjadi pola geometri yang Riset terdahulu membuktikan bahwa CNN sukses besar dalam mengenali perbedaan tipis pada gestur jari tanpa perlu lagi menggunakan hitungan manual yang rumit.
Namun, catatan penting dari mayoritas jurnal adalah bahwa CNN standar membutuhkan waktu komputasi yang lama jika lapisannya terlalu dalam .
Untuk mengatasi masalah model CNN yang berat, banyak jurnal terbaru yang mulai beralih menguji arsitektur MobileNetV2 .
Berdasarkan laporan eksperimen di berbagai literatur, para peneliti memanfaatkan struktur depthwise separable convolutions milik MobileNetV2 untuk memotong ukuran berkas model agar bisa masuk ke aplikasi Android atau iOS.
Hasil pengujian dari jurnal-jurnal tersebut menunjukkan bahwa MobileNetV2 berhasil memangkas waktu tunggu .
deteksi pada ponsel pintar secara drastis, sehingga pengenalan gestur isyarat bisa berjalan lancar secara real-time dengan akurasi yang tetap terjaga tinggi .
Pada bagian metodologi di berbagai jurnal pustaka, tahap image preprocessing selalu menjadi langkah wajib yang dilakukan peneliti sebelum memasukkan gambar ke dalam model AI .
Aktivitas utama yang mereka lakukan adalah mengubah ukuran resolusi gambar .
menjadi seragam, biasanya berukuran 224 x 224 piksel agar pas dengan input i.
METODOLOGI
Penelitian ini merupakan penelitian eksperimental yang berfokus pada pengembangan sistem klasifikasi bahasa isyarat SIBI menggunakan pendekatan Deep Learning berbasis Convolutional Neural Network (CNN) dengan arsitektur MobileNetV2 .
Secara garis besar, penelitian ini terdiri dari serangkaian tahapan yang saling berkaitan, dimulai dari persiapan dataset citra bahasa isyarat SIBI, proses preprocessing dan augmentasi data, pembangunan serta pelatihan model MobileNetV2, hingga evaluasi performa dan implementasi sistem deteksi real-time berbasis webcam .
Setiap tahapan dirancang secara sistematis untuk memastikan bahwa model yang dihasilkan tidak hanya memiliki akurasi yang tinggi pada data uji, tetapi juga mampu beroperasi secara efisien dalam kondisi nyata.
Pemilihan MobileNetV2 sebagai arsitektur utama didasarkan pada pertimbangan efisiensi komputasi dan kemampuan transfer learning dari dataset ImageNet, yang memungkinkan model mempelajari representasi fitur gesture tangan secara lebih cepat dan akurat meskipun dengan dataset berukuran sedang .
Jurnal Keilmuan Teknologi Informasi Volume 02.
No.
Juni 2026.
Hal 20 Ae 26
ALUR PENELITIAN
Berikut Gambar 1 merupakan tahapan penelitian yang dilakukan pada sistem SignBridge.
Tahapan awal penelitian dimulai dengan pengumpulan dataset bahasa isyarat SIBI yang terdiri dari citra gesture tangan untuk setiap huruf alfabet statis .
Setelah dataset terkumpul, dilakukan tahap pre-processing data yang meliputi cleaning dataset, data augmentation, serta splitting dataset menjadi data training, validation, dan testing.
Proses preprocessing dilakukan untuk meningkatkan kualitas data dan membantu model mengenali gesture tangan dengan lebih baik pada berbagai kondisi.
Dataset yang telah melalui tahap preprocessing kemudian digunakan pada proses training model menggunakan arsitektur MobileNetV2 .
Setelah proses training selesai, model akan dievaluasi menggunakan beberapa parameter seperti accuracy, loss, confusion matrix, precision, dan recall untuk mengetahui performa model dalam mengenali gesture bahasa isyarat.
Tahap berikutnya adalah pengujian model menggunakan data testing untuk memastikan model mampu melakukan generalisasi terhadap data baru yang belum pernah dilihat sebelumnya.
Jika performa model belum optimal, maka proses akan kembali ke tahap preprocessing dan training dengan melakukan perbaikan seperti penambahan augmentasi data, penyesuaian jumlah epoch, learning rate, batch size, maupun optimizer.
Namun apabila model telah mencapai performa yang sesuai, maka model akan diintegrasikan ke dalam sistem Python berbasis Computer Vision menggunakan OpenCV untuk melakukan deteksi gesture tangan secara realtime melalui webcam .
Gambar 1.
Alur Penelitian DATASET PENELITIAN Dataset yang digunakan dalam penelitian ini adalah dataset bahasa isyarat SIBI yang terdiri dari citra gesture tangan dalam format gambar statis.
Dataset mencakup 24 kelas huruf alfabet (A.
X, dan Y).
Huruf J dan Z tidak disertakan karena merupakan gesture dinamis yang memerlukan analisis temporal, di luar cakupan penelitian ini .
Setiap kelas memiliki sekitar 220 gambar sehingga total dataset mencapai lebih dari 5.
Pembagian dataset dilakukan sebagai berikut:
Tabel I.
Splitting Dataset
Subset Data
Persentase Jumlah Gambar
Training Validation Test
PREPROCESSING DATA
Tahap preprocessing data dilakukan untuk mempersiapkan dataset sebelum digunakan pada proses pelatihan model Deep Learning.
Proses ini bertujuan untuk meningkatkan kualitas data, mengurangi noise, serta membantu model dalam mengenali pola gesture tangan dengan lebih optimal .
Pada penelitian ini, preprocessing dilakukan menggunakan library TensorFlow dan Keras melalui fitur ImageDataGenerator.
Jurnal Keilmuan Teknologi Informasi Volume 02.
No.
Juni 2026.
Hal 20 Ae 26 Tahapan preprocessing yang dilakukan meliputi cleaning dataset, resize gambar, rescaling, data augmentation, serta pembagian dataset menjadi data training, validation, dan testing .
Cleaning Dataset Tahap cleaning dataset dilakukan dengan memeriksa seluruh gambar pada dataset dan menghapus data yang tidak sesuai, seperti gambar rusak, gambar blur berlebihan, gambar duplikat, maupun gambar yang tidak menunjukkan gesture tangan dengan Proses ini dilakukan agar model hanya mempelajari data yang relevan dan berkualitas baik .
Resize Image Seluruh gambar pada dataset diubah ukurannya menjadi 224 y 224 piksel agar sesuai dengan ukuran input yang dibutuhkan oleh arsitektur MobileNetV2.
Proses resize dilakukan untuk menyeragamkan dimensi gambar sehingga proses training dapat berjalan lebih stabil dan efisien .
Rescaling Nilai piksel gambar yang awalnya berada pada rentang 0Ae 255 diubah menjadi 0Ae1 menggunakan proses normalisasi atau Tahapan ini dilakukan agar model dapat melakukan proses pembelajaran dengan lebih cepat dan stabil .
Data Augmentation Data augmentation dilakukan untuk meningkatkan variasi dataset dan mengurangi risiko overfitting pada model.
Proses augmentasi dilakukan secara otomatis menggunakan ImageDataGenerator .
Beberapa teknik augmentasi yang digunakan meliputi:
A Rotation .
otasi gamba.
A Zoom .
erbesaran gamba.
A Horizontal Flip .
embalik gamba.
A Width Shift .
ergeseran horizonta.
A Height Shift .
ergeseran vertika.
Dengan augmentasi data, model dapat mempelajari berbagai variasi posisi tangan, sudut pengambilan gambar, dan kondisi pencahayaan sehingga performa model menjadi lebih baik saat digunakan secara real-time .
Splitting Dataset Dataset yang telah diproses kemudian dibagi menjadi tiga bagian utama, yaitu training data, validation data, dan testing Pembagian dataset dilakukan dengan persentase 70% untuk training, 20% untuk validation, dan 10% untuk testing .
Recall = F1-Score = 2ycu Pr yceycaycnycycnycuycu IV.
HASIL DAN PEMBAHASAN
HASIL PENELITIAN
Penelitian ini berhasil membangun sistem deteksi bahasa isyarat SIBI berbasis Deep Learning menggunakan arsitektur MobileNetV2.
Sistem dikembangkan untuk mengenali gesture alfabet bahasa isyarat secara realtime menggunakan webcam serta pengujian gambar statis.
Proses pengembangan dan pelatihan model dilakukan menggunakan platform Google Colaboratory dengan bahasa pemrograman Python serta framework TensorFlow dan Keras.
Dataset yang digunakan terdiri dari 24 kelas alfabet SIBI yaitu huruf A sampai Y tanpa huruf J dan Z.
Seluruh dataset kemudian melalui tahapan preprocessing berupa cleaning dataset, augmentasi data, resizing gambar menjadi 224y224 piksel, serta pembagian dataset menjadi data training, validation, dan testing.
Pembagian dataset dilakukan dengan rasio 70% data training, 20% data validation, dan 10% data testing.
Pada proses pelatihan model digunakan beberapa parameter yaitu optimizer Adam, learning rate 0.
0001, batch size 32, serta jumlah epoch sebanyak 100 epoch.
Selain itu digunakan callback ModelCheckpoint untuk menyimpan model terbaik berdasarkan validation accuracy tertinggi selama proses training Tabel II.
Accuracy Class Persamaan evaluasi yang digunakan pada penelitian ini antara ycNycE Pr yceycaycnycycnycuycu UI ycIyceycaycaycoyco Keterangan:
A TP (True Positiv.
merupakan jumlah data yang berhasil diprediksi benar sesuai kelas sebenarnya.
A TN (True Negativ.
merupakan jumlah data yang berhasil dikenali bukan termasuk kelas tertentu.
A FP (False Positiv.
merupakan jumlah data yang diprediksi sebagai suatu kelas namun sebenarnya bukan kelas tersebut.
A FN (False Negativ.
merupakan jumlah data yang seharusnya termasuk suatu kelas tetapi diprediksi sebagai kelas lain.
Evaluasi model dilakukan untuk mengetahui tingkat performa model MobileNetV2 dalam mengenali gesture bahasa isyarat SIBI .
Proses evaluasi dilakukan menggunakan beberapa parameter pengujian untuk mengukur kemampuan model dalam melakukan klasifikasi citra secara akurat.
Pada penelitian ini, evaluasi model dilakukan menggunakan metrik precision .
, recall .
, dan F1-score .
Persamaan .
akan membentuk confusion matrix seperti pada Gambar 5, serta Tabel II.
ycNycE yaycE
ycNycE yaycA
EVALUASI
Precision = ycNycE F1-Score Jurnal Keilmuan Teknologi Informasi Volume 02.
No.
Juni 2026.
Hal 20 Ae 26 Accuracy Hasil pelatihan menunjukkan bahwa model mampu mencapai tingkat akurasi yang baik dalam mengenali gesture bahasa isyarat.
Model yang telah dilatih kemudian dievaluasi menggunakan data testing untuk mengetahui performa klasifikasi terhadap data baru yang belum pernah dikenali Gambar 3.
Contoh Prediksi Salah Berdasarkan hasil pengujian pada Gambar 4, masih ditemukan beberapa kesalahan klasifikasi pada gesture tertentu.
Kesalahan prediksi umumnya terjadi pada gesture yang memiliki kemiripan bentuk tangan maupun posisi jari antar kelas sehingga model mengalami kesulitan dalam membedakan karakteristik masing-masing gesture.
Meskipun beberapa hasil prediksi salah memiliki confidence score yang cukup tinggi, kondisi tersebut menunjukkan bahwa model masih mengalami overconfidence terhadap pola tertentu yang dianggap mirip dengan data pelatihan.
Selain itu, faktor lain seperti pencahayaan, sudut pengambilan gambar, background, dan kualitas citra juga memengaruhi performa model dalam melakukan klasifikasi gesture secara tepat.
Gambar 2.
Contoh Prediksi Benar Berdasarkan hasil pengujian pada Gambar 3, model berhasil melakukan klasifikasi gesture bahasa isyarat dengan baik pada beberapa sampel data testing.
Seluruh gambar yang diuji mampu diprediksi sesuai dengan label aslinya dengan nilai confidence yang tinggi.
Hal tersebut menunjukkan bahwa model MobileNetV2 mampu mengekstraksi fitur penting pada bentuk tangan, posisi jari, serta pola gesture secara efektif.
Selain itu, hasil prediksi yang konsisten menunjukkan bahwa model memiliki kemampuan generalisasi yang cukup baik terhadap data yang digunakan pada proses pengujian.
Tingginya confidence score pada hasil prediksi benar juga menunjukkan bahwa model memiliki tingkat keyakinan yang tinggi terhadap kelas yang diprediksi.
Gambar 4.
Grafik Confidence Hasil Test Berdasarkan grafik confidence score hasil pengujian, sebagian besar prediksi benar memiliki tingkat confidence tinggi mendekati 100%.
Namun demikian, masih ditemukan beberapa prediksi dengan confidence rendah maupun prediksi salah dengan confidence tinggi.
Kondisi tersebut menunjukkan bahwa model masih mengalami overconfidence pada beberapa gesture yang memiliki karakteristik visual hampir serupa.
Berdasarkan Gambar 5, hasil confusion matrix menunjukkan bahwa sebagian besar data berhasil diklasifikasikan dengan benar oleh model MobileNetV2.
Hal ini terlihat dari dominasi nilai pada diagonal utama matriks yang menunjukkan kesesuaian antara label asli dan hasil prediksi model.
Tingginya Jurnal Keilmuan Teknologi Informasi Volume 02.
No.
Juni 2026.
Hal 20 Ae 26 jumlah prediksi pada diagonal utama mengindikasikan bahwa model mampu mengenali karakteristik gesture bahasa isyarat SIBI dengan baik pada sebagian besar kelas yang diuji.
Beberapa kelas seperti H.
K, dan E menunjukkan tingkat klasifikasi yang sangat baik karena hampir seluruh data pada kelas tersebut berhasil diprediksi dengan benar.
Kondisi ini menunjukkan bahwa gesture pada kelas-kelas tersebut memiliki karakteristik visual yang cukup berbeda sehingga lebih mudah dipelajari dan dikenali oleh model.
memiliki kemampuan klasifikasi yang baik karena sebagian besar prediksi berada pada diagonal utama.
Hal tersebut menunjukkan bahwa model berhasil mempelajari pola gesture pada masing-masing kelas alfabet.
Akan tetapi, masih ditemukan beberapa kesalahan prediksi pada gesture tertentu yang memiliki kemiripan bentuk jari maupun posisi tangan.
Pada pengujian gambar statis, model mampu menghasilkan confidence score tinggi pada sebagian besar data Kondisi tersebut menunjukkan bahwa model memiliki tingkat keyakinan yang baik terhadap hasil prediksi yang Namun, ditemukan pula beberapa prediksi salah dengan confidence score tinggi.
Hal tersebut menunjukkan bahwa model mengalami overconfidence terhadap beberapa gesture yang memiliki karakteristik visual hampir serupa.
Pengujian realtime menunjukkan bahwa sistem mampu melakukan deteksi gesture secara langsung menggunakan webcam dengan performa yang cukup stabil.
MobileNetV2 memiliki keunggulan dari sisi kecepatan inferensi sehingga cocok diterapkan pada sistem Meskipun demikian, performa sistem masih dipengaruhi oleh faktor lingkungan seperti pencahayaan, kualitas kamera, background, serta posisi tangan pengguna.
Secara keseluruhan, sistem deteksi bahasa isyarat yang dikembangkan telah mampu melakukan klasifikasi gesture SIBI dengan cukup baik.
Penggunaan MobileNetV2 memberikan hasil yang ringan dan efisien sehingga berpotensi diterapkan pada aplikasi realtime berbasis desktop maupun perangkat mobile di masa mendatang.
KESIMPULAN
Gambar 5.
Confusion Matrix Berdasarkan hasil penelitian yang telah dilakukan, sistem deteksi bahasa isyarat SIBI menggunakan arsitektur MobileNetV2 berhasil diimplementasikan dengan baik untuk mengenali gesture alfabet secara realtime maupun melalui gambar statis.
Penggunaan MobileNetV2 terbukti mampu memberikan performa klasifikasi yang cukup baik dengan keunggulan pada efisiensi komputasi dan kecepatan proses inferensi sehingga cocok diterapkan pada perangkat dengan sumber daya terbatas seperti laptop maupun perangkat mobile.
Tahapan preprocessing seperti cleaning dataset, resizing, normalisasi, dan data augmentation juga memberikan pengaruh penting terhadap peningkatan kemampuan model dalam mengenali berbagai variasi gesture tangan.
Berdasarkan hasil pengujian, sebagian besar gesture berhasil dikenali dengan tingkat confidence yang tinggi.
Hal ini menunjukkan bahwa model mampu mengekstraksi fitur penting pada bentuk tangan dan posisi jari secara efektif.
Meskipun demikian, masih ditemukan beberapa kesalahan klasifikasi pada gesture yang memiliki kemiripan bentuk tangan maupun posisi jari.
Faktor eksternal seperti pencahayaan, background, kualitas kamera, dan sudut pengambilan gambar juga memengaruhi performa sistem dalam kondisi realtime.
Namun secara keseluruhan, sistem yang dikembangkan telah mampu bekerja dengan cukup stabil dan memiliki potensi untuk diterapkan sebagai media bantu komunikasi bagi penyandang tunarungu dalam kehidupan sehari-hari.
Penelitian selanjutnya diharapkan dapat mengembangkan sistem dengan menambahkan pengenalan gesture dinamis seperti huruf J dan Z, meningkatkan jumlah dataset, serta mengimplementasikan model pada aplikasi mobile Android agar dapat digunakan secara lebih praktis dan luas oleh masyarakat.
Meskipun demikian, masih ditemukan beberapa kesalahan klasifikasi pada beberapa kelas tertentu.
Berdasarkan confusion matrix, kesalahan prediksi paling banyak terjadi pada kelas M yang beberapa kali diprediksi sebagai kelas N, serta pada kelas F yang sebagian data diprediksi sebagai kelas B.
Selain itu, terdapat pula sejumlah kecil kesalahan klasifikasi pada kelas V.
W, dan R yang diprediksi sebagai kelas lain yang memiliki kemiripan bentuk tangan.
Kesalahan klasifikasi tersebut diduga terjadi karena adanya kemiripan posisi jari maupun bentuk gesture antar kelas.
Selain itu, variasi pencahayaan, sudut pengambilan gambar, kualitas citra, dan posisi tangan saat proses pengambilan data juga dapat memengaruhi kemampuan model dalam membedakan fitur visual pada masing-masing Secara keseluruhan, confusion matrix menunjukkan bahwa model MobileNetV2 memiliki kemampuan klasifikasi yang sangat baik dengan jumlah kesalahan prediksi yang relatif kecil dibandingkan total data pengujian.
Hasil ini memperkuat temuan pada tahap evaluasi sebelumnya yang menunjukkan bahwa model mampu mencapai tingkat akurasi tinggi dalam mengenali gesture bahasa isyarat SIBI.
PEMBAHASAN
Berdasarkan hasil penelitian yang telah dilakukan, penggunaan arsitektur MobileNetV2 menunjukkan performa yang cukup baik dalam melakukan klasifikasi gesture bahasa isyarat SIBI baik pada pengujian gambar statis maupun realtime.
MobileNetV2 mampu mengekstraksi fitur penting pada gesture tangan sehingga proses klasifikasi dapat dilakukan dengan cepat dan efisien.
Hasil confusion matrix menunjukkan bahwa model Jurnal Keilmuan Teknologi Informasi Volume 02.
No.
Juni 2026.
Hal 20 Ae 26
REFERENSI