Journal of Digital Business and Technology Innovation (DBESTI) Vol.
2 No.
1 2025, 133 - 139
Journal of Digital Business and Technology Innovation (DBESTI) https://journal.
id/index.
php/DBESTI P-ISSN: 3047-1028 E-ISSN: 3032-775X
MODEL DEEP LEARNING UNTUK PENERJEMAH BAHASA ISYARAT SIBI
DENGAN ARSITEKTUR TRANSFER LEARNING
Fikri Pratama Al Fajri1.
Ahmad Rio Adriansyah2, .
Sirojul Munir3
1,2,3
Teknik Informatika.
Sekolah Tinggi Teknologi Terpadu Nurul Fikri Jakarta Selatan.
DKI Jakarta.
Indonesia 12640 fikripratamaal@gmail.
com, arasy@nurulfikri.
id, rojulman@nurulfikri.
Abstract People with speech and hearing disabilities have difficulties when communicating with non-disabled people because they use sign language which is rarely learned in general.
To solve this problem, a deep learning model is needed that can detect sign language hand gestures.
A sign language translator application can then be made that facilitates communication between nondisabled people and people with disabilities.
This research aims to create a deep learning model that can detect SIBI alphabettype sign language hand gestures with good accuracy.
The CNN algorithm model uses Transfer Learning MobilenetV2 architecture and transfer learning method.
The results of this study show that the model evaluation reaches 95.
45% and the next model can be applied to the sign translator application, for further development it is expected to use more datasets so that the model gets a lot of variation during the training process.
Keywords: CNN.
Deep Learning.
MobileNetV2.
SIBI.
Transfer Learning Abstrak Orang-orang dengan disabilitas tuna wicara serta tunarungu memiliki kesulitan ketika berkomunikasi dengan orang non disabilitas dikarenakan mereka menggunakan bahasa isyarat yang jarang dipelajari secara umum.
Untuk menyelesaikan permasalahan ini diperlukan suatu model deep learning yang dapat mendeteksi gerakan tangan bahasa isyarat yang selanjutnya dapat dibuat aplikasi penerjemah bahasa isyarat yang bisa mempermudah komunikasi orang non disabilitas dengan orang Tujuan dari penelitian ini adalah membuat model deep learning yang mampu mendeteksi gerakan tangan bahasa isyarat berjenis SIBI alfabet dengan akurasi yang baik.
Model algoritma CNN menggunakan Transfer Learning arsitektur MobilenetV2 dan metode transfer learning.
Hasil penelitian ini menunjukkan evaluasi model mencapai 95,45% dan model selanjutnya dapat diterapkan pada aplikasi penerjemah isyarat, untuk pengembangan lanjutan diharapkan penggunaan dataset yang lebih banyak agar model mendapatkan banyak variasi saat proses training.
Kata kunci: CNN.
Deep Learning.
MobileNetV2.
SIBI.
Transfer Learning PENDAHULUAN Disabilitas adalah kondisi di mana seseorang dengan kekurangan atau keterbatasan fisik, intelektual mental serta sensorik yang membuat penyandangnya memiliki keterbatasan dalam melakukan aktivitasnya.
Jenis dari disabilitas ada beberapa macam jenis yang salah satunya biasanya bersamaan yakni tuna rungu yang merupakan gangguan pada pendengaran dan tuna wicara yang merupakan kondisi di mana seseorang tidak dapat berbicara.
Kondisi ini dapat terjadi karena ketika seseorang mengalami tuna rungu sejak lahir maka dia tidak akan mengetahui bunyi dari huruf sehingga mereka tidak dapat mengucapkan huruf tersebut.
Menurut data yang bersumber dari Open Data Jabar di Kota Depok dari tahun 2021 sampai 2022 terdapat 658 jiwa penyandang tuna wicara dan tuna rungu.
Orang-orang yang mengalami kondisi ini menggunakan bahasa isyarat sebagai cara utama berkomunikasi, namun bahasa isyarat bukan sesuatu yang umum dipelajari sehingga orang-orang non disabilitas akan kesulitan berkomunikasi dengan orang disabilitas tuna rungu dan tuna Untuk mengatasi masalah itu maka diperlukan suatu aplikasi yang didalamnya terdapat model deep learning yang dapat mendeteksi gerakan tangan bahasa isyarat, terfokus kepada jenis bahasa isyarat SIBI (Sistem Bahasa Diterima 12 November 2024.
Direvisi 3 Juni 2025.
Diterima untuk publikasi 4 Juni 2025 134 | Journal of Digital Business and Technology Innovation (DBESTI) Vol.
2 No.
1 Mei 2025 Isyarat Bahasa Indonesi.
karena sudah dibakukan oleh pemerintah.
Penelitian ini berfokus kepada pembuatan model deep learning dengan menggunakan framework Menggunakan algoritma CNN (Convolutional Neural Networ.
dengan arsitektur MobileNetV2 dan metode transfer learning yang memungkinkan model dibuat dengan lebih cepat dan ringan dalam komputasi.
SIBI
SIBI (Sistem Isyarat Bahasa Indonesi.
merupakan sebuah bahasa isyarat yang sudah dibakukan oleh pemerintah.
serta digunakan dalam pembelajaran di Sekolah Luar Biasa (SLB).
SIBI lebih sering digunakan dalam acara formal.
Pada penerapan SIBI terdapat bentuk alfabet yang di mana setiap gerakan tangan memiliki arti huruf.
Hampir semua huruf gerakan statis .
anya membentuk tidak bergera.
namun untuk J dan Z dinamis karena diperlukan untuk membentuk huruf tersebut.
Deep Learning Deep Learning Merupakan bagian dari machine learning serta kecerdasan buatan yang di mana deep learning pengembangan dari neural network multiple layer.
Menggunakan metode Artificial Neural Network (ANN) yang merupakan model pembelajaran mesin yang scalable, kuat dan serbaguna karena algoritma ANN merupakan dasar dan metode sederhana yang digunakan pada pendekatan deep learning.
ANN yang biasa disebut jaringan syaraf tiruan yang mirip seperti neuron-neuron yang saling terhubung karena ANN memiliki banyak lapisan.
Deep learning dalam pengembangannya memiliki banyak algoritma yaitu Long Short Term Memory Network (LSTM).
Recurrent Neural Network (RNN) dan Convolutional Neural Network (CNN).
Transfer Learning Transfer learning merupakan metode yang menggunakan network yang sudah dilatih dan siap digunakan untuk mempelajari tugas baru.
Penggunaan transfer learning memungkinkan model deep learning pada saat proses training mendapatkan akurasi yang tinggi dengan waktu yang lebih cepat saat proses training.
Convolutional Neural Networks (CNN) Convolutional Neural Networks (CNN) merupakan pengembangan dari algoritma Multilayer Perceptron (MLP) yang di desain dapat melakukan pengolahan pada data dua dimensi.
Penggunaan algoritma CNN dalam pengembangan model deep learning cukup populer yang dimana dapat digunakan untuk pengolahan data dua dimensi gambar atau citra.
Ide pengembangan ini didasari dari tiga ide awal yakni local receive field, weight sharing dan spatial sub sampling.
Ide tersebut dijelaskan masukan kedalam dua jenis layer yakni pooling dan convolution Gambar 1.
Arsitektur CNN Pada gambar 1, bagian utama dalam pengembangan CNN terdapat pada convolutional layer yang sebagian besar prosesnya adalah operasi matematika linear aljabar dengan mengalikan matriks dari filter ke gambar.
Hal ini dilakukan dengan tujuan konvolusi pada gambar dapat mengekstraksi fitur dari gambar yang sudah di input.
Bobot atau weight yang ada pada layer menyesuaikan dengan kernel konvolusi yang digunakan sehingga kernel konvolusi bisa dilatih dengan input pada CNN.
Gambar 2.
Proses Konvolusi Layer Berikutnya adalah bagian pooling layer yang pada prosesnya mereduksi ukuran dari data gambar dengan tujuan untuk meningkatkan invariasi posisi dari fitur serta membagi output dari convolutional layer menjadi bagianbagian grid kecil dengan nilai maksimal dari setiap bagian grid yang selanjutnya digunakan untuk menyusun matriks gambar yang direduksi menggunakan operasi max pooling.
Pada proses ini dapat memastikan fitur yang didapat akan sama walaupun objek mengalami pergeseran, ditunjukkan pada gambar 2 di atas.
Gambar 3.
Operasi Max Pooling Gambar 3 merupakan pooling layer yang pada umumnya akan mengikuti layer konvolusi yang digunakan untuk mengurangi dimensi pada feature map serta melakukan percepatan di dalam proses komputasi karena parameter yang diubah menjadi semakin sedikit.
Prinsipnya pooling layer merupakan filter dengan stride dan ukuran yang akan bergeser pada seluruh area di feature map.
Ini merupakan cara yang digunakan pada layer max pooling dan average 135 | Journal of Digital Business and Technology Innovation (DBESTI) Vol.
2 No.
1 Mei 2025 Gambar 4 di bawah merupakan layer terakhir yang diletakan pada akhir setiap model pada pembuatan model dengan CNN adalah fully connected layer yang didalamnya terhubung ke semua neuron yang ada di layer sebelumnya.
Layer ini difungsikan untuk melakukan pengklasifikasian pada arsitektur CNN.
Gambar 6.
Bottleneck yang Terdapat dalam Arsitektur MobileNet V2 Gambar 4.
Fully Connected Layer MobileNetV2 MobileNet merupakan salah satu arsitektur dari algoritma CNN yang model kecil yang memiliki latensi yang rendah daya yang diukur untuk memenuhi batasan dari sumber daya untuk berbagai macam kasus berbeda.
Perbedaan antara MobileNetV2 dengan CNN klasik terdapat pada bagi bagian lapisan konvolusi.
Pada CNN menggunakan ketebalan filter yang sesuai pada input gambar sedangkan pada MobileNetV2 konvolusi terbagi menjadi depthwise convolution dan pointwise convolution.
Gambar 5.
Konvolusi standar pada CNN, .
dibagi menjadi dua lapisan: depthwise convolution dan pointwise convolution,.
untuk membuat filter terpisah secara mendalam .
Pada gambar 5 MobileNetv2 hadir dengan peningkatan kinerja yang mampu membangun model seluler dengan lebih efisien.
, sesuai dengan penggunaan kata mobile yang ditunjukan kepada pengaplikasiaanya pada ponsel atau mobile.
Berdasarkan kesamaan dengan versi sebelumnya yakni MobileNetV1 depthwise convolution dan pointwise convolution.
MobileNetV2 memiliki 2 fitur tambahan yakni linear bottleneck dan shortcut connections antar bottleneck pada struktur dasar.
Arsitektur MobileNetV2 dapat dilihat pada gambar 6.
Pada bagian bottleneck, terdapat input dan output antar model, sementara bagian dalam layer mengenkapsulasi kemampuan dari model untuk mengubah input dari konsep tingkat tinggi ke tingkat yang lebih rendah.
Optimizer Optimizer adalah suatu fungsi dalam matematika yang memiliki ketergantungan pada variabel bebas dari model yakni bias dan nilai bobot.
Optimizer juga merupakan metode yang sering digunakan untuk meminimalisir nilai output dari cost function.
Cara kerjanya adalah dengan mempelajari bagaimana caranya mengubah biasa dan nilai bobot didalam neural network agar dapat mengurangi error.
Jenis optimizer ada beragam yang salah satunya adalah Adam (Adaptive Moment Estimatio.
yang merupakan optimizer yang populer dalam pengembangan model deep Adam memiliki keuntungan karena merupakan penggabungan dari Ekstensi optimizer SGD yakni AdaGard dan RMS.
Hal tersebut membuat penggunaan adam dapat memberikan pengoptimalan algoritma yang bisa mengatasi sparse gradient pada noisy problem.
Categorical Cross Entopry ( CCE) Categorical Cross Entopry (CCE) adalah suatu loss function yang digunakan untuk membuat model klasifikasi dengan banyak kelas.
CCE melakukan pengukuran perbedaan pada distribusi probabilitas yang diprediksi menggunakan distribusi sebenarnya.
Distribusi probabilitas rata-rata kemungkinan pada log negatif dari kelas sebenarnya, rumus CCE didefinisikan sebagai berikut:
ycA ya= Oe ycA Oc Oc ycycn,yc log.
cEycn,yc ) ycA ycn=1 yc=1 METODE PENELITIAN Metode Pengumpulan Data Metode yang digunakan dalam penelitian ini adalah dengan menggunakan 2 cara yaitu :
Studi Literatur Proses ini dilakukan oleh peneliti untuk mencari serta mengumpulkan sumber dari jurnal, buku dan juga artikel di internet yang sesuai dengan topik penelitian.
Hasil dari proses ini akan membantu peneliti menemukan informasi 136 | Journal of Digital Business and Technology Innovation (DBESTI) Vol.
2 No.
1 Mei 2025 mengenai teori serta metode yang bisa membantu dalam proses perancangan serta penulisan di penelitian ini.
Data Sekunder Data sekunder adalah data yang proses pengumpulannya dilakukan oleh orang lain.
Penelitian ini menggunakan data gambar gerakan tangan bahasa isyarat SIBI alfabet dengan masing-masing huruf sebanyak 220 gambar.
Yang bersumber dari Kaggle dengan link yang dapat diakses sebagai berikut:
https://w.
com/datasets/alvinbintang/sibi-dataset Metode Pengujian Dalam penelitian ini pengujian ini menggunakan statistical testing dengan melihat tingkat persen keberhasilan model mendeteksi objek gerakan tangan bahasa isyarat SIBI.
Proses menggunakan confusion matrix dengan matriks accuracy dengan cara menghitung jumlah prediksi yang benar lalu dibagi dengan jumlah keseluruhan data dengan persamaan berikut ini.
yaycaycaycycycaycayc = ycNycE ycNycA ycNycE ycNycA yaycE yaycA Tahapan Penelitian Penelitian Perancangan Model Deep Learning untuk Penerjemah Bahasa Isyarat SIBI dengan Arsitektur Transfer Learning MobileNetV2 ini memiliki alur tahapan penelitian yang akan dilakukan pada gambar 7 sebagai berikut.
tidak terdapat huruf J dan Z dikarenakan huruf tersebut tidak bersifat statis.
Pembagian Data Data yang akan digunakan harus melalui proses split yaitu pembagian dataset menjadi tiga bagian, data training, data testing dan data validation.
Preprocessing Data Pada proses ini data gambar yang sudah di split memasuki proses augmentasi gambar agar dapat menghasilkan variasi baru pada data dengan transformasi sederhana.
Hal ini dilakukan agar mengurangi terjadinya model yang Proses Training dan Testing Pada tahap ini data yang sudah siap latih yakni data training akan dilatih menggunakan algoritma CNN dengan model arsitektur MobileNetV2 dengan metode transfer learning.
Hal ini dilakukan agar proses training bisa menjadi lebih cepat dan ringan.
Evaluasi Terakhir adalah evaluasi dengan menggunakan matriks evaluasi agar model dapat dinyatakan akurat dan tervalidasi dengan matriks yang dipakai adalah accuracy.
HASIL DAN PEMBAHASAN
Data Understanding Penelitian ini menggunakan dataset gambar gerakan tangan bahasa isyarat SIBI yang merupakan data sekunder yang didapat dari Kaggle dengan seluruh alfabet ada di dalamnya kecuali J dan Z dikarenakan gerakan tangan tersebut tidak bersifat statis.
Pada setiap huruf terdapat dua jenis gambar yang berbeda yakni yang pertama adalah grayscale dan Contoh dapat dilihat pada gambar 8.
Gambar 8.
Contoh Gambar SIBI Huruf B Berwarna dan Grayscale Splitting Data Proses ini adalah pembagian data menjadi 3 bagian yakni data training, testing, dan validation.
Proporsi yang digunakan dalam splitting data penelitian ini dapat dilihat pada tabel 1.
Gambar 7.
Alur Penelitian Studi Literatur Pada tahap ini peneliti mengumpulkan sumber dari jurnal, buku dan artikel terkait dengan penelitian yang sedang Pengumpulan Data Pada penelitian ini pengumpulan data dilakukan dengan menggunakan dataset yang bersumber dari Kaggle.
Data yang digunakan adalah gambar gerakan tangan bahasa isyarat berjenis SIBI alfabet statis, akan tetapi pada data ini Tabel 1.
Persentase Pembagian Data Jenis Pembagian Data Presentase Data Training Data Testing Data Validation Dapat diketahui dari tabel mengenai pembagian data, data training memiliki persentase yang lebih besar dibandingkan dengan testing dan validation yaitu sebesar 80%.
Ini 137 | Journal of Digital Business and Technology Innovation (DBESTI) Vol.
2 No.
1 Mei 2025 dilakukan agar model bisa melakukan proses pelatihan dengan data training yang banyak sehingga memberikan hasil yang baik.
Data Augmentation Proses data augmentation atau augmentasi dilakukan agar dataset memiliki beberapa variasi bentuk agar pada saat proses training model dapat mempelajari keberagaman data dan dapat mendapatkan akurasi yang lebih tinggi.
Proses augmentasi yang digunakan adalah on the fly dikarenakan penggunaan library keras yakni ImageDataGenerator.
Dengan ImageDataGenerator augmentasi terjadi pada saat proses training menggunakan data training proses ini menghasilkan variasi yang dilakukan adalah rescale, shear, rotation range, width dan height shift, zoom serta terakhir horizontal flip.
Loading Data dengan Tensorflow Proses ini adalah pemuatan data, pada masing-masing bagian yang akan digunakan untuk klasifikasi gambar menggunakan tensorflow.
Pada proses ini juga mengatur beberapa hyperparameter yakni jumlah batch size sebanyak 256, image size sebesar 224x224 dan jumlah kelas sebanyak jumlah kelas pada data yakni 24 serta terakhir mengatur class mode dengan menggunakan categorical karena jumlah kelas yang akan dilakukan proses klasifikasi lebih dari dua.
Dengan demikian dapat diketahui jumlah pembagian data yang dapat dilihat pada tabel 2.
Tabel 2.
Jumlah Data Load Jenis Pembagian Data Jumlah Data Training Data Testing Data Validation Training Model Pada proses training model pada penelitian ini menggunakan algoritma CNN namun dikarenakan menggunakan model klasifikasi pra-terlatih atau yang sebelumnya sudah dilatih dengan menggunakan data super besar yang bersumber dari ImageNet, ini juga dikarenakan arsitektur yang digunakan adalah MobileNetV2.
Model tersebut perlu di import menggunakan dari keras API Tahap ini merupakan tahap awal membuat model dasar dengan MobileNetV2 dengan input gambar adalah 224x224 piksel dengan menggunakan warna RGB pada gambar.
Penggunaan MobileNetV2 memuat banyak block dengan banyak layer.
Selanjutnya setelah pembuatan base model, base model tersebut harus di freeze agar tidak melakukan pelatihan kembali dan tetap mempertahankan fitur yang dimilikinya tanpa mengubah bobot pelatihannya.
Selanjutnya adalah pembuatan dense layer menggunakan sequential dari tensorflow.
Hal yang dilakukan adalah melakukan penginputan base_model yang berisikan MobileNetV2.
GlobalAveragePooling2D yang dilakukan untuk melakukan pooling rata-rata hasil luaran base_model.
Berikutnya dense layer 1024 dengan activation Relu, ini merupakan dense pertama setelah base model dan juga lapisan fully connected layer pertama, selanjutnya dropout agar dapat mengurangi overfitting pada model dan lapisan dense terakhir 24 dengan activation softmax sebagai klasifikasi terakhir.
Untuk konfigurasi parameter yang digunakan dapat dilihat pada Tabel 3.
Konfigurasi Hyperparameter Jenis Pembagian Data Jumlah Optimizer Adam Loss Function Categorical Crossentropy Batch Size Selanjutnya model dilatih menggunakan 50 Epochs .
terasi Testing Model Setelah model selesai melakukan proses training maka didapat file model berformat h.
yang selanjutnya masuk ke dalam proses testing dengan menggunakan framework streamlit yang dapat membuat app browser sederhana yang bisa menampilkan bagaimana model bekerja untuk gerakan tangan bahasa isyarat SIBI.
Streamlit menggunakan localhost yang disediakan oleh streamlit yang dapat dilihat pada gambar 9.
Gambar 9.
Testing Model Pengetesan dilakukan sebanyak 3 kali menggunakan gambar tangan bersumber dari kamera ponsel yang hasilnya dapat dilihat pada gambar 10.
Gambar 10.
Hasil Testing Pada proses pengetesan ini input gambar Huruf SIBI B dapat menghasilkan persentase keyakinan sebesar 99,62%, berikutnya huruf L dengan tingkat 89,64% dan terakhir huruf W dengan persentase keyakinan 99,91%.
138 | Journal of Digital Business and Technology Innovation (DBESTI) Vol.
2 No.
1 Mei 2025 AuKamus SIBI.
Ay Accessed: Mar.
13, 2024.
[Onlin.
Available:
https://pmpk.
id/sibi/profil .
Supriadi.
Rachmawati.
And A.
Arifianto.
AuPembangunan Aplikasi Mobile Pengenalan Objek Untuk Pendidikan Anak Usia Dini,Ay Vol.
No.
Pp.
357Ae364, 2021.
Doi: 10.
25126/Jtiik.
Apendi and M.
Paryasto.
AuDeteksi Bahasa Isyarat Sistem Isyarat Bahasa Indonesia Menggunakan Metode Single Shot Multibox Detector,Ay 2023.
Pradono Iswara.
Informatika.
Sains Dan Teknologi.
Syarif Hidayatullah Jakarta.
And S.
Gotong Royong Jakarta.
AuPengembangan Algoritma Unsupervised Learning Technique Pada Big Data Analysis Di Media Sosial Sebagai Media Promosi Online Bagi Masyarakat,Ay Jurnal Teknik Informatika.
Vol.
No.
1, 2019.
Terpadu.
Arifin.
Fakhran Haidi.
And M.
Dzalhaqi.
AuPenerapan Computer Vision Menggunakan Metode Deep Learning Pada Perspektif Generasi Ulul Albab,Ay Jurnal Teknologi Terpadu.
Vol.
No.
Pp.
98Ae107, 2021, [Onlin.
Available:
Https://Journal.
Nurulfikri.
Ac.
Id/Index.
Php/Jtt .
Raup.
Ridwan.
Khoeriyah.
Yuliati Zaqiah, and U.
Islam Negeri Sunan Gunung Djati Bandung.
AuDeep Learning dan Penerapannya dalam Pembelajaran.
Ay [Onlin.
Available:
http://Jiip.
Wonohadidjojo.
AuPerbandingan Convolutional Neural Network pada Transfer Learning Method untuk Mengklasifikasikan Sel Darah Putih,Ay Ultimatics : Jurnal Teknik Informatika, vol.
13, no.
1, p.
51, 2021.
Hasil dari penelitian ini diharapkan dapat dikembangkan khususnya penggunaan dataset yang lebih banyak agar model mendapatkan banyak variasi saat proses training.
Terakhir harapan penelitian perancangan model ini dapat dikembangkan menjadi aplikasi penerjemah bahasa isyarat SIBI yang dapat membantu disabilitas tunarungu dan Pane Yosefan Yeremia And Shimbing Jordan Jeremia.
AuKlasifikasi Jenis Burung Menggunakan Metode Transfer Learning,Ay Jurnal Teknologi Terpadu.
Vol.
No.
Pp.
89Ae94, 2023.
Accessed:
Jul.
[Onlin.
Available:
https://journal.
id/index.
php/jtt .
DAFTAR PUSTAKA