Jurnal Ilmu Siber dan Teknologi Digital (JISTED) Vol 1.
No 1, 2022, 65-80 https://doi.
org/10.
35912/jisted.
Pengenalan Bahasa Isyarat Indonesia menggunakan Mediapipe dengan Model Random Forest dan Multinomial Logistic Regression (Introduction to Indonesian Sign Language Using Mediapipe With Random Forest Models and Multinomial Logistic Regressio.
Imam Suyudi1*.
Sudadio Sudadio 2.
Suherman Suherman 3 Universitas Gadjah Mada.
Daerah Istimewa Yogyakarta1,2,3 Imamsuyudi@gmail.
Abstract Purpose: This research aims to create a random forest machine learning model and logistic regression that can perform the sign language recognition of the Indonesian Sign Language System (SIBI) using a regular RGB camera with the MediaPipe framework.
Research methodology: Both variables in this study are measured using Innovative Work Behavior (IWB) Scale from Janssen .
and Connor-Davidson Resilience Scale (CD-RISC) from Connor & Davidson .
that was distributed through Google Form link.
The data analysis is done with the support of the 25th version of SPSS (Statistical Package for Social Scienc.
Results: Resilience has a significant correlation with innovative Riwayat Artikel Diterima pada 10 Februari 2023 work behavior among college students.
Revisi 1 pada 16 Februari 2023 Limitations: No strict controls of questionnaire administration, the Revisi 2 pada 21 Februari 2023 questionnaire consists of 6 different measurements from the Disetujui pada 23 Februari 2023 research team, and can't be fully generalized to the college students Contribution: New findings of correlation between two variables among new samples.
Keywords: Sign Language Recognition.
Indonesian Sign Language.
SIBI.
MediaPipe How to cite: Suyudi.
Sudadio.
Suherman.
Pengenalan Bahasa Isyarat Indonesia menggunakan Mediapipe dengan Model Random Forest dan Multinomial Logistic Regression.
Jurnal Ilmu Siber dan Teknologi Digital, 1.
, 65-80.
Pendahuluan Bahasa isyarat merupakan salah satu cara berkomunikasi utama bagi tunarungu di seluruh dunia.
Setiap negara memiliki bahasa isyarat masing-masing yang berbeda, bahkan banyak daerah yang juga memiliki bahasa ataupun dialek isyarat yang berbeda.
Menurut World Federation of the Deaf, terdapat lebih dari 300 bahasa isyarat di seluruh dunia dan 70 juta tunarungu menggunakannya (Murray, 2.
, sedangkan berdasarkan Kementrian Kesehatan .
di Indonesia terdapat 2.
5 juta tunarungu.
Di sisi lain jumlah masyarakat umum yang mempunyai kemampuan untuk memahami dan menggunakan bahasa isyarat sangat terbatas.
Hal ini tentu menjadi masalah karena penutur bahasa isyarat tidak dapat berkomunikasi dengan mudah dengan masyarakat umum.
Mayoritas teknologi komunikasi dikembangkan untuk mendukung komunikasi lisan ataupun tertulis tetapi tidak mempertimbangkan bahasa isyarat.
Ketika alat dan teknologi komunikasi seperti Zoom dan Whatsapp menjadi bagian penting dari kehidupan masyarakat, tunarungu memiliki kesulitan menggunakan teknologi tersebut.
Pengenalan bahasa isyarat adalah salah satu teknologi yang dapat membantu komunikasi penutur bahasa isyarat dan masyarakat umum.
Dengan pengenalan bahasa isyarat penutur bahasa isyarat dapat diterjemahkan kedalam bentuk lisan ataupun teks yang dapat dengan mudah dimengerti oleh masyarakat umum, sehingga komunikasi dengan penutur bahasa isyarat dapat dilakukan.
Review mengenai pengenalan bahasa isyarat telah dilakukan oleh Rastgoo et al.
Menurut penelitian tersebut terdapat beberapa perangkat utama yang dapat digunakan untuk pengenalan bahasa Leap Motion Controller, sensor mekanis yang dipasang pada sebuah sarung tangan, kamera RGB dan yang paling umum digunakan kamera RGB depth.
Kamera RGB depth umum digunakan karena dapat mengekstrak informasi 3D pada sebuah gestur tangan.
Informasi 3D penting didapatkan karena bahasa isyarat memiliki gestur yang kompleks dan sering terjadi self-occlusion jika hanya menggunakan informasi 2D seperti kamera RGB biasa.
Beberapa penelitian pengenalan bahasa isyarat indonesia telah dilakukan se-belumnya dengan metode dan hasil yang beragam.
Suharjito et al.
menggunakan model Convolutional Neural Network (CNN) yang merupakan model Inflated 3D dikombinasikan dengan metode transfer learning pada Sistem Bahasa Isyarat Indonesia (SIBI) mendapatkan akurasi 97.
Humaira et al.
mengunakan perangkat leap motion controller dengan metode K-Nearest Neighbor pada alfabet SIBI.
Leap Motion Controller akan mendeteksi koordinat setiap titik sendi pada tangan ke- mudian titik tersebut akan dihitung jaraknya ke telapak tangan menggunakan eucli- dean distance.
Penelitian tersebut mendapatkan akurasi sebesar 78%, dengan K = 5.
Handhika et al.
menggunakan perangkat kamera Microsoft Kinect yang dapat menerima informasi 3D dan metode Hidden-Markov Model (HMM) untuk penge- nalan Bahasa Isyarat Indonesia (BISINDO).
Penelitian tersebut mendapatkan akurasi sekitar 60%.
Ridwang .
melakukan pengenalan bahasa isyarat berupa 24 alfabet SIBI statis dan tidak mencakup huruf J dan Z yang dinamis.
Penelitian tersebut menggunakan perangkat Leap Motion Controller dengan algoritma naive bayes, penelitian tersebut mencapai akurasi 95%.
Namun penelitian yang sudah disebutkan diatas memiliki keterbatasan yaitu dibutuhkan perangkat khusus seperti Leap Motion Controller atau depth camera un- tuk mendapatkan informasi tiga dimensi dari gestur bahasa isyarat.
MediaPipe merupakan sebuah kerangka kerja open source oleh google yang dapat merekonstruksi kerangka tangan tiga dimensi dari data dua dimensi yang didapatkan kamera RGB bi- asa.
Sudah terdapat beberapa penelitian yang menggunakan rekonstruksi kerangka tangan dari sumber 2 dimensi, baik menggunakan MediaPipe sebagai pipeline ataupun tidak untuk pengenalan bahasa isyarat lain.
Zimmermann dan Brox .
membuat estimasi pose tangan tiga dimensi untuk pengenalan bahasa isyarat dengan dataset RWTH German Fingerspelling Database dan mendapatkan akurasi sebesar 72.
Zhang et al.
melakukan pengenalan bahasa isyarat menggunakan MediaPipe sebagai pipeline pada bahasa isyarat American Sign Language.
Pada penelitian ini penulis menggunakan MediPipe sebagai pipeline dan membuat model random forest dan Multinomial Logistic Regression untuk pengenalan bahasa isyarat Indonesia.
2 Rumusan Masalah Berdasarkan latar belakang yang sudah dipaparkan sebelumnya, sudah terdapat beberapa implementasi pengenalan bahasa isyarat pada bahasa isyarat Indonesia baik pada Sistem Bahasa Isyarat Indonesia (SIBI) ataupun Bahasa Isyarat Indonesia (BISINDO) dengan berbagai metode dan hasil yang berbeda.
Namun penelitian yang sudah ada memiliki keterbatasan dimana dibutuhkan perangkat khusus seperti Leap Motion Controller atau depth camera untuk pengenalan bahasa isyarat.
Oleh karena itu, penelitian ini melakukan pengenalan bahasa isyarat dengan kamera RGB biasa menggunakan kerangka kerja MediaPipe dengan model random forest dan multinomial logistic regression.
Tinjauan pustaka dan pengembangan hipotesis 1 Mediapipe Medipape adalah kerangka kerja open source yang didesain oleh Google.
MediaPipe dapat digunakan sebagai pipeline untuk melakukan inferensi dari data citra (Lugaresi et al.
, 2.
MediaPipe menggunakan model machine learning dengan akurasi tinggi untuk pendeteksian dan pelacakan, melacak titik titik pada bagian tu- buh atau disebut juga landmarks.
Secara umum landmarks adalah titik koordinat tiga dimensi yang dinormalisasi pada rentang .
, .
Peneliti atau pengembang dapat menggunakan model MediaPipe tersebut dengan memodifikasi pipeline atau implementasi sistem dengan menggunakan model built-in MediaPipe.
Salah satu implementasi menggunakan MediaPipe yang dapat dilakukan adalah pembuatan dataset bahasa isyarat dengan data berupa landmarks tiga MediaPipe menyediakan API untuk beberapa implementasi.
MediaPipe Face Mesh dapat 2022 | Jurnal Ilmu Siber dan Teknologi Digital.
Vol 1 No 1, 65-80 mendeteksi 468 landmarks tiga dimensi pada wajah.
MediaPipe pose detection dapat merekonstruksi 33 landmarks pada postur tubuh.
MediaPipe Hands untuk mendeteksi 21 landmarks kerangka tangan.
MediaPipe Holistic untuk mendeteksi dan pelacakan 468 landmarks wajah, 33 pose tubuh dan 21 landmarks kerangka tangan (Lugaresi et al.
, 2.
Alur kerja MediaPipe secara umum dapat dilihat pada gambar 1.
2 NumPy NumPy merupakan pustaka open source untuk bahasa pemrograman Python.
NumPy mendukung operasi array dan matriks multi-dimensi berukuran besar.
NumPy juga mendukung berbagai fungsi metematis pada array tersebut (Harris et al.
, 2.
NumPy memiliki keunggulan penggunaan memori dan runtime yang lebih kecil dibandingkan struktur data built in python, list.
3 Scikit-learn Scikit-learn adalah pustaka pembelajaran mesin untuk bahasa pemrogram- an python.
Scikit-learn menyediakan API untuk implementasi berbagai algoritma pembelajaran mesin, baik permasalahan klasifikasi, regresi atapun clustering seperti support vector machines, random forests, gradient boosting dan k-means (Pedregosa et al.
, 2.
Scikit-learn didesain untuk bekerja dengan pustaka NumPy dan SciPy.
4 OpenCV OpenCV (Open Source Computer Vision Librar.
adalah pustaka open source untuk melakukan berbagai operasi terkait computer vision secara real time.
Operasi yang dapat dilakukan OpenCV mulai dari prapemrosesan citra sampai pembuatan model pembelajaran mesin (Bradski, 2.
OpenCV ditulis dalam bahasa pemro- graman C tetapi memiliki wrapper python, sehingga terdapat API dalam bahasa pemrograman python.
5 Logistic Regression Logistic regression merupakan algoritma klasifikasi untuk dua kategori kelas.
Model logistic regression menggunakan binomial probability distribution function.
Label kelas akan di-mapping menjadi 1 untuk kelas positif dan 0 untuk kelas negatif (Putra, 2.
Logistic regression merupakan algoritma klasifikasi biner dan tidak dapat melakukan klasifikasi lebih dari dua kelas.
Pada persamaan 1 2022 | Jurnal Ilmu Siber dan Teknologi Digital.
Vol 1 No 1, 65-80 menunjukan probabilitas sebuah data termasuk dalam suatu kelas.
Dimana variabel p sebagai probabilitas, exp sebagai eksponen .
engan aproksimasi bernilai 2,.
, konstanta persamaa, dan koefisien dari prediktor.
u yu1ycU1 yu2ycU2 yu3ycU3 .
P = 1 yceycuycy.
u yu1ycU1 yu2ycU2 yu3ycU3 .
) .
1 Limited-memory BFGS Limited-memory BFGS adalah algoritma optimasi yang digunakan pada model logistic regression penilitian ini.
Limited-memory BFGS merupakan pendekat- an algoritma Broyden-Fletcher-GoldfarbShanno (BFGS) menggunakan penyimpan- an komputer yang minimal.
L-BFGS menggunakan estimasi inverse hessian matriks untuk pencarian pada variabel (Liu and Nocedal, 1.
Algoritma LBFGS hanya menyimpan vektor yang merepresentasikan aprosimasi secara implisit.
Karena sifat algoritma L-BFGS yang membutuhkan penyimpanan komputer secara linear, metode L-BFGS digunakan untuk masalah dengan banyak variabel seperti penelitian ini.
6 Random Forest 1 Decision Tree Algoritma decision tree merupakan model supervised machine learning.
Decision tree memiliki struktur berupa binary tree dengan titik awal disebut root.
Setiap percabangan menuju internal node ditentukan berdasarkan atribut data.
Pada akhir cabang disebut leaf dan menandakan hasil klasifikasi yang dibuat.
Decision tree menggunakan pemisahan biner rekursif untuk menentukan struktur tree (Setiawan, 2.
Setiap atribut dan percabangan yang berbeda dicoba dan diuji menggunakan cost function.
Percabangan dengan cost terbaik akan dipilih.
Terdapat beberapa cost function yang dapat digunakan decision tree, salah satu yang umum adalah gini impurity.
Gini impurity secara matematis didapatkan dengan:
=Ocycu ycn=0 ycE.
Oe ycE.
) .
Pada persamaan 3.
2 tersebut variabel P adalah probabilitas kelas dan variabel i menandakan kelasnya.
Setiap atribut akan dihitung skor dan dipilih gini dengan nilai terendah.
Skor gini terbaik yang mungkin adalah 0 yang berarti klasifikasi dapat dilakukan dengan tepat 100% pada atribut tersebut (Rokach and Maimon, 2.
2 Random Forest Classifier Random forest terdiri dari beberapa individu decision trees yang bekerja sebagai ensemble.
Setiap tree pada random forest membuat prediksi kelas dan kelas dengan jumlah prediksi paling banyak menjadi prediksi model random forest (Breiman, 2.
2022 | Jurnal Ilmu Siber dan Teknologi Digital.
Vol 1 No 1, 65-80 Gambar 2.
Ilustrasi random forest (Misra and Li, 2.
7 Ridge Regression Ng .
menuliskan regularisasi mengkontrol kompleksitas model dengan memberikan penalti pada model dengan nilai paramater yang tinggi.
Dengan menghindari model yang terlalu kompleks, overfit pada model dapat dihindari.
Ridge Regression atau L2 regularisasi menambahkan penalti pada loss Regularisasi memiliki parameter regularization rate .
yang menentukan seberapa besar penalti digunakan untuk model.
Jika lambda terlalu besar dapat menyebabkan underfitting karena model tidak dapat menyesuikan parameter berdasarkan data.
Sebaliknya, jika lambda terlalu kecil maka penalti yang diberikan tidak signifikan dan dapat menyebabkan overfitting.
Secara matematis L2 regularisasi atau ridge regression da- pat ditulis seperti berikut:
C yuI Ocycu1 yc2ycn .
yaycuycyc = yaycycycuyc .
cU Oe ycU) 8 Confusion Matrix Metriks untuk menguji performance seperti precision, recall, dan akurasi membutuhkan data yang didapatkan dari hasil penelitian.
Terdapat 4 atribut yang digunakan untuk membuat confusion matrix.
Kulkarni et al.
True Positive: Jumlah data yang bernilai positif baik data riil dan nilai prediksi.
False Positive: Jumlah data yang bernilai positif pada nilai prediksi tetapi riilnya negatif.
True Negative: Jumlah data yang bernilai negatif baik pada data riil dan nilai prediksi.
False Negative: Jumlah data yang bernilai negatif pada nilai prediksi tetapi riilnya positif.
1 Accuracy Akurasi merupakan salah satu metriks yang paling umum digunakan karena mudah dihitung dan Kekurangan dari metriks akurasi adalah kurang akurat digunakan ketika jumlah data tidak Untuk menghitung akurasi menggunakan confusion matrix didapatkan dengan rumus:
ycNycE ycNycA yaycaycaycycycaycayc = ycNycE ycNycA yaycE yaycA .
2 Precission and recall Precision adalah perbandingan antara True Positive (TP) dengan banyaknyadata dengan nilai prediksi Secara matematis dapat ditulis dengan rumus:
ycNycE ycEycyceycaycnycycycnycuycu = ycNycE yaycE .
2022 | Jurnal Ilmu Siber dan Teknologi Digital.
Vol 1 No 1, 65-80 Sedangkan recall adalah perbandingan antara True Positive (TP) dengan banyaknyadata yang riilnya Secara matematis dapat ditulis dengan rumus:
ycNycE ycIyceycaycaycoyco = ycNycE yaycA Precision dan Recall merupakan sebuah tradeoff dimana ketika recall tinggi, precision cenderung rendah, begitu juga sebaliknya.
Hal ini disebabkan precision berusaha mengecilkan False Positive sedangkan recall mengecilkan False Negative 3 F1 Score F-1 Score merupakan harmonic mean dari precision dan recall.
Secara matematis dapat ditulis dengan 2ycNycE ya1 ycIycaycuycyce = 2ycNycE yaycE yaycA Metodologi Terdapat dua tahap utama dalam penelitian ini.
Tahap pertama adalah pembu- atan dataset 24 alfabet dengan kamera RGB menggunakan MediaPipe, dimana setiap alfabet memiliki 500 data menggunakan tangan kiri dan 500 data menggunakan tangan kanan.
Setiap data memiliki 21 titik kerangka tangan dan setiap titik miliki 3 koordinat yaitu: X.
Y dan Z.
Dataset tersebut disimpan dalam format csv.
Tahap kedua adalah pembuatan model Logistic Regression dan random forest menggunakan pustaka scikitlearn.
Gambar 3.
21 titik kerangka tangan MediaPipe Hasil dan Diskusi 1 Pembuatan Dataset Pembuatan dataset alfabet SIBI dilakukan untuk setiap huruf dengan gestur statis, huruf J dan Z tidak termasuk dalam data karena kedua huruf tersebut memiliki gestur dinamis.
Setiap kelas huruf memiliki 500 data untuk tangan kanan dan 500 data untuk tangan kiri.
Sehingga jumlah total data untuk setiap kelas adalah 1000.
Setiap data memeliki 21 titik kerangka tangan dan setiap titik memiliki 3 koordinat:
Y dan Z.
Sehingga setiap data memiliki 63 fitur.
Alur proses pembuatan seperti berikut:
Penulis memperagakan gestur alfabet SIBI.
Detektor telapak tangan MediaPipe menerima data citra keseluruhan dan memp-rediksi bounding box dari telapak tangan.
MediaPipe menerima citra yang sudah di-crop berdasarkan bounding box tela-pak tangan dan mendeteksi 21 titik kerangka tangan.
21 titik kerangka tangan yang dideteksi disimpan dalam file format csv.
Cuplikan hasil dataset yang sudah dibuat dapat dilihat pada gambar 6.
Perlu diperhatikan koordinat yang tertulis dalam rentang -1 sampai 1 relatif terhadap telapak tangan, bukan terhadap posisi piksel dalam citra.
Dataset yang disimpan dalam file coords.
csv memiliki 24001 baris data, baris pertama untuk 2022 | Jurnal Ilmu Siber dan Teknologi Digital.
Vol 1 No 1, 65-80 header kolom dan1000 data untuk setiap 24 kelas yang ada untuk baris lainnya.
File coords.
csv memiliki 64 kolom, kolom pertama sebagai label kelas dan 63 kolom berikutnya merupakanfitur yang menjadi data latih.
Gambar 4.
Cuplikan Dataset 2 Hasil Model Random Forest 1 Hasil Pencarian Parameter Terbaik Random Forest menggunakan bagging yaitu mengambil sampel dari data yang ada ketimbang menggunakan keseluruhan data dan hanya mengambil sebagian fitur secara acak untuk membangun sebuah tree.
Jika jumlah data besar tetapi jumlah tree sedikit, terdapat kemungkinan ada data yang tidak pernah terambil.
Jika jumlah fitur banyak tetapi jumlah tree sedikit, maka ada kemungkinan terdapat fitur yang tidak pernah terpilih ketika membangun sebuah tree.
Kedua kasus tersebut dapat menurunkan kemampuan prediksi model random forest.
Disaat yang sama jumlah tree yang terlalu besar membutuhkan komputasi dan waktu pelatihan yang lebih lama tanpa secara signifikan meningkatkan Pada penelitian ini penulis menguji jumlah tree yang optimal dimana kenaikan jumlah tree sudah tidak signifikan meningkatkan akurasi, dengan dataset yang sudahdibuat sebelumnya menggunakan MediaPipe.
Jumlah tree yang diuji pada penelitianini adalah: 10, 25, 50, 100, 250, 500, 750 dan 1000.
Akurasi setiap model random forest terhadap jumlah tree dapat dilihat pada tabel 6.
Tabel 1.
Akurasi Model Random Forest
Jumlah Tree
Akurasi
94,66%
96,34%
96,71%
96,99%
97,11%
97,17%
97,19%
97,17%
2022 | Jurnal Ilmu Siber dan Teknologi Digital.
Vol 1 No 1, 65-80 Grafik perkembangan akurasi model random forest terhadap jumlah tree dapat dilihat pada gambar 6.
Terlihat model dengan jumlah tree 10 sudah memiliki akurasi cukup tinggi mencapai 94,66%, model dengan jumlah tree 25 memiliki kenaikan akurasi siginifikan yaitu mencapai 96,34%, jika jumlah tree 50 maka akurasiyang didapatkan bertambah sedikit menjadi 96,71%, jumlah tree 100 terlihat menjadi asimtot dengan akurasi 96,99%, dimana kenaikan jumlah tree berikutnya tidak menambah akurasi secara signifikan dan akurasi tetap bernilai sekitar 97%.
Pada penelitian ini jumlah tree yang digunakan pada data uji adalah pada jumlah sebanyak750 karena memiliki nilai akurasi yang tinggi.
Gambar 5.
Grafik Akurasi Model Random Forest Terhadap Jumlah Tree 2 Hasil Evaluasi Model Random Forest Model random forest dengan akurasi terbaik sebesar 97,19% yaitu dengan jumlah tree 750 disimpan.
Model tersebut kemudian diuji dengan data test yang belum pernah ditemui sebelumnya oleh model, didapatkan akurasi tes sebesar 97,89% dan macro-averaged F1-score juga 97,89%.
Setelah model membuat prediksi pada test data didapatkan precision, recall dan F1-Score untuk setiap kelas yang disimpan pada tabel 6.
Prediksi model untuk setiap data pada data test kemudian disimpan dan dibuat menjadi confusion matrix yang dapat dilihat pada gambar 6.
Tabel 2.
Precision.
Recall dan F1 Score Model Random Forest
No Huruf
Precision Recall F1 Score
99,46%
97,37%
98,40%
97,21%
99,43%
98,31%
95,37%
95,37%
95,37%
97,41%
97,84%
97,62%
97,55%
97,55%
97,55%
98,93%
95,36%
97,11%
99,04%
99,52%
99,28%
97,73%
97,18%
97,45%
99,05%
99,05%
99,05%
96,69%
94,09%
95,37%
2022 | Jurnal Ilmu Siber dan Teknologi Digital.
Vol 1 No 1, 65-80
97,52%
98,01%
97,77%
97,99%
98,48%
98,24%
96,21%
98,07%
97,13%
96,50%
96,98%
96,74%
98,49%
99,49%
98,99%
99,48%
99,74%
97,04%
97,52%
97,28%
96,48%
96,48%
96,48%
97,56%
98,77%
97,95%
96,46%
97,20%
98,51%
98,02%
98,26%
98,07%
99,02%
98,54%
99,48%
98,45%
98,96%
99,53%
99,77%
Macro-averaged 97,91% 97,88% 97,89% 3 Confusion Matrix Model Random Forest Pada confusion matrix yang sudah dibuat dapat dilihat akurasi untuk setiap kelas.
Dapat diamati model dapat memprediksi dengan baik dimana semua kelas dapat diprediksi dengan cukup baik dan hanya mengalami kesalahan akurasi yang sedikit.
Kelas dengan kesalahan cukup banyak adalah kelas K yang diprediksi sebagai R sebanyak 6 kali.
Hal ini kemungkinan dapat terjadi karena gestur K sedikit menyerupaiR, dimana K berupa membuka jari telunjuk dan jari tengah, sedangkan R juga mem-buka jari telunjuk dan jari tengah tetapi kedua jari disilang.
Ilustrasi gestur bahasa isyarat dapat dilihat pada Gambar 6.
Ilustrasi gestur bahasa isyarat SIBI Kelas lain dengan kesalahan cukup banyak adalah kelas S yang diprediksi sebagai N sebanyak 4 kali.
Kesalahan prediksi kemungkinan disebabkan karena gesturkelas S menyerupai N.
Kedua kelas tersebut 2022 | Jurnal Ilmu Siber dan Teknologi Digital.
Vol 1 No 1, 65-80 memiliki gestur kepalan tangan dan ha-nya berbeda pada posisi ibu jari, dimana gestur S posisi ibu jari meniban keempat jari lainnya sedangkan huruf N posisi ibu jari diselipkan diantara jari manis dan jari Terdapat beberapa kelas dengan kesalahan prediksi beberapa kali pada kelas yang lainnya.
Huruf F diprediksi menjadi huruf D sabanyak 4 kali, kelas C diprediksikelas O sebanyak 4 kali dan kelas U diprediksi sebagai W 4 kali.
Kelas dengan kesalahan prediksi cukup banyak tersebut memiliki gestur saling menyerupai dan dapatmengakibatkan model salah klasifikasi.
Gambar 7.
Confusion Matrix Model Random Forest 3 Hasil Model Logistic Regression 1 Hasil Pencarian Parameter Terbaik Pembuatan Model Logistic Regression dilakukan dalam dua versi, model logistic regression menggunakan solver liblinear dan L1 regularisasi, dan model logistic regression menggunakan solver lbfgs dan L2 regularisasi.
Pada penelitian ini penulis menguji nilai maksimum iterasi yang ideal.
Dimana jika maksimum iterasi terlalu ke- cil model belum konvergen.
Tetapi jika maksimum iterasi terlalu tinggi menyebabkan komputasi yang lebih besar dan waktu pelatihan yang lebih lama tanpa signifikan menambah akurasi.
Jumlah maksimum iterasi yang diuji oleh penulis adalah: 50, 100, 250, 500, dan 750.
Tabel 3.
Akurasi Model Logistic Regression L1 Regularisasi
Maksimum Iterasi
Akurasi
95,73%
95,74%
95,74%
2022 | Jurnal Ilmu Siber dan Teknologi Digital.
Vol 1 No 1, 65-80
95,74%
95,74%
Akurasi model logistic regression dengan solver liblinear dan L1 regularisasiterhadap maksimum iterasi dapat dilihat pada tabel 6.
3 dan grafiknya dapat dilihat pada gambar 6.
Model dengan maksimum iterasi 50 sudah mendapat akurasi cukup tinggi yakni sebesar 95,73%, meski begitu model dengan maksimum iterasi lebih tinggi tidak dapat menambah akurasi.
Akurasi model tetap pada nilai 95,74%.
Gambar 8.
Grafik Akurasi Model Logistic Regression L1 Regularisasi terhadap Maksimum Iterasi Tabel 4.
Akurasi Model Logistic Regression L2 Regularisasi
Maksimum Iterasi
Akurasi
94,01%
95,74%
96,04%
96,07%
96,07%
Akurasi model logistic regression dengan solver lbfgs dan L2 regularisasi ter-hadap maksimum iterasi dapat dilihat pada tabel 6.
4 dengan grafiknya dapat dilihat pada gambar 6.
Model dengan maksimum iterasi 50 mendapat akurasi cukup tinggimencapai 94,01%, sedangkan model dengan maksimum iterasi 100 terdapat kenaikanakurasi signifikan mencapai 95,74%.
Jika maksimum iterasi ditambah menjadi 250 didapatkan sedikit kenaikan akurasi mencapai 96,04%, meski begitu nilai maksimumiterasi 250 terlihat menjadi asimtot dimana maksimum iterasi yang lebih besar tidakdapat menambah akurasi dan akurasi tetap bernilai sekitar 96,07%.
2022 | Jurnal Ilmu Siber dan Teknologi Digital.
Vol 1 No 1, 65-80 Gambar 9.
Grafik Akurasi Model Logistic Regression terhadap Maksimum Iterasi 2 Hasil Evaluasi Model Logistic Regression Model logistic regression dengan akurasi terbaik sebesar 96,07% yaitu dengan maksimum iterasi 750 dan L2 regularisasi disimpan.
Model yang sudah disimpan tersebut kemudian diuji pada test data, dimana model belum pernah menemui sebelumnya.
Didapatkan akurasi tes sebesar 96,34% dan macroaveraged F1-score sebesar 96,40%.
Setelah model diuji pada test data didapatkan precision, recall dan F1-score untuk setiap kelas yang dapat dilihat pada tabel 6.
Prediksi model untuk setiap data pada data tes disimpan dan dibuat sebuah confusion matrix yang dapat dilihat pada gambar 6.
Tabel 5.
Precision, recall dan F1 Score Model Logistic Regression Huruf
Precision 98,37% 98,30% 96,24% 95,11% 97,55% 97,33% 95,60% 99,53% 92,93% 96,08% 97,46% 93,02% 92,27% Recall 95,26% 98,86% 94,91% 92,64% 97,55% 93,81% 97,12% 98,31% 99,53% 91,94% 97,51% 96,97% 96,62% 95,98% F1 Score
96,79%
98,58%
95,57%
93,86%
97,55%
95,54%
98,54%
96,94%
99,53%
92,43%
96,79%
97,22%
94,79%
94,09%
2022 | Jurnal Ilmu Siber dan Teknologi Digital.
Vol 1 No 1, 65-80
96,97%
98,47%
97,54%
89,84%
87,38%
97,13%
98,46%
95,05%
96,98%
99,00%
84,85%
92,57%
99,02%
99,48%
96,00%
97,72%
98,26%
87,27%
89,90%
98,07%
98,97%
98,62%
99,30%
Macro-averaged 96,43% 96,41% 96,40% 3 Confusion Matrix Model Logistic Regression Confusion matrix pada gambar 6.
7 dapat diamati jumlah prediksi untuk setiap data, dimana terdapat data dengan prediksi akurat dan data yang salah diprediksi menjadi kelas lain.
Secara umum dapat terlihat bahwa model dapat memprediksi secara akurat dimana mayoritas kelas diprediksi sesuai dengan kelasnya dan membentuk garis miring yang pekat.
Meski begitu masih terdapat beberapa kelas dengan frekuensi kesalahan cukup banyak.
Salah satu kelas dengan kesalahan prediksi cukup besar adalah kelas U yang diprediksi sebagai sebagai V sebanyak 19 kali, dan sebaliknya kelas V diprediksi ke las U sebanyak 12 kali.
Hal tersebut kemungkinan disebabkan karena gestur huruf V dan U yang saling Huruf V memiliki gestur kepalan tangan dengan membuka jari telunjuk dan jari tengah dengan kedua jari tersebut terdapat jarak sehingga seolah membentuk huruf V.
Sedangkan gestur huruf U juga berupa kepalan tangan dengan membuka jari telunjuk dan jari tengah tetapi kedua jari tersebut Kelas lain dengan kesalahan cukup besar adalah kelas C yang diprediksi sebagai O yang sebanyak 8 Kesalahan ini juga terjadi cukup banyak pada model random forest.
Hal ini kemungkinan disebabkan karena kedua kelas tersebut memiliki gestur saling menyerupai.
Huruf C memiliki gestur tangan yang membentuk huruf C dengan ibu jari tidak menyentuh jari telunjuk.
Sedangkan huruf O serupa seperti gestur huruf C tetapi ibu jari menyentuh jari telunjuk sehingga menyerupai bentuk huruf Terdapat beberapa kelas lain dengan kesalahan prediksi cukup banyak.
KelasD diprediksi sebagai kelas O sebanyak 7 kali, kelas D sebagai diprediksi sebagai kelasL sebanyak 5 kali, kelas R diprediksi sebagai K sebanyak 5 kali, kelas U diprediksi sebagai kelas K sebanyak 5 kali, dan masih terdapat beberapa kesalahan lainnya.
Beberapa kesalahan prediksi kemungkinan disebabkan karena kedua kelas memilikigestur yang serupa.
Namun juga ada kesalahan prediksi meskipun kedua kelas memiliki gestur yang jelas berbeda.
Salah satu penyebab yang mungkin adalah ketika pembuatan dataset menggunakan MediaPipe tidak berhasil membuat 21 titik kerangka tangan yang akurat, yang mungkin disebabkan oleh pengambilan sudut gambar yang tidak ideal.
2022 | Jurnal Ilmu Siber dan Teknologi Digital.
Vol 1 No 1, 65-80 Gambar 10.
Confusion Matrix Model Logistic Regression 4 Perbandingan Model Random Forest dan Logistic Regression Menggunakan hasil confusion matrix model random forest dan logistic regression, akurasi untuk setiap kelas didapatkan dan dapat dilihat pada tabel 6.
Secara umum kedua model memiliki akurasi tinggi melebihi 95% untuk mayoritas kelas, dan hanya terdapat satu kelas yaitu kelas U pada model logistic regression dengan akurasi dibawah 90%, dengan akurasi 84,84%.
Pada tabel tersebut dapat diamati beberapa kelas seperti I.
W dan Y memiliki akurasi sangat tinggi melebihi 99%, bahkan untuk kelas Y kedua model mencapai akurasi 100%.
Kelas Y memiliki akurasi tinggi kemungkinan disebabkan oleh gestur huruf Y berupa kepalan tangan dengan membuka ibu jari dan jari keling king yang unik dan tidak serupa dengan kelas lainnya sehingga model dapat memprediksi dengan mudah.
Meski begitu juga terdapat kelas dengan akurasi cukup rendah dibanding kelas lainnya untuk kedua Seperti kelas F dan K dengan akurasi sama dengan atau dibawah 95%.
Pada confusion matrix model random forest kelas K diprediksi sebagai kelas R sebanyak 6 kali dan pada model logistic regression kelas K diprediksi sebagai R sebanyak 3 kali, diprediksi sebagai U 6 kali.
Dapat juga diamati model logistic regression memiliki beberapa kelas dengan akurasi cukup rendah meskipun model random forest memiliki akurasi tinggi pada kelas yang sama.
Seperti kelas U dengan akurasi 84,84% sedangkan model random forest memiliki akurasi jauh lebih tinggi mencapai 96,46%.
Kelas V memiliki akura-si 92,57% pada logistic regression dan 98,01% pada random forest.
Pada confusion matrix model logistic regression juga dapat dilihat kelas U dan V cukup banyak salah Kelas U diprediksi sebagai sebagai V sebanyak 19 kali, dan kelasV diprediksi kelas U sebanyak 12 kali.
Sedangkan pada model random forest kelas U diprediksi sebagai kelas V hanya 3 kali dan kelas V diprediksi sebagai kelas U sebanyak 2 kali.
Secara umum model random forest lebih baik dalam memprediksi dengan akurasi lebih tinggi pada 18 kelas dan lebih rendah pada 6 kelas yaitu H.
Q,S, dan X.
Model random forest juga hanya memiliki satu kelas dengan akurasi di bawah Sedangkan model logistic regression memiliki 6 kelas dengan akurasi dibawah 95%.
2022 | Jurnal Ilmu Siber dan Teknologi Digital.
Vol 1 No 1, 65-80 Tabel 6.
Akurasi Setiap Kelas No Huruf
Random Forest
Logistic Regression 97,36% 95,26% 99,42% 98,85% 95,37% 94,90% 97,83% 92,64% 97,54% 97,54% 95,36% 93,81% 99,51% 97,11% 97,17% 98,30% 99,05% 99,52% 94,08% 91,93% 98,00% 97,51% 98,48% 96,96% 98,06% 96,61% 96,98% 95,97% 99,49% 99,48%
97,52%
95,04%
96,48%
96,98%
99,00%
96,46%
84,84%
98,01%
92,57%
99,02%
99,02%
98,44%
99,48%
97,87%
96,41%
Rata-rata Kesimpulan Penelitian ini berhasil membuat model random forest dan logistic regression dengan akurasi tinggi untuk pengenalan bahasa isyarat indonesia.
Pembuatan dataset dengan hanya menyimpan 21 titik kerangka tangan menggunakan kerangka kerja MediaPipe terbukti efektif.
Adapun kesimpulan yang didapatkan penulis adalah sebagaiberikut:
Model random forest memiliki asimtot pada jumlah tree 100 dengan nilai akurasi mencapai sekitar Model logistic regression memiliki asimtot pada maksimum iterasi 250 dan L2 regularisasi dengan nilai akurasi mencapai sekitar 96%.
Kedua model masih memiliki kelemahan dimana terdapat beberapa kesalahan prediksi pada dua kelas dengan gestur serupa.
2022 | Jurnal Ilmu Siber dan Teknologi Digital.
Vol 1 No 1, 65-80 Saran penelitian-penilitian berikutnya adalah pembuatan dataset dengan jumlah data lebih besar, peraga gestur bahasa isyarat lebih banyak dan dataset dibuat dengan kondisi yang berbeda-beda.
Untuk pembuatan model pembelajaran mesin dapat juga diuji menggunakan algoritma lainnya.
Daftar Pustaka