Barometer.
Volume 8 No.
Januari 2023, 9-18
UJI EFEKTIVITAS PENERAPAN MACHINE LEARNING CLASSIFICATION
UNTUK SURVEY KEPUASAN PELANGGAN MASKAPAI PENERBANGAN X
EFFECTIVENESS TEST OF APPLICATION OF MACHINE LEARNING
CLASSIFICATION FOR AIRLINE CUSTOMER SATISFACTION SURVEY X
Dimas Aditiya*, 2Ulinnuha Latifa
1, 2
Program Studi Teknik Elektro.
Fakultas Teknik.
Universitas Singaperbangsa Karawang aditiya18145@student.
id, 2 ulinnuha.
latifa@ft.
INFO ARTIKEL
Diterima: 18 Mei 2022 Direvisi: 27 Juni 2022 Disetujui: 08 Juli 2022 Kata Kunci:
Cross Validation.
Decision Tree.
Machine Learning.
Maskapai Penerbangan.
Random Forest.
Supervised Learning.
ABSTRAK
Transportasi dapat mempermudah masyarakat untuk berpindah dari satu tempat ke tempat lainnya secara cepat, salah satunya dengan menggunakan transportasi udara.
Karena hal ini maskapai penerbangan perlu meningkatan kualitas pelayanan melalui survey yang diberikan kepada penumpang.
Proses klasifikasi kepuasan pelanggan melalui survey maskapai penerbangan dapat dilakukan dengan mudah jika menggunakan metode data mining.
Penelitian ini berfokus pada proses klasifikasi kepuasan pelanggan dibuat menggunakan machine learning dengan model K-nearest neighbor, decision tree, dan random forest agar dapat mempermudah maskapai dalam melakukan klasifikasi.
Sedangkan performa model machine learning klasifikasi dianalisis berdasarkan hasil akurasi, presisi, recall, dan F1Score.
Berdasarkan hasil Analisis performa yang dilakukan, model machine learning decision tree dan random forest memiliki hasil performa yang sangat baik dengan nilai akurasi decision tree sebesar 92,96% pada data testing dan random forest memiliki nilai akurasi sebesar 93,22% pada data testing.
Kedua model machine learning tersebut juga diuji menggunakan metode cross validation untuk mengetahui model machine learning yang lebih efektif untuk diterapkan.
Berdasarkan hasil uji cross validation model decision tree memiliki akurasi sebesar 94,5% dan random forest memiliki akurasi sebesar 96%.
Dengan nilai cross validation yang bagus, maka decision tree dan random forest dapat diterapkan untuk membantu maskapai penerbangan X dalam menentukan nilai kepuasan pelanggan.
ABSTRACT
Keywords:
Airlines.
Cross Validation.
Decision Tree.
Machine Learning.
Random Forest.
Supervised Learning.
The use of air transportation is one way that transportation may make it simpler for people to get from one place to another place rapidly.
As a result, airlines must enhance the quality of their services by using passengers feedback.
Using the data mining method makes it simple to categorize consumer satisfaction from airline surveys.
This study focuses on the customer satisfaction classification method created using machine learning with the K-nearest neighbor, decision tree, and random forest models to make it simpler for airlines to The accuracy, precision, recall, and F1-Score statistics are used to analyze the performance of the classification machine learning model.
According to the findings of the performance study, the machine learning decision tree and random forest models have good performance results.
The accuracy values for the testing data for the decision tree and random forest models, respectively, are 92,96% and 93,22%.
The cross-validation method was also used to examine the two machine learning models to determine which one is more practical to use.
The decision tree model and the random forest both have accuracy levels of 96% and 94,5%, respectively, according to the findings of the cross-validation test.
Decision trees and random forests can be used to help airline X determine customer satisfaction levels if the cross-validation value is increased.
*Corresponding author: dimas.
aditiya18145@student.
PENDAHULUAN
Terjadinya peningkatan mobilitas dalam kehidupan manusia membawa dampak positif bagi dunia transportasi, baik itu transportasi darat, laut, dan udara.
Transportasi dapat mempermudah masyarakat untuk berpindah dari satu tempat ke tempat lainnya secara cepat, salah satunya dengan menggunakan transportasi udara.
Tingginya minat masyarakat untuk berpergian menggunakan transportasi udara dinilai sebagai potensi yang besar bagi maskapai penerbangan untuk meraup keuntungan melalui penyediaan DOI: https://doi.
org/10.
35261/barometer.
ISSN: 1979-889X .
ISSN: 2549-9041 .
http://w.
jasa transportasi udara .
Agar mendapatkan laba yang maksimal, maskapai penerbangan perlu meningkatkan kualitas pelayanan yang disediakan agar dapat membuat para pelanggan maskapai tersebut tidak segan untuk kembali menggunakan jasa layanan penerbangan tersebut.
Peningkatan kualitas pelayanan suatu maskapai perlu dilakukan agar pelanggan merasa puas terhadap pelayanan yang diberikan, pada penelitian sebelumnya yang dilakukan oleh Hayadi .
, dapat diketahui bahwa ketika dalam penerbangan, kebanyakan pelanggan menilai tingkat UJI EFEKTIVITAS PENERAPAN MACHINE LEARNING CLASSIFICATION
UNTUK SURVEY KEPUASAN PELANGGAN MASKAPAI PENERBANGAN
kepuasan mereka melalui seberapa bagus pelayanan maskapai dalam penerbangan mulai dari pelayanan pramugari hingga ketersediaan fasilitas pesawat yang memadai karena berkaitan langsung dengan konsumen .
Peningkatan kualitas pelayanan dalam penerbangan dapat mendorong keberhasilan sebuah maskapai penerbangan dalam meningkatkan jumlah kepuasan pelanggan, khususnya meningkatkan layanan makanan dalam penerbangan merupakan salah satu penentu yang signifikan dari layanan dalam penerbangan.
Untuk mengetahui tingkat kepuasan pelanggan terhadap pelayanan yang diberikan, maskapai penerbangan perlu untuk melakukan survey agar dapat mengetahui layanan dan fasilitas apa saja yang dapat membuat pelanggannya merasa puas.
Survey dilakukan agar pihak maskapai penerbangan bisa mendapatkan informasi masukan terhadap pelayanan yang diberikan agar bisa disesuaikan dengan keinginan pelanggan dan menjadi bahan evaluasi untuk meningkatkan fasilitas pelayanan yang dirasa performanya kurang baik.
Analisis data survey untuk mengetahui tingkat kepuasan pelanggan maskapai penerbangan akan menjadi sebuah permasalahan baru jika analisis yang dilakukan masih secara manual dan data yang harus dianalisis berjumlah ratusan ribu atau bahkan jutaan pelanggan perharinya, maka salah satu cara untuk mengatasi permasalahan tersebut adalah dengan memanfaatkan perkembangan teknologi dan era big data yang sedang berkembang saat ini.
Big data merupakan sebuah istilah untuk menggambarkan data yang memiliki tingkat keberagaman yang banyak, serta memiliki volume dan kecepatan yang tinggi dalam penyimpanan informasinya .
Big data memerlukan metode dan perangkat yang sesuai agar dapat melakukan pengolahan data untuk menciptakan berbagai informasi penting, pengambilan keputusan, serta melakukan otomatisasi proses.
Proses klasifikasi kepuasan pelanggan maskapai penerbangan dapat dilakukan dengan mudah jika menggunakan metode data mining.
Data mining adalah sebuah proses pengambilan keputusan yang tepat dengan melakukan pencarian pola data maupun informasi raw data menggunakan algoritma machine learning .
Data mining dapat digunakan untuk mengevaluasi model transendental yang dapat bertindak sebagai jembatan antara teori dan praktik berdasarkan kumpulan data yang besar .
Dalam berbagai kasus yang dihadapi oleh keterbatasan manusia akan kemampuannya, penggunaan machine learning dapat membantu manusia untuk melakukan pekerjaan yang kompleks menjadi mudah dan cepat untuk Machine learning merupakan sebuah metode populer yang digunakan untuk menggantikan atau menirukan perilaku manusia dalam menyelesaikan masalah dan melakukan otomatisasi .
Umumnya machine learning dapat diterapkan untuk melakukan klasifikasi dan prediksi, karena machine learning bekerja dengan cara memahami pola historis data yang terjadi.
Pada dasarnya machine learning memiliki tiga buah cara kerja yang biasa disebut dengan metode supervised learning, unsupervised leaning dan reinforcement learning .
DOI: https://doi.
org/10.
35261/barometer.
ISSN: 1979-889X .
ISSN: 2549-9041 .
http://w.
Supervised learning merupakan cara kerja machine learning dengan menggunakan metode klasifikasi dimana kumpulan data sepenuhnya diberikan label untuk mengklasifikasikan kelas yang tidak dikenal.
Sedangkan unsupervised learning merupakan cara kerja machine learning dengan menggunakan metode clustering dikarenakan tidak adanya kebutuhan untuk memberi label pada kumpulan data yang ada dan hasilnya tidak untuk mengidentifikasi contoh kelas yang telah ditentukan sebelumnya .
Sedangkan reinforcement learning memiliki metode yang berada diantara supervised learning dan unsupervised learning, cara kerja dari metode ini adalah dengan menyelesaikan tujuan sesuai dengan konsepnya tanpa ada pemberitahuan secara eksplisit dari komputer jika tujuan tersebut telah tercapai .
Contoh penggunaan reinforcement learning adalah untuk sistem rekomendasi yang biasa digunakan oleh berbagai perusahaan besar seperti Youtube.
Netflix, dan Spotify.
Penelitian yang digunakan untuk melakukan uji efektitivitas machine learning klasifikasi kali ini dilakukan dengan menggunakan cara kerja supervised learning, dimana target akhir dari kumpulan data yang dimiliki berupa nilai kepuasan dari hasil survey pelanggan maskapai penerbangan dengan nilai satisfied atau neutral/dissatisfied.
Penlitian bertujuan membuktikan apakah machine learning dapat bekerja secara efektif dalam mengklasifikasi nilai kepuasan pelanggan penerbangan.
Penentuan nilai kepuasan hasil survey ditentukan dengan analisa klasifikasi.
Analisa klasifikasi merupakan suatu metode untuk menemukan model machine learning yang dapat menjelaskan proses klasifikasi data yang digunakan untuk memprediksi kelas, label, maupun sebuah kategori dari sebuah dataset .
Machine learning klasifikasi memiliki beberapa algoritma, diantaranya K-Nearest Neighbor.
Decision Tree.
Support Vector Machines.
Reccurent Neural Network (RNN).
Random Forest, dan Convolutional Neural Network (CNN).
Machine learning RNN dan CNN merupakan jenis arsitektur Jaringan Syaraf Tiruan (JST).
JST merupakan sebuah metode proses informasi dengan karakteristik seperti jaringan syaraf Biologi .
Pada penelitian ini untuk mengklasifikasikan dan memprediksi kategori kepuasan pelanggan berdasarkan hasil survey, digunakan algoritma machine learning jenis Decision Tree.
K-Nearest Neighbor, dan Random Forest.
Penggunaan model machine learning meningkatkan layanan penerbangan secara efisien berdasarkan hasil survey yang dimiliki agar dapat meningkatkan profit untuk perusahaan tersebut .
II.
METODE PENELITIAN
Penelitian dilakukan dengan menggunakan platform google colab sebagai software untuk melakukan analisis dataset dan membangun model machine learning yang dibutuhkan, dengan tahapan metolodogi penelitian yang terdiri dari 4 tahap seperti yang dapat dilihat dalam Gambar Barometer.
Volume 8 No.
Januari 2023, 9-18 Data Understanding Pada tahap data understanding merupakan tahap dilakukannya pengumpulan data, dan menganalisa data untuk memahami data yang digunakan.
Penelitian ini menggunakan data yang diambil dari sebuah situs penyedia data milik google yaitu w.
com yang diakses pada tanggal 07 Oktober 2021 berupa data Airline Passenger Satisfaction .
Pada Tabel I menunjukkan kolom yang terdapat pada data Airline Passenger Satisfaction beserta deskripsi dari masing-masing kolom tersebut.
Pemilihan data Airline Passenger Satisfaction didasari karena pada data tersebut memiliki jumlah data survey yang banyak, yaitu sebanyak 103904 baris dan 24 kolom.
Pada data Airline Passenger Satisfaction memiliki jumlah data yang seimbang sehingga tidak perlu dilakukan proses untuk mengatasi data yang Dikarenakan data survey yang dimiliki jumlahnya seimbang, maka data survey sudah dirasa cukup untuk dilakukan proses sampling guna mencari tahu efektivitas machine learning dalam klasifikasi nilai kepuasan pelanggan maskapai penerbangan x.
Gambar 2 Total jumlah penumpang puas dan tidak puas Gambar 1 Metodologi penelitian TABEL I DESKRIPSI KOLOM Nama Kolom Deskripsi ID Penumpang Gender Jenis Kelamin Penumpang Customer Type Jenis Pelanggan Age Umur Penumpang Type of Travel Jenis Penerbangan Penumpang Class Kelas Perjalanan Penumpang Flight Distance Jarak Penerbangan Penumpang Inflight Wifi Service Tingkat Kepuasan Wifi .
Departure/Arrival Time Convenient Tingkat Kepuasan Waktu Kedatangan/ Keberangkatan nyaman .
Ease of Online Booking Tingkat Kepuasan Online Booking .
Gate Location Tingkat Kepuasan lokasi gerbang .
Food and Drink Tingkat Kepuasan Makanan dan Minuman .
Online Boarding Tingkat Kepuasan Boarding Online .
Seat Comfort Tingkat Kepuasan kenyamanan kursi .
Inflight Entertainment Tingkat Kepuasan Hiburan dalam Pesawat .
On-board Service Tingkat Kepuasan Layanan On-board .
Leg Room Service Tingkat Kepuasan Ruang Kaki .
Baggage Handling Tingkat Kepuasan Penangangan Bagasi .
Check-in Service Tingkat Kepuasan Layanan Check-in .
Inflight Service Tingkat Kepuasan Layanan Dalam Pesawat .
Cleanliness Tingkat Kepuasan Kebersihan .
Departure Delay in Minutes Keterlambatan Keberagkatan Arrival Delay in Minutes Keterlambatan Kedatangan Satisfaction Tingkat Kepuasan DOI: https://doi.
org/10.
35261/barometer.
ISSN: 1979-889X .
ISSN: 2549-9041 .
http://w.
Gambar 2 menunjukkan total jumlah penumpang yang merasa puas dan merasa tidak puas berdasarkan hasil survey yang telah dilakukan oleh maskpai, berdasarkan survey tersebut dapat diketahui bahwa sebanyak 58879 penumpang merasa netral/tidak puas dengan pelayanan yang diberikan.
Sedangkan sebanyak 45025 penumpang lainnya merasa puas terhadap pelayanan yang diberikan.
Gambar 3 Presentase jumlah penumpang puas dan tidak puas Pada Gambar 3 menunjukkan bahwa presentase penumpang yang merasa puas sebesar 43.
33% dan yang merasa tidak puas dengan pelayanan yang diberikan maskapai penerbangan sebesar 56.
Melalui data tersebut dapat diketahui bahwa dataset Airline Passenger Satisfaction ini memiliki jumlah yang seimbang sehingga tidak perlu lagi dilakukan proses resampling techniques untuk mengatasi data yang imbalanced.
UJI EFEKTIVITAS PENERAPAN MACHINE LEARNING CLASSIFICATION
UNTUK SURVEY KEPUASAN PELANGGAN MASKAPAI PENERBANGAN
K-Nearest Neighbor (KNN) Model K-Nearest Neighbor merupakan sebuah model machine learning klasifikasi yang menggunakan metode pembelajaran dataset berdasarkan jarak data pembelajaran Jarak pembelajaran yang dimaksud adalah jarak Euclidean suatu data pembelajaran baik itu jarak yang jauh maupun dekat .
Gambar 4 Persentase tipe perjalanan penumpang Melalui Gambar 4 dapat diketahui bahwa jumlah penumpang yang menggunakan maskapai penenerbangan lebih banyak menggunakannya untuk perjalanan bisnis dibanding untuk perjalanan pribadi.
Data Preprocessing Tahap ini merupakan proses yang dilakukan sebelum memasuki tahap pembuatan machine learning, data preprocessing merupakan tahapan untuk mengubah data mentah yang dikumpulkan menjadi sebuah informasi yang lebih bersih dan dapat digunakan untuk tahap pengolahan Data preprocessing merupakan sebuah proses untuk mengubah data mentah menjadi format data yang berguna dan efisien .
Gambar 5 Diagram alir data preprocessing Jika dilihat pada Gambar 5, tahapan yang dilakukan untuk melakukan data preprocessing pada penelitian ini akan melalui delapan tahapan sebelum masuk ke tahap pembuatan model machine learning.
Develop Model Machine Learning Untuk mengetahui model machine learning yang paling efektif untuk dataset survey kepuasan pelanggan maskapai penerbangan, maka setelah melalui tahap data preprocessing, selanjutnya memasuki tahap pembuatan model machine learning klasifikasi dengan menggunakan model K-Nearest Neighbor (KNN).
Decision Tree, dan Random Forest.
DOI: https://doi.
org/10.
35261/barometer.
ISSN: 1979-889X .
ISSN: 2549-9041 .
http://w.
Decision Tree Model Decision Tree merupakan sebuah model machine learning yang memiliki cara kerja seperti struktur menyerupai diagram alir yang setiap node merupakan tahap pengujian terhadap variable attribut.
Decision Tree digunakan untuk analisa klasifikasi dan prediksi dalam sebuah bentuk pohon keputusan .
Random Forest Model Random Forest merupakan sebuah model machine learning yang cara kerjanya memiliki kemiripan dengan Decision Tree.
Cara kerja Random Forest merupakan base classifier yang terdiri dari kumpulan pohon keputusan yang dikombinasikan.
Random Forest biasanya digunakan untuk analisa klasifikasi dan regresi .
Evaluation Model Machine Learning Pada tahap ini model machine learning yang telah diterapkan untuk melakukan klasifikasi akan dilakukan perhitungan performa model machine learning dengan menggunakan perhitungan yang didasarkan pada pengujian objek yang benar dan objek yang salah.
Setiap model machine learning yang digunakan akan menghasilkan nilai performa berupa nilai akurasi, presisi, recall dan F1-score yang kemudian akan dibandingkan untuk dilakukan Analisa agar mengetahui model machine learning mana yang memiliki performa paling baik.
Nilai evaluasi model machine learning yang berupa nilai akurasi, presisi, recall, dan F1-Score akan dihitung menggunakan binary confusion Binary confusion terdiri dari hasil pengamatan yang diklasifikasikan dengan benar kedalam kelas negatif yang biasa disebut dengan true negatives (TN) dan pengamatan yang diklasifikasikan dengan benar kedalam kelas positif yang biasa disebut dengan true positives (TP).
Data dari kelas negatif yang diklasifikasikan salah sebagai positif biasa disebut dengan false positives (FP), sedangkan data dari kelas positif yang diklasifikasikan salah sebagai negatif biasa disebut dengan false negatives (FN).
Kinerja pengklasifikasian machine learning dapat dihitung menggunakan performa klasifikasi yaitu TP.
FP.
TN, dan FN .
Pada penelitian ini performa model machine learning klasifikasi akan dianalisa berdasarkan hasil akurasi, presisi, recall, dan F1-Score yang dihitung berdasarkan persamaan .
, .
, .
, dan .
berturut-turut menggunakan rumus perhitungan akurasi, presisi, recall, dan F1-Score .
!"#!$
yaycoycycycaycycn = !"#!$#%"#%$ .
Barometer.
Volume 8 No.
Januari 2023, 9-18 ycEycyceycycnycycn = !"#%" ycIyceycaycaycoyco = !"#%$ "&'()() y ,'-.
ya1 ycIycaycuycyce = 2 y "&'()() # ,'-.
Selain menggunakan confusion matrix sebagai hasil evaluasi performa model machine learning, pada penelitian ini juga menggunakan validation technique untuk mengukur seberapa optimal model machine learning yang telah dibuat.
Validation technique dapat dilakukan dengan menggunakan dua cara, pertama dengan menggunakan teknik cross validation dan yang kedua dengan menggonakan teknik Pada penelitian ini berfokus untuk menggunakan validation technique dengan metode cross validation.
HASIL DAN PEMBAHASAN
Data Understanding Tahap Data Understanding merupakan tahap untuk melakukan pehaman terhadap data yang kita miliki.
Pada tahap ini juga dilakukan exploratory data analysis, exploratory data analysis merupakan sebuah metode untuk melakukan pemahaman data.
Analisa data, serta menggali informasi penting yang bisa didapatkan dengan menggunakan bantuan visualisasi data ataupun statistic.
Melalui metode exploratory data analysis pada project dataset Airline Passenger Satisfaction, berhasil ditemukan beberapa informasi penting yang akan berguna untuk kepentingan analisa.
Gambar 7 Distribusi data customer type Pada Gambar 7 menunjukkan bahwa terdapat perbedaan jumlah penumpang yang cukup jauh pada tipe penumpang yang menaiki maskapai penerbangan tersebut.
Dapat dilihat bahwa Loyal Customer merupakan penumpang yang paling banyak.
Maka dari itu maskapai penerbangan harus meningkatkan kualitas pelayanan mereka agar dapat menciptakan jumlah loyal customer yang semakin banyak karena merasa puas dengan pelayanan yang telah diberikan oleh maskapai penerbangan.
Gambar 8 Nilai kepuasan terhadap jenis perjalanan Gambar 6 Persentase jumlah penumpang berdasarkan gender Gambar 6 menunjukkan bahwa persentase penumpang Pria sebesar 49.
25% dan penumpang wanita sebesar Hal ini menunjukkan distribusi data antara penumpang Pria dan Wanita jumlahnya tidak berbeda jauh.
DOI: https://doi.
org/10.
35261/barometer.
ISSN: 1979-889X .
ISSN: 2549-9041 .
http://w.
Melalui Gambar 8 dapat diketahui bahwa para pelanggan yang menggunakan jasa maskapai penerbangan untuk perjalanan bisnis jauh merasa lebih puas dibandingkan dengan jenis perjalanan pribadi.
Hal ini bisa menjadi bahan evaluasi untuk maskapai penerbangan agar dapat meningkatkan kualitas pelayanan untuk jenis perjalanan pribadi agar dapat meningkatkan nilai kepuasan mereka.
UJI EFEKTIVITAS PENERAPAN MACHINE LEARNING CLASSIFICATION
UNTUK SURVEY KEPUASAN PELANGGAN MASKAPAI PENERBANGAN
Beberapa layanan tersebut harus ditingkatkan lagi kualitasnya oleh maskapai penerbangan, karena peningkatan layanan merupakan salah satu faktor yang dapat mendatangkan untung lebih banyak kepada perusahaan dan dapat meningkatkan bisnisnya menjadi lebih baik.
Gambar 9 Nilai kepuasan terhadap jenis kelas penerbangan Pada Gambar 9 dapat diketahui bahwa penumpang yang menggunakan jenis kelas penerbangan bisnis jauh merasa lebih puas dengan pelayanan yang diberikan jika dibandingkan dengan jenis kelas penerbangan ekonomi yang dominan merasa tidak puas dengan pelayanan yang diberikan oleh maskapai penerbangan.
Setelah melakukan exploratory data analysis, pada penelitian ini berhasil mengelompokkan layanan maskapai penerbangan yang terbilang sudah cukup baik dan layanan yang perlu ditingkatkan lagi kualitasnya berdasarkan nilai survei kepuasan pelanggan.
Layanan maskapai yang terbilang sudah cukup baik, diantaranya:
A Gate location A Food and Drink A Seat comfort A Inflight entertainment A On-board service A Leg room service A Checkin service A Inflight service A Cleanliness Beberapa layanan tersebut merupakan layanan yang memiliki nilai kepuasan cukup baik dari pelanggan, sehingga layanan tersebut harus dijaga kualitas pelayanannya atau bahkan ditingkatkan lagi agar menjadi semakin baik.
Sedangkan layanan maskapai penerbangan yang perlu ditingkatkan lagi kualitas pelayanannya adalah:
A Baggage Handling dengan nilai nol sebesar 6,97% meskipun banyak penumpang memberi rating 4.
A Inflight wifi service dengan nilai penilaian nol sebesar 2,99%.
A Departure/Arrival time convenient dengan nilai nol sebesar 5,10% meskipun banyak penumpang yang memberi rating 4.
A Ease of online booking dengan nilai nol sebesar 4,32%.
A Online boarding dengan nilai nol sebesar 2,34% meskipun banyak penumpang memberikan rating DOI: https://doi.
org/10.
35261/barometer.
ISSN: 1979-889X .
ISSN: 2549-9041 .
http://w.
Data Preprocessing Tahap ini merupakan salah satu tahap penting yang harus dilakukan untuk membersihkan data agar dapat diciptakannya model machine learning dengan performa yang optimal.
Setelah melakukan analisa untuk mengetahui adanya kemungkinan data yang duplikat pada dataset Airline Passenger Satisfaction, ternyata hasilnya nihil atau tidak ditemukan data yang duplikat pada dataset yang Gambar 8 menunjukkan bahwa terdapat sebanyak 310 nilai data yang null pada variabel Arrival Delay in Minutes, hal ini harus diatasi dengan pengisian nilai null tersebut agar tidak kosong.
Pada Gambar 9 menunjukkan hasil setelah nilai kosong atau nilai null diisi menggunakan nilai median.
Nilai null diisi dengan nilai median dikarenakan distribusi pada variabel Arrival Delay in Minutes berbentuk normal.
Dalam proses pembuatan model machine learning, tidak semua variabel yang terdapat pada dataset Airline Passenger Satisfaction akan digunakan.
Oleh karena itu, perlu dilakukan penghapusan terhadap variabel-variabel yang dinilai tidak akan berguna saat pembuatan model machine learning.
Gambar 8 Menemukan nilai yang null Barometer.
Volume 8 No.
Januari 2023, 9-18 Gambar 11 Hasil proses label encoder dan one hot encoder Machine learning tidak dapat membaca perintah dengan tipe data yang berbentuk huruf atau string, maka dari itu dilakukan pengubahan bentuk data dari yang berbentuk string menjadi angka seperti yang dapat dilihat pada Gambar 11 dengan menggunakan label encoder dan one hot encode agar machine learning dapat membaca isi dari variabel Gambar 12 Hasil proses standardisasi dan train test split Gambar 9 Setelah mengisi nilai yang null Pada dataset Airline Passenger Satisfaction memiliki variabel Flight Distance sehingga perlu dilakukan standardisasi pada variabel tersebut agar nilai dari masingmasing jarak tempuh penerbangan bisa memiliki batas tertingginya seperti yang dilakukan pada Gambar 12.
Sedangkan untuk membagi dataset training dan dataset testing digunakan metode train test split dengan persentase 80% untuk data training dan 20% untuk data testing.
Gambar 10 Penghapusan variabel yang tidak berguna Pada dataset Airline Passenger Satisfaction terdapat dua variabel kolom yang tidak berguna yaitu kolom AoidAo dan Aounnamed: 0Ao.
Kedua kolom tersebut harus dihapus karena tidak butuhkan untuk membuat model machine learning.
Gambar 10 menunjukkan beberapa variabel yang masih digunakan untuk proses pembuatan model machine Develop Model Machine Learning Setelah selesai melakukan Data Preprocessing, langkah selanjutnya adalah membangun model machine learning, model machine learning yang dibutuhkan adalah model yang dapat mengklasifikasikan apakah penumpang merasa puas terhadap pelayanan maskapai atau tidak berdasarkan hasil survei yang telah dilakukan pihak Dalam penelitian ini ada tiga buah model klasifikasi machine learning yang dibuat, diantaranya ada K-Nearest Neighbor.
Decision Tree, dan Random Forest.
K-Nearest Neighbor (KNN) Pada penelitian ini dalam proses pembuatan model KNearest Neighbor menggunakan nilai K = 7 dengan jarak Euclidean yang telah dinormalisasi.
Gambar 13 Hasil evaluasi performa model KNN pada data training Pada Gambar 13 dapat diketahui bahwa hasil evaluasi metriks pada data training model machine learning KNearest Neighbor memiliki nilai presisi satisfied sebesar 97% dan dissatisfied sebesar 93%.
Nilai akurasi pada data DOI: https://doi.
org/10.
35261/barometer.
ISSN: 1979-889X .
ISSN: 2549-9041 .
http://w.
UJI EFEKTIVITAS PENERAPAN MACHINE LEARNING CLASSIFICATION
UNTUK SURVEY KEPUASAN PELANGGAN MASKAPAI PENERBANGAN
training model machine learning KNN juga dinilai sudah cukup bagus karena nilai akurasinya sebesar 94%.
Gambar 16 Hasil evaluasi performa model Decision Tree pada data Gambar 14 Hasil evaluasi performa model KNN pada data testing Pada Gambar 14 dapat diketahui bahwa hasil evaluasi metriks pada data testing model machine learning K-Nearest Neighbor memiliki nilai presisi satisfied sebesar 95% dan dissatisfied sebesar 91%.
Nilai akurasi pada data testing model machine learning KNN juga dinilai memiliki performa yang baik karena nilai akurasinya sebesar 93%.
Hal ini menunjukkan bahwa model machine learning yang dibuat sudah dapat melakukan pembelajaran dengan baik sehingga hasil performa model yang dihasilkan tidak underfitting ataupun overfitting.
Decision Tree Pada penelitian ini dalam proses pembuatan model Decision Tree menggunakan nilai max_depth sebesar 15 yang berfungsi untuk mengontrol ukuran pohon keputusan yang dibuat oleh model machine learning agar dapat mencegah terjadinya pembelajaran model machine learning yang overfitting.
Pada Gambar 16 dapat diketahui bahwa hasil evaluasi metriks pada data testing model machine learning Decision Tree memiliki nilai presisi satisfied sebesar 95% dan dissatisfied sebesar 91%.
Nilai akurasi pada data testing model machine learning Decision Tree juga dinilai memiliki performa yang baik karena nilai akurasinya sebesar 93%.
Hal ini menunjukkan bahwa model machine learning yang dibuat sudah dapat melakukan pembelajaran dengan baik sehingga hasil performa model yang dihasilkan tidak underfitting ataupun overfitting.
Random Forest Proses pembuatan model machine learning Random Forest pada penelitian ini menggunakan nilai max_depth sebesar 7, hal ini menunjukkan pada Random Forest kedalaman maksimum pada tree bernilai 7 maka dilakukanlah Analisa perbanding performa pada data training dan data testing seperti yang dapat dilihat pada Gambar 17 dan Gambar 18.
Pada Gambar 17 dapat diketahui bahwa hasil evaluasi metriks pada data training model machine learning Random Forest memiliki nilai presisi satisfied sebesar 94% dan dissatisfied sebesar 93%.
Nilai akurasi pada data training model machine learning Random Forest juga dinilai sudah cukup bagus karena nilai akurasinya sebesar 93%.
Gambar 15 Hasil evaluasi performa model Decision Tree pada data Pada Gambar 15 dapat diketahui bahwa hasil evaluasi metriks pada data training model machine learning Decision Tree memiliki nilai presisi satisfied sebesar 94% dan dissatisfied sebesar 93%.
Nilai akurasi pada data training model machine learning Decision Tree juga dinilai sudah cukup bagus karena nilai akurasinya sebesar 93%.
Gambar 17 Hasil evaluasi performa model Random Forest pada data training Gambar 18 Hasil evaluasi performa model Random Forest pada data testing Pada Gambar 18 dapat diketahui bahwa hasil evaluasi metriks pada data testing model machine learning Random DOI: https://doi.
org/10.
35261/barometer.
ISSN: 1979-889X .
ISSN: 2549-9041 .
http://w.
Barometer.
Volume 8 No.
Januari 2023, 9-18 Forest memiliki nilai presisi yang sama antara penumpang satisfied dan dissatisfied yaitu sebesar 93%.
Nilai akurasi pada data testing model machine learning Random Forest juga dinilai memiliki performa yang baik karena nilai akurasinya sebesar 93%.
Hal ini menunjukkan bahwa model machine learning yang dibuat sudah dapat melakukan pembelajaran dengan baik sehingga hasil performa model yang dihasilkan tidak underfitting ataupun overfitting karena performanya pada data training dan pada data testing hamper memiliki kemiripan.
TABEL II
HASIL PERBANDINGAN NILAI MODEL MACHINE LEARNING
Data
KNN
Decision Tree Random Forest Accuracy:
Accuracy:
Accuracy:
Training Precision:
Precision:
Precision:
Recall: 90.
Recall: 89.
Recall: 91.
F1-Score: 93% F1-Score: 91% F1-Score: 92% Testing Accuracy:
Precision: 96% Recall: 87.
F1-Score: 91% Accuracy:
Precision:
Recall: 89.
F1-Score: 91% Accuracy:
Precision:
Recall: 91.
F1-Score: 91% Setelah membuat tiga model machine learning dan melakukan evaluasi metriks kepada ketiga model tersebut, dapat diputuskan bahwa model yang paling optimal adalah model Random Forest dan Decision Tree hal ini dapat dilihat berdasarkan Tabel II.
Keputusan tersebut diambil berdasarkan nilai evaluasi metriks Accuracy dan Recall dari tiap-tiap model merupakan yang tertinggi.
Penilaian tersebut didasari pada dataset Airline Passenger Satisfaction yang memiliki jumlah data false negative dan false positive yang sangat mendekati atau simetris di kedua model tersebut.
Hal ini perlu dilakukan pembuktian dengan metode validasi.
pada Tabel i, dapat dilihat bahwa hasil cross validation untuk model decision tree dan random forest sudah sangat bagus jika dilihat dari berbagai parameter yang ada.
Sehingga bisa dikatakan model machine learning yang telah dibuat sudah optimal untuk memprediksi kepuasan pelanggan maskapai penerbangan dan dapat diterapkan sebagai alat bantu untuk mengklasifikasi nilai kepuasan pelanggan maskapai penerbangan x tanpa harus menganalisis kepuasan pelanggan secara manual menggunakan tenaga manusia.
IV.
KESIMPULAN
Ada beberapa layanan maskapai penerbangan X yang harus ditingkatkan lagi kualitas pelayanannya, seperti baggage handling.
Inflight wifi service, departure/arrival time convenient, ease of online booking, dan online Peningkatan kualitas pelayanan perlu dilakukan oleh maskapai penerbangan X agar dapat meningkatkan jumlah keuntungan untuk maskapai penerbangan karena banyaknya pelanggan yang merasa puas dengan pelayanan yang diberikan.
Selain itu, model machine learning yang telah dibuat pada penelitian ini berhasil berjalan dengan sangat efektif karena memiliki hasil cross validation yang Sehingga model machine learning Decision Tree dan Random Forest dapat diterapkan oleh maskapai penerbangan X untuk membantu dalam menentukan nilai kepuasan pelanggan tanpa harus menganalisis kepuasan pelanggan secara manual menggunakan tenaga manusia.
UCAPAN TERIMA KASIH