APLIKASI MESIN LEARNING DENGAN MODEL NAIVE BAYES UNTUK EVALUASI KEPUASAN MAHASISWA STUDI KASUS: PERPUSTAKAAN KAMPUS UNSURYA Fitria Risyda1. Minda Mora Purba2 . Yulisa Gardenia3 1,2,3 Universitas Dirgantara Marsekal Suryadarma frisyda@unsurya. id , 2minda@unsurya. id, 3 yulisagardenia@gmail. Abstraksi Abstrak Ae Evaluasi kepuasan mahasiswa menjadi elemen penting dalam meningkatkan kualitas layanan perpustakaan, karena memungkinkan identifikasi area yang memerlukan perbaikan berdasarkan umpan balik pengguna. Data dikumpulkan melalui kuesioner yang disebarkan kepada mahasiswa, mencakup berbagai aspek layanan perpustakaan seperti koleksi buku, fasilitas, aksesibilitas, dan layanan petugas. Penelitian ini bertujuan untuk mengevaluasi kepuasan mahasiswa terhadap layanan perpustakaan pada Perpustakaan Kampus Universitas Dirgantara Marsekal Suryadarma dengan menggunakan algoritma Nayve Bayes. Model Nayve Bayes dipilih karena kesederhanaannya dan kemampuannya dalam memberikan hasil yang akurat meskipun dengan jumlah data yang relatif sedikit. Proses pengembangan aplikasi meliputi beberapa tahapan, yaitu pengumpulan data, prapemrosesan data, pelatihan model, evaluasi model, dan implementasi dalam bentuk aplikasi berbasis web. Hasil pengujian menunjukkan bahwa model Naive Bayes memiliki performa yang memuaskan dengan tingkat akurasi yang tinggi sebesar 91,67% dalam mengklasifikasikan tingkat kepuasan mahasiswa dengan variabel penilaian mencakup prasarana fasilitas, petugas, reliability dengan keputusan puas, cukup puas dan tidak puas. Aplikasi yang dihasilkan memungkinkan pihak perpustakaan untuk melakukan analisis data secara real-time dan mendapatkan wawasan yang berharga mengenai persepsi mahasiswa terhadap layanan yang diberikan. Dengan demikian, perpustakaan dapat merancang strategi peningkatan layanan yang lebih efektif berdasarkan data yang akurat. Kata kunci: data mining, mesin learning, evaluasi kepuasan Abstract Evaluation of student satisfaction is an important element in improving the quality of library services, because it allows identifying areas that require improvement based on user feedback. Data was collected through questionnaires distributed to students, covering various aspects of library services such as book collections, facilities, accessibility and staff services. This research aims to evaluate student satisfaction with library services at the Marshal Suryadarma Dirgantara University Campus Library using the Nayve Bayes algorithm. The Nayve Bayes model was chosen because of its simplicity and ability to provide accurate results even with a relatively small amount of data. The application development process includes several stages, namely data collection, data preprocessing, model training, model evaluation, and implementation in the form of a web-based application. The test results show that the Naive Bayes model has satisfactory performance with a high level of accuracy of 91. 67% in classifying student satisfaction levels with assessment variables including facility infrastructure, staff, reliability with decisions of satisfied, quite satisfied and dissatisfied. The resulting application allows the library to conduct real-time data analysis and gain valuable insight into student perceptions of the services provided. In this way, libraries can design more effective service improvement strategies based on accurate data. Keywords : data mining, machine learning, student satisfaction evaluation perpustakaan kampus UNSURYA di masa yang akan datang. PENDAHULUAN Dalam Undang-undang Nomor 43 Tahun 2007 tentang Perpustakaan, pada pasal 24 ayat . mengamanatkan bahwa, setiap perguruan tinggi menyelenggarakan perpustakaan yang memenuhi Standar Nasional Perpustakaan dengan memperhatikan Standar Nasional Pendidikan. Standar Nasional Perpustakaan yang dimaksud, terdiri atas standar koleksi perpustakaan, standar sarana dan prasarana, standar pelayanan perpustakaan, standar tenaga perpustakaan, standar penyelenggaraan, dan standar pengelolaan. Standar nasional perpustakaan tersebut menjadi acuan dalam penyelenggaraan, baik untuk perguruan tinggi negeri maupun perguruan tinggi swasta. Penelitian ini bertujuan untuk membangun sebuah aplikasi mesin learning yang dapat digunakan untuk mengevaluasi kepuasan mahasiswa terhadap layanan perpustakaan dengan menggunakan model Nayve Bayes. Variabel penilaian mencakup prasarana fasilitas, petugas, reliability dengan keputusan puas dan tidak puas. Hasil dari pengolahan metode Data Mining dengan menggunakan algoritma Nayve Bayes digunakan untuk mengklasifikasi tingkat kepuasan mahasiswa terhadap kualitas pelayanan. Hasil penelitian ini berupa aplikasi mesin learning yang diharapkan dapat membantu pihak petugas perpustakaan untuk melakukan analisis data secara real-time dan mendapatkan wawasan yang berharga mengenai persepsi mahasiswa terhadap layanan yang diberikan. Dengan demikian, perpustakaan dapat merancang strategi peningkatan layanan yang lebih efektif dan efisien berdasarkan data yang akurat. KAJIAN LITERATUR 1 Pengertian Aplikasi Mesin Learning Aplikasi berasal dari kata application yang artinya penerapan, lamaran. Secara istilah aplikasi adalah program siap pakai yang direka untuk melaksanakan suatu fungsi bagi pengguna atau aplikasi yang lain dan dapat digunakan oleh sasaran yang dituju. Setiap perguruan tinggi harus menjadikan kepuasan mahasiswa sebagai prioritas utama dalam meningkatkan layanan yang diberikan untuk memenuhi kebutuhan mahasiswa dan menjadi tolak ukur keunggulan dan daya saing perguruan tinggi. Layanan berkualitas tinggi akan memberi mahasiswa kepercayaan dan membuat mereka yakin bahwa perguruan tinggi tersebut harus memiliki standar dan standar dalam memberikan Universitas Dirgantara Marsekal Suryadarma (Unsury. adalah salah satu Perguruan Tinggi swasta yang berkomitmen untuk meningkatkan standar mutu pendidikan dan terus berupaya meningkatkan kualitas mutu pendidikan, fasilitas kampus dan pelayanannya. Salah satu fasilitas yang menunjang mutu pendidikan adalah Perpustakaan. Saat ini Perpustakaan kampus Universitas Dirgantara Marsekal Suryadarma masih kurang maksimal dimanfaatkan oleh mahasiswa. Minat mahasiswa untuk berkunjung ke perpustakaan masih kurang dilihat dari data pengunjung per hari yang mengisi buku tamu. Tentunya temuan ini menjadi salah satu evaluasi yang akan Jogiyanto dalam (Syahrin, 2. menyatakan bahwa perancangan dapat diartikan sebagai suatu gambaran, perencanaan dan sketsa atau pengaturan dari elemen-elemen yang terbagi dalam kesatuan yang utuh dan memiliki fungsi Machine Learning adalah suatu area dalam Artificial Intelligence (AI) atau kecerdasan buatan yang berhubungan dengan pengembangan teknik-teknik yang bisa diprogramkan dan belajar dari data masa lalu. Artificial Intelligent (AI) atau Kecerdasan Buatan adalah teknik yang menjadikan komputer dapat berpikir secerdas atau melampaui kecerdasan manusia. Tujuannya agar komputer memiliki kemampuan berperilaku, berpikir, dan mengambil keputusan layaknya manusia (Cholissodin et al. , 2. Aplikasi mesin pembelajaran . achine learnin. adalah program atau sistem yang menggunakan algoritma dan teknik dari bidang pembelajaran mesin untuk menganalisis data, belajar dari data tersebut, dan membuat prediksi atau keputusan berdasarkan pola yang ditemukan dalam data. Pembelajaran mesin melibatkan proses pelatihan model dengan menggunakan data yang ada, menguji model tersebut, dan kemudian menerapkannya pada data baru untuk membuat prediksi atau keputusan man dari algoritma Nayve Bayes, disederhanakan pada persamaan berikut: Keterangan: C X : Data dengan kelas yang belum C C : Hipotesis data X merupakan suatu kelas spesifik. C P(C|X) : Probabilitas hipotesis C berdasarkan kondisi X. C P(X|C) : Probabilitas X berdasarkan kondisi pada hipotesis C P(C) : Probabilitas hipotesis C . robabilitas prio. C P(X) :Probabilitas X. 4 Tingkat Akurasi Data Confusion matriks adalah alat yang berguna untuk menganalisis seberapa baik pengklasifikasi agar dapat mengenali tupel dari berbagai kelas. Confusion matrix adalah tabel yang digunakan untuk menggambarkan kinerja dari model klasifikasi pada dataset uji yang nilai sebenarnya 2 Pengertian Data Mining Data Mining merupakan proses ekstraksi pola pada data menggunakan berbagai metode berbeda yang kompleks dan cerdas. Pola yang di dapat divisualisasikan dengan cara yang dapat dipahami oleh pengguna, dengan bermacam teknik representasi (Arhami & Nasir, 2. 5 Kualitas Pelayanan Kualitas pelayanan adalah tingkat di mana suatu layanan memenuhi atau melebihi harapan pelanggan. Beberapa aspek utama dari kualitas pelayanan meliputi: Keandalan . Daya tanggap . Jaminan . Kemudahan akses . Bukti fisik . Istilah data mining memiliki hakikat sebagai disiplin ilmu yang tujuan utamanya adalah untuk menemukan, menggali, atau menambang pengetahuan dari data atau informasi yang kita miliki. Data mining, sering juga disebut sebagai Knowledge Discovery in Database (KDD) yaitu kegiatan yang meliputi pengumpulan, pemakaian data, historis untuk menemukan keteraturan, pola atau hubungan dalam set data berukuran besar (Santosa, 2. Model yang sering digunakan untuk mengukur kualitas pelayanan adalah SERVQUAL. Model ini mengidentifikasi lima dimensi utama kualitas pelayanan yang disebutkan di atas dan menggunakan survei untuk mengukur perbedaan antara harapan pelanggan dan persepsi mereka tentang kinerja aktual layanan. 3 Algoritma Nayve Bayes Algoritma Nayve Bayes memprediksi peluang di masa depan berdasarkan pengalaman di masa sebelumnya, teori ini dikemukakan oleh Teorema Bayes. Teorema Bayes mempermudah pemaha240 6 Kepuasan Mahasiswa Kepuasan mahasiswa merupakan suatu kondisi terpeduhi keinginan, harapan, serta kebutuhan mahasiswa. Kepuasan juga merupakan prilaku positif mahasiswa terhadap pelayanan lembaga pendidikan sebab terdapatnya kesesuaian antara harapan dari pelayanan dibanding realitas yang diterimanya. Diagram yang digunakan dalam UML struk-tur perangkat lunak. Class Diagram menggambarkan beberapa kelas yang ada dalam sistem, hubungan antara kelas tersebut, serta atribut dan operasi yang dimiliki oleh masing-masing kelas tersebut Kepuasan dapat diartikan sebagai perasaan seseorang setelah mem-bandingkan hasil kinerja dengan keinginananya. Bila kinerja tidak sesuai harapan, pelanggan tidak puas. Bila kinerja sesuai harapan, pelanggan puas. Bila kinerja melebihi harapan, pelanggan amat puas serta bahagia. METODE PENELITIAN Alur penelitian yang digunakan dalam penelitian ini dapat dilihat pada Gambar 1. Tahap pertama merupakan tahap identifikasi masalah. Identifikasi masalah merupakan tahap mengidentifikasi permasalahan terkait objek penelitian yaitu Perpustakaan kampus Universitas Dirgantara Marsekal Suryadarma (UNSURYA). Permasalahan yang diangkat oleh peneliti yaitu evaluasi kepuasan mahasiswa terhadap layanan perpustakaan yang meliputi koleksi buku, fasilitas, aksesibilitas, dan layanan petugas. Tahap kedua yaitu pengumpulan data melalui kuesioner yang disebarkan kepada mahasiswa UNSURYA untuk mendapatkan data kepuasan mahasiswa terhadap layanan perpustkaan. Tahap ketiga yaitu pengolahan data yang telah didapat dari Data yang diolah digunakan menjadi data testing dan data training. Tahap keempat yaitu penerapan algoritma nayve bayes pada data kuesioner yang Tahap kelima pengklasifikasian untuk mengetahui hasil evaluasi kepuasan mahasiswa berada pada label/kelas PUAS. CUKUP PUAS, dan TIDAK PUAS. Tahap keenam yaitu penghitungan akurasi data menggunakan confusion matrix untuk mengukur tingkat akurasi per kelas. Jika akurasi berhasil mendapatkan presentasi yang tinggi maka dilanjutkan ke tahap perancangan aplikasi. Tahap ketujuh yaitu Perancangan aplikasi yang akan dibangun berbasis website dengan model nayve bayes yang telah diuji sebelumnya. Tahap kedelapan yaitu pengujian aplikasi menggunakan metode blackbox testing. 4 Unified Modeling Language (UML) UML adalah Bahasa Pemodelan standart yang terdiri dari serangkain diagram terintegrasi, dikembangkan untuk membantu pengembangan sistem dan perngakat lunak untuk mentukan, memvisualisasikan, membangun, dan mendokumentasikan artefak . sistem perangkat lunak. Terdapat beberapa diagram di UML yaitu diantara lain : Use case Diagram . dari suatu sistem informasi yang diimplementasikan. Sebuah use case menggambarkan interaksi antara satu atau lebih aktor dan sistem informasi yang akan dibuat. Activity Diagram Diagram yang digunakan untuk memodelkan aliran kerja dalam suatu proses atau sistem. Diagram ini digunakan untuk menggambarkan aktivitas, tindakan, kondisi, dan hubungan antara aktivitas Activity diagram juga dapat digunakan untuk memodelkan alur kerja dalam pengembangan perangkat lunak. Class Diagram Tabel 1. Data Atribut Start Atribut Nim Nama Jenis Kelamin Jurusan Identifikasi Masalah . awancara dan studi literatu. Pengumpulan Data Kuesioner Pengolahan Data Penerapan algoritma Nayve Bayes Pengklasifikasian Perhitungan akurasi data menggunakan confusion matrix Q10 Q11 Tidak Akurasi Q12 Q13 Q14 Perancangan Aplikasi Q15 Pengujian Keterangan Untuk mengetahui data nim mahasiswa. Untuk mengetahui data nama mahasiswa Untuk mengetahui jenis kelamin mahasiswa Untuk mengetahui jurusan mahasiswa. Untuk mengetahui kecepatan petugas dalam melayani mahasiswa. Untuk mengetahui respon petugas ketika menerima kritik dan saran. Untuk mengetahui komunikasi petugas yang baik dengan mahasiswa. Untuk mengetahui kemampuan petugas dalam melayani peminjaman dan pengembalian buku Untuk mengetahui petugas berpakaian rapi dan sopan Untuk mengetahui perkembangan teknologi yang digunakan perpustakaan Unsurya Untuk mengetahui kualitas sarana dan prasarana yang ada diperpustakaan Unsurya Untuk mengetahui tingkat kenyamanan dalam ruang perpustakaan Unsurya Untuk mengetahui penyediaan buku terbaru yang ada diperpustakaan Unsurya Untuk mengetahui kondisi dan kelayakan fisik buku yang ada diperpustakaan Unsurya Untuk mengetahui sarana pembelajaran yang tersedia diruang perpus Unsurya Untuk mengetahui ketanggapan petugas dalam melayani mahasiswa Untuk mengetahui kesopanan petugas dalam Untuk mengetahui petugas perpustakaan bersikap adil kesemua mahasiswa Untuk mengetahui kondisi ruang perpustakaan yang bersih dan buku tertata rapih dirak Hasil analisis kebutuhan untuk aplikasi mesin learning dengan model nayve bayes yang akan dikembangkan dipaparkan dalam bentuk use case diagram pada End Gambar 1. Alur Penelitian HASIL DAN PEMBAHASAN 1 Analisa Kebutuhan Analisis kebutuhan sistem dibangun berdasarkan hasil olah kuesioner yang dibagikan kepada mahasiswa. Data kuesioner meliputi beberapa Variabel penilaian mencakup prasarana fasilitas, petugas, reliability dengan keputusan puas dan tidak puas yang terinci pada tabel 1. Gambar 2. Use Case Diagram Pada use case diatas menjelaskan aplikasi dapat melakukan atau menampilkan hasil dari proses algoritma Nayve Bayes ketika pengguna dapat menginput data kuesioner ke aplikasi, pengguna juga dapat menampilkan keakuratan aplikasi dari data yang telah sudah di input. Setelah data di proses sistem akan menampilkan hasil output dari prediksi yang telah di input pengguna. RapidMiner 91,67%. Gambar 3. Confusion Matrix hasil olah Rapid miner 2 Pengolahan Data Pengumpulan data pada penelitian ini dilakukan melalui kuesioner yang disebarkan kepada mahasiswa kampus Univeristas Dirgantara Marsekal Suryadarma (UNSURYA). Data yang terkumpul sebanyak 120 data responden untuk selanjutnya dilakukan Pre-processing cleaning dan Transformation untuk menentukkan data training dengan menambahkan atribut hasil berupa keputusan AuPUASAy. AuCUKUP PUASAy dan AuTIDAK PUASAy. Hasil pengujian menunjukkan bahwa model Naive Bayes memiliki performa yang memuaskan dengan tingkat akurasi yang tinggi sebesar 91,67% dalam mengklasifikasikan tingkat kepuasan mahasiswa dengan variabel penilaian mencakup prasarana fasilitas, petugas, reliability dengan keputusan puas, cukup puas dan tidak puas. Langkah selanjutnya menyiapkan aplikasi berbasis website menggunakan model nayve bayes. Pengolahan data selanjutnya adalah pengujian klasifikasi algoritma Nayve Bayes menggunakan data training. Peneliti akan mengambil 10% dari data training yang ada untuk dijadikan data uji, maka terdapat data testing sejumlah 12 data. Data akan dipilih secara acak dan dinilai dari atribut yang berbagai macam pilihannya sehingga data yang diuji akan menghasilkan akurasi yang baik. 3 Perancangan Aplikasi . Activity Diagram Activity Diagram yang diusulkan pada rancangan aplikasi mesin learning dengan model nayve bayes untuk evaluasi kepuasan mahasiswa terhadap layanan perpustakaan universitas Dirgantara Marsekal Suryadarma (UNSURYA): Activity Diagram Login Setelah mengetahui probabilitas kondisi dan data testing, maka akan dilakukan pengujian menggunakan algoritma Nayve Bayes untuk memprediksi kepuasan mahasiswa. Pada tahap ini data yang telah diuji menggunakan metode klasifikasi algoritma Nayve Bayes akan dilihat evaluasi dan validasi dari hasil pengujian, yaitu dengan menggunakan metode confusion matrix untuk mengetahui accuracy, recall, dan precision dari data yang telah diuji. Berikut hasil pengujian data menggunakan aplikasi Gambar 4. Activity Diagram Login b. Activity Diagram Data Training Activity Diagram Hitung Probabilitas Gambar 6. Activity Diagram Hitung Probabilitas Gambar 5. Activity Diagram Data Training . Class Diagram Class diagram dari perancangan sistem yang diusulkan adalah sebagai Activity Diagram Data Testing Gambar 7. Class Diagram Gambar 6. Activity Diagram Data Testing 4 Tampilan Program Dibawah ini adalah tampilan antar muka pada aplikasi machine learning AuEvaluasi Kepuasan Mahasiswa Terhadap Layanan Perpustakaan Menggunakan Model Nayve Bayes Pada Perpustakaan Universitas Dirgantara Marsekal Suryadarma (UNSURYA)Ay. Halaman Login Halaman ini digunakan sebagai halaman identifikasi pengguna agar dapat mengakses aplikasi. Masukkan user name dan password yang benar agar pengguna dapat menggunakan Jika data user name dan password yang dimasukkan salah maka pengguna tidak dapat mengakses aplikasi Gambar 10. Tampilan Manajemen Admin . Halaman Data Training Halaman Data Training digunakan untuk menyimpan data kuesioner sebagai data set pelatihan yang merupakan bagian dalam kumpulan data set yang disediakan untuk menjadi bahan pembelajaran model agar model dapat menggeneralisasi . enemukan pol. data sehingga nantinya dapat memprediksi data Gambar 8. Tampilan Login . Halaman Dashboard Halaman dashboard adalah halaman utama yang menampilkan informasi data statistik responden yang telah dimasukkan ke dalam data set. Gambar 11. Tampilan Data Training Halaman Data Testing Halaman Data Testing digunakan untuk menguji data kuesioner sebagai data set untuk melihat keakuratan dan peforma hasil dari algoritma yang Gambar 9. Tampilan Dashboard . Halaman Manajemen Admin Halaman ini digunakan untuk menambahkan akun pengguna yang dapat mengakses aplikasi. Gambar 12. Tampilan Data Testing . Halaman Hitung Probabilitas Halaman ini menampilkan probabilitas label tiap kelas dan atribut dari setiap kuesioner yang diinputkan ke dalam data set. Gambar 15. Tampilan Halaman Performa 5 Testing Dibawah ini adalah pengujian blackbox pada aplikasi machine learning AuEvaluasi Kepuasan Mahasiswa Terhadap Layanan Perpustakaan Menggunakan Model Nayve Bayes Pada Perpustakaan Universitas Dirgantara Marsekal Suryadarma (UNSURYA)Ay. Gambar 13. Tampilan Hitung Probabilitas . Halaman Hasil Klasifikasi Halaman ini menampilkan hasil klasifikasi kelas prediksi dan kelas asli sudah sesuai atau tidak. Gambar 14. Tampilan Hasil Klasifikasi . Halaman Performa Halaman ini menampilkan hasil performa pengujian keakuratan pada data set testing terhadap data prediksi yang dibandingkan dengan data asli. Dibawah ini aplikasi menampilkan data accuracy sebesar 91. 67% yang artinya model algoritma nayve bayes yang digunakan dapat bekerja secara Tabel 2 Pengujian Black Box Hasil Penguji Sesuai Harapan Skenario Pengujian Test Case Hasil yang Menginput benar dan benar, lalu Login Menginput benar dan benar, lalu Login Tidak Username Password. Login User Password: Sistem n akses User Password: Sistem email dan Sesuai Harapan Valid User Password: Sistem email dan tidak boleh Sesuai Harapan Valid Kesimp Valid KESIMPULAN DAN SARAN 1 Kesimpulan Aplikasi ini dibuat bertujuan untuk membantu pihak perpustakaan untuk melakukan analisis data secara real-time dan mendapatkan wawasan yang berharga mengenai persepsi mahasiswa terhadap layanan yang diberikan. Dengan demikian, perpustakaan dapat merancang strategi peningkatan layanan yang lebih efektif berdasarkan data yang akurat. Penggunaan model Nayve Bayes untuk memberi penilaian terhadap evaluasi kepuasan mahasiswa terhadap layanan Perpustakaan pada kampus Universitas Dirgantara Marsekal Suryadarma memiliki tingkat akurasi yang baik yaitu sebesar 67%, menunjukkan kemampuan model dalam memprediksi dengan benar sebagian besar kasus dari data testing. Implementasi program yang sudah dibuat dapat memodelkan algoritma Nayve Bayes dengan baik dan menghasilkan data accuracy yang sesuai dengan dengan perhitungan pada aplikasi RapidMiner. 2 Saran Meskipun model algoritma Nayve Bayes memiliki kinerja yang baik secara umum, adanya kasus prediksi yang meleset menunjukkan bahwa model ditingkatkan atau disesuaikan lebih lanjut. Model dapat di bandingkan dengan beberapa jenis algoritma machine learning yang lain untuk mendapatkan hasil performa yang DAFTAR PUSTAKA