62
JURNAL SISTEM DAN INFORMATIKA (JSI)
Klasifikasi Data Saran Pemustaka di Perpustakaan STIKOM Bali Menggunakan TF-IDF dan Multinomial Naive Bayes I Made Bhaskara Gautama Institut Teknologi dan Bisnis STIKOM Bali e-mail: bhaskara@stikom-bali.
Diajukan: 19 November 2022.
Direvisi: 22 Desember 2022.
Diterima: 23 Desember 2022 Abstrak Perpustakaan STIKOM Bali berperan penting dalam mendukung pembelajaran dan riset oleh dosen maupun mahasiswa.
Strategi peningkatan layanan perpustakaan dilakukan dengan mengumpulkan data saran dari anggota perpustakaan melalui kuesioner.
Saran tersebut dikelompokkan menjadi beberapa Prioritas perbaikan diambil berdasarkan kategori dengan jumlah saran terbanyak.
Namun, pustakawan dan staf memiliki kesulitan untuk mengelompokkan saran sehingga sulit untuk menentukan prioritas perbaikan.
Permasalahan ini diatasi dengan mengklasifikasi data saran pemustaka menggunakan machine learning.
Data awal berisi 1015 saran dengan 5264 kata.
608 saran tidak valid karena bukan merupakan kata atau diisi dengan huruf acak.
Data tersebut diproses menjadi beberapa versi menggunakan pra pemrosesan yang berbeda.
Transformasi teks menjadi bentuk numerik dilakukan menggunakan metode TF-IDF.
Sebelum diklasifikasi, data diseimbangkan menggunakan beberapa metode class balancing yaitu SMOTE.
ROS.
RUS, dan TL.
Proses klasifikasi dilakukan dengan menggunakan metode Multinomial Naive Bayes.
Hasil klasifikasi dievaluasi menggunakan metrik performa yaitu accuracy, precission, recall, dan F1-score.
Nilai tertinggi diperoleh oleh data yang tidak mengalami pra pemrosesan dan data dengan pra pemrosesan lowecase conversion dengan class balancing ROS dengan nilai accuracy 0.
798, precission 0.
869, recall 0.
798, dan F1-score 0.
Penelitian ini menemukan bahwa teknik pra pemrosesan tidak selalu meningkatkan performa klasifikasi.
Pra pemrosesan sebaiknya dilakukan dengan mempertimbangkan karakteristik data yang digunakan.
Kata kunci: Klasifikasi.
TF-IDF.
Multinomial Naive Bayes.
Machine learning.
Abstract The STIKOM Bali Library plays a crucial role in supporting learning and research for both faculty and students.
The strategy for enhancing library services involves collecting suggestion data from library members through questionnaires.
These suggestions are categorized into several groups, with improvement priorities based on the categories with the most suggestions.
However, librarians and staff face challenges in categorizing suggestions, making it difficult to determine improvement priorities.
This issue is addressed by classifying suggestion data using machine learning.
The initial data contains 1015 suggestions with 5264 words.
608 suggestions are invalid as they are either not words or filled with random letters.
This data is processed into several versions using different preprocessing techniques.
Text transformation into numerical form is done using the TF-IDF method.
Before classification, the data is balanced using several class balancing methods, including SMOTE.
ROS.
RUS, and TL.
The classification process is performed using the Multinomial Naive Bayes method.
The classification results are evaluated using performance metrics, namely accuracy, precision, recall, and F1-score.
The highest values were obtained by data without preprocessing and data with lowercase conversion preprocessing with ROS class balancing, with 798, precision 0.
869, recall 0.
798, and F1-score 0.
This study found that preprocessing techniques do not always improve classification performance.
Preprocessing should be done considering the characteristics of the data used.
Keywords: Klasifikasi.
TF-IDF.
Multinomial Naive Bayes.
Machine learning.
Pendahuluan Perpustakaan adalah sebuah institusi atau departemen yang tidak hanya menyediakan akses terhadap beragam literatur dan sumber daya informasi, tetapi juga menjadi pusat pengetahuan bagi komunitas akademik .
Institut Teknologi dan Bisnis STIKOM Bali memiliki perpustakaan yang p-ISSN: 1858-473X, e-ISSN: 2460-3732 memegang peran vital dalam mendukung proses belajar mengajar dan penelitian.
Perpustakaan ini memiliki koleksi yang luas dan up-to-date, sehingga tidak hanya menjadi tempat bagi dosen, staf, dan mahasiswa untuk mendapatkan bahan bacaan yang relevan, tetapi juga sebagai tempat untuk mendalami pengetahuan dan memperluas wawasan mereka.
Perpustakaan memegang peran penting dalam mendukung pembelajaran, penelitian, dan pengembangan intelektual di berbagai institusi pendidikan.
Sebagai tempat yang menyediakan akses ke berbagai sumber daya informasi, mulai dari buku cetak hingga jurnal elektronik, perpustakaan memberikan kesempatan bagi pengguna untuk mengeksplorasi berbagai topik, memperdalam pemahaman pemustaka, dan mengembangkan keterampilan literasi.
Selain itu, perpustakaan juga menciptakan lingkungan yang mendukung kolaborasi dan pertukaran ide, di mana pemustaka dapat berinteraksi, berdiskusi, dan belajar bersama.
Dengan demikian, perpustakaan tidak hanya menjadi gudang pengetahuan, tetapi juga menjadi pusat kegiatan intelektual dan sosial yang vital bagi pertumbuhan dan perkembangan masyarakat akademis.
Perpustakaan STIKOM Bali berupaya untuk terus meningkatkan pelayanan dan fasilitas dengan mengadopsi pendekatan proaktif yaitu menyebarkan kuesioner kepada pemustaka melalui website Melalui kuesioner ini, pemustaka memiliki kesempatan untuk menyampaikan pendapat, kebutuhan, dan saran mereka secara langsung kepada pihak perpustakaan.
Perpustakaan dapat mengumpulkan umpan balik yang berharga untuk memahami secara lebih baik kebutuhan pengguna dan merancang strategi perbaikan yang sesuai guna meningkatkan pengalaman pengguna dan memenuhi harapan mereka.
Kuesioner yang disebarkan melalui website perpustakaan menjadi salah satu cara efektif untuk menggali persepsi dan preferensi pemustaka secara luas.
Platform online digunakan agar perpustakaan dapat mencapai lebih banyak pemustaka, termasuk yang mungkin tidak memiliki kesempatan untuk memberikan masukan secara langsung.
Hasil dari kuesioner ini memberikan wawasan yang berharga bagi perpustakaan dalam mengidentifikasi area-area yang perlu ditingkatkan, baik itu dari segi koleksi, fasilitas, atau layanan yang ditawarkan.
Dengan menganalisis data yang terkumpul, perpustakaan dapat membuat keputusan yang lebih terinformasi dan bertindak responsif terhadap kebutuhan pemustaka, sehingga meningkatkan kualitas layanan secara keseluruhan.
Meskipun kuesioner adalah alat yang berguna untuk mengumpulkan umpan balik, pihak perpustakaan sering menghadapi tantangan dalam memilah dan mengelola data yang masuk.
Sebagian besar kuesioner mungkin diisi dengan informasi yang berharga, namun ada juga yang diisi teks acak, bukan merupakan sebuah/sekumpulan kata, atau tanpa relevansi yang jelas.
Hal ini dapat menyebabkan kesulitan bagi pihak perpustakaan dalam mengidentifikasi pola atau tren yang signifikan.
Selain hal tersebut, dengan jumlah data yang besar, pengelompokan saran-saran menjadi tugas yang memakan waktu dan Untuk mengatasi tantangan ini, perpustakaan dapat menggunakan alat atau teknik analisis data, seperti pemrosesan bahasa alami atau algoritma pembelajaran mesin, untuk membantu dalam mengidentifikasi dan mengelompokkan saran-saran berdasarkan tema atau topik tertentu.
Dengan demikian, pihak perpustakaan dapat menghemat waktu dan sumber daya, sambil tetap fokus pada saransaran yang paling relevan dan bermanfaat untuk diterapkan dalam meningkatkan pelayanan dan fasilitas Penelitian ini dilakukan untuk mengatasi permasalahan yang dihadapi oleh Perpustakaan STIKOM Bali dalam mengelompokkan jawaban dari kuesioner yang masuk.
Metode Term FrequencyInverse Document Frequency (TF-IDF) digunakan untuk mengekstraksi fitur-fitur yang relevan dari teks jawaban kuesioner.
TF-IDF mengukur seberapa penting sebuah kata dalam suatu dokumen dalam kumpulan dokumen dengan akurasi yang tinggi .
Kata-kata yang muncul lebih sering dalam dokumen tertentu namun jarang muncul di dokumen lain akan memiliki bobot yang lebih tinggi.
Setelah fitur-fitur diekstraksi, algoritma klasifikasi Multinomial Naive Bayes digunakan untuk mengklasifikasikan jawabanjawaban tersebut ke dalam kategori atau label yang sesuai.
Algoritma ini merupakan pendekatan yang umum digunakan dalam klasifikasi teks karena kecepatan dan keandalannya .
Algoritma ini belajar untuk mengidentifikasi pola-pola yang ada dalam teks dan mengklasifikasikan teks-teks baru ke dalam kategori yang tepat berdasarkan kemungkinan terbesar dengan menggunakan data latih yang telah diberi label.
Penerapan metode TF-IDF dan algoritma Multinomial Naive Bayes diharapkan dapat membantu Perpustakaan STIKOM Bali dalam mengelompokkan jawaban-jawaban dari kuesioner secara efisien dan efektif, sehingga memungkinkan mereka untuk dengan cepat mengeksplorasi dan memahami umpan balik dari pemustaka dan mengambil tindakan yang sesuai untuk meningkatkan pelayanan dan fasilitas Metode Penelitian Penelitian ini menggunakan metode umum yang digunakan untuk melakukan klasifikasi seperti yang ditunjukkan pada Gambar 1 .
Data yang telah tersedia yaitu data saran pemustaka atau anggota Klasifikasi Data Saran Pemustaka di Perpustakaan STIKOM Bali Menggunakan TF-IDF dan Multinomial Naive Bayes (I Made Bhaskara Gautam.
64 perpustakaan yang dikumpulkan melalui website Perpustakaan STIKOM Bali untuk anggota yang sudah melakukan login.
Data tersebut dibuatkan label atau class secara manual.
Pada tahap pra pemrosesan teks, terdapat beberapa skenario yang dilakukan yaitu dengan menggunakan kombinasi antara stop-word and punctuation removal, lowercase conversion, dan spelling correction.
Hal ini dilakukan karena pra pemrosesan teks dapat mempengaruhi hasil evaluasi dari klasifikasi.
Penelitian sebelumnya mengatakan bahwa tidak ada kombinasi yang pasti dari pra pemrosesan teks yang menjamin dapat meningkatkan hasil evaluasi dari model klasifikasi karena sangat bergantung dari dataset dan bahasa yang digunakan .
Oleh karena itu, eksperimen dalam penggunaan pra pemrosesan perlu untuk dilakukan.
Gambar 1.
Proses klasifikasi .
Proses transformasi teks untuk data yang sudah siap dilakukan dengan mengubah teks mentah menjadi representasi numerik atau vektor yang dapat digunakan untuk analisis lebih lanjut.
Tujuan dari transformasi teks adalah untuk menghasilkan representasi yang sesuai untuk digunakan dalam algoritma pembelajaran mesin atau analisis statistik.
Metode yang digunakan pada tahap ini adalah TF-IDF.
TF-IDF
adalah teknik yang umum digunakan dalam pemrosesan teks untuk mengukur pentingnya sebuah kata dalam suatu dokumen dalam sebuah koleksi dokumen.
Metode ini berguna untuk mengekstraksi dan memberi bobot pada kata-kata dalam dokumen berdasarkan seberapa sering kata tersebut muncul dalam dokumen tertentu dan seberapa jarang kata tersebut muncul di seluruh koleksi dokumen.
Proses TF-IDF terdiri dari dua langkah utama yaitu Term Frequency (TF) dan Inverse Document Frequency (IDF).
Term Frequency (TF): Mengukur seberapa sering sebuah kata muncul dalam suatu dokumen Perhitungan dilakukan dengan membagi jumlah kemunculan kata tersebut dengan total jumlah kata dalam dokumen.
Jadi, untuk sebuah kata t dalam sebuah dokumen d.
TF ditentukan sebagai:
ycNya.
c, yc.
= ycycycoycoycaEa ycoyceycoycycuycaycycoycaycu ycoycaycyca yc yccycaycoycayco yccycuycoycycoyceycu ycc ycycuycycayco ycycycoycoycaEa ycoycaycyca yccycaycoycayco yccycuycoycycoyceycu ycc Inverse Document Frequency (IDF): Mengukur seberapa jarang sebuah kata muncul di seluruh koleksi dokumen.
Perhitungan dilakukan dengan membagi jumlah total dokumen dengan jumlah dokumen yang mengandung kata tersebut, kemudian mengambil logaritma dari hasilnya.
Perhitungan ini membantu JURNAL SISTEM DAN INFORMATIKA Vol.
No.
Mei 2023.
dalam menurunkan bobot kata-kata yang umum dan meningkatkan bobot kata-kata yang jarang muncul dalam koleksi dokumen.
Jadi, untuk sebuah kata t dalam sebuah koleksi dokumen.
IDF ditentukan sebagai:
= ycoycuyci ycycuycycayco ycycycoycoycaEa yccycuycoycycoyceycu ycycycoycoycaEa yccycuycoycycoyceycu ycycaycuyci ycoyceycuyciycaycuyccycycuyci ycoycaycyca yc Kemudian, bobot TF-IDF untuk sebuah kata t dalam sebuah dokumen d adalah hasil perkalian dari TF dan IDF:
ycNyaAyayaya.
c, yc.
= ycNya.
c, yc.
y yayaya.
Bobot TF-IDF yang dihitung menggunakan persamaan tersebut memberikan representasi vektor numerik untuk setiap dokumen dalam koleksi dokumen, di mana kata-kata yang penting dalam suatu dokumen diberi bobot yang lebih tinggi, sementara kata-kata yang umum atau sering muncul diberi bobot yang lebih rendah.
Hasil dari transformasi teks tersebut dibagi secara acak menjadi data latih .
%) dan data uji .
%).
Sebelum proses klasifikasi dilakukan, jika terdapat ukuran kelas yang tidak seimbang, dibutuhkan metode untuk menyeimbangkan ukuran kelas atau class balancing dari data latih.
Tujuan penyeimbangan ukuran kelas ini adalah untuk memastikan bahwa model pembelajaran mesin tidak memihak pada kelas mayoritas dan mengabaikan kelas minoritas dalam dataset yang tidak seimbang.
Penelitian ini menggunakan teknik class balancing yang umum digunakan yaitu Synthetic Minority Oversampling Technique (SMOTE).
Random Over Sampling (ROS).
Random Under Sampling (RUS), dan Tomek Links karena terbukti mampu meningkatkan performa dari klasifikasi untuk data yang tidak seimbang .
, .
, .
Klasifikasi dilakukan menggunakan metode Binomial Naive Bayes .
Naive Bayes adalah salah satu algoritma klasifikasi yang populer dalam pembelajaran mesin, yang didasarkan pada teorema Bayes dengan asumsi bahwa fitur-fitur yang digunakan dalam klasifikasi adalah independen satu sama lain.
Binomial Naive Bayes adalah variasi dari algoritma Naive Bayes yang digunakan khusus untuk klasifikasi biner, di mana terdapat dua kelas yang mungkin untuk setiap sampel.
Proses ini menghasilkan model klasifikasi yang kemudian diuji atau digunakan untuk memprediksi kelas dari data uji.
Evaluasi dilakukan dengan mengukur metrik akurasi, presisi, recall, dan F1-score.
Hasil dan Pembahasan Proses pengolahan data dan klasifikasi dilakukan menggunakan bahasa pemrograman Python.
Data yang digunakan pada penelitian ini terdiri dari satu kolom untuk setiap baris datanya.
Kolom tersebut berisi saran, tanggapan, atau komentar terhadap Perpustakaan STIKOM Bali yang diisi melalui website oleh pemustaka atau anggota perpustakaan.
Total data yang terkumpul yaitu sebanyak 1015 baris data.
Tampilan potongan data mentah ditampilkan pada Gambar 2.
Gambar 2.
Data respons kuesioner yang tersimpan pada database.
Klasifikasi Data Saran Pemustaka di Perpustakaan STIKOM Bali Menggunakan TF-IDF dan Multinomial Naive Bayes (I Made Bhaskara Gautam.
66 Pelabelan Manual Setiap data pada Gambar 2 diberikan label secara manual.
Sebelum label diberikan, kriteria klasifikasi ditentukan terlebih dahulu yaitu: .
tidak valid.
ketersediaan informasi.
tata kelola bahan .
layanan perpustakaan.
bahan pustaka.
fitur website.
Pelabelan manual dilakukan dengan memperhatikan konteks dan makna dari setiap komentar, serta mengidentifikasi isu-isu yang paling sering muncul atau paling penting bagi pengguna perpustakaan.
Proses pelabelan ini merupakan langkah awal yang krusial dalam penelitian, karena label yang tepat dan akurat akan menjadi dasar untuk analisis selanjutnya, termasuk pembangunan model klasifikasi untuk mengidentifikasi polapola dan tren-tren dalam data komentar.
Gambar 3 menunjukkan penggalan data yang telah diberi label.
Gambar 3.
Data yang telah diberi label .
Pra Pemrosesan Teks Pra pemrosesan teks dilakukan untuk membersihkan dan menyiapkan data teks sehingga dapat diolah lebih lanjut oleh algoritma pembelajaran mesin atau analisis teks.
Penelitian ini melakukan eksperimen dengan menggunakan tiga teknik pra pemrosesan yang banyak digunakan yaitu stop-word and punctuation removal, lowercase conversion, dan spelling correction .
, .
Berikut adalah kombinasi pra pemrosesan yang digunakan.
Tidak menggunakan pra pemrosesan (BASE) Data ini tidak mengalami pra pemrosesan yang selanjutnya disebut sebagai BASE.
Jumlah baris data tidak mengalami perubahan dari data awal yaitu 1015 data.
Gambar 4 menunjukkan distribusi data ini di masing-masing kelasnya.
Gambar 4.
Jumlah respons berdasarkan kelas (BASE).
Stop-word and punctuation removal (DS-.
Data ini mengalami pra pemrosesan dengan menghapus stop-word dan tanda baca.
Terdapat kasus di mana satu kalimat saran merupakan stop-word semua karena kuesioner tidak diisi dengan baik oleh responden, oleh karena itu terdapat data komentar yang kosong.
Baris data ini kemudian dihapus karena dapat mempengaruhi hasil klasifikasi.
Proses tersebut menyisakan 665 dari 1015 Gambar 5 menunjukkan distribusi data ini di masing-masing kelasnya.
JURNAL SISTEM DAN INFORMATIKA Vol.
No.
Mei 2023.
Gambar 5.
Jumlah respons berdasarkan kelas (DS-.
Lowercase conversion (DS-.
Data ini mengalami pra pemrosesan dengan mengubah seluruh huruf menjadi huruf kecil.
Jumlah baris data tidak mengalami perubahan dari data awal yaitu 1015 data.
Gambar 6 menunjukkan distribusi data ini di masing-masing kelasnya.
Gambar 6.
Jumlah respons berdasarkan kelas (DS-.
Spelling correction (DS-.
Data ini mengalami pra pemrosesan dengan memperbaiki kesalahan penulisan dan mengubah sejumlah kata tidak baku menjadi kata baku dalam bahasa Indonesia.
Jumlah baris data tidak mengalami perubahan dari data awal yaitu 1015 data.
Gambar 7 menunjukkan distribusi data ini di masing-masing kelasnya.
Klasifikasi Data Saran Pemustaka di Perpustakaan STIKOM Bali Menggunakan TF-IDF dan Multinomial Naive Bayes (I Made Bhaskara Gautam.
68 Gambar 7.
Jumlah respons berdasarkan kelas (DS-.
Stop-word and punctuation removal dan Lowercase conversion (DS-.
Pra pemrosesan yang digunakan pada data ini merupakan kombinasi dari penghapusan stop-word, tanda baca, dan konversi semua huruf menjadi huruf kecil.
Karena melibatkan penghapusan stopword, jumlah data ini mengalami pengurangan menjadi 665 data.
Gambar 8 menunjukkan distribusi data ini di masing-masing kelasnya.
Gambar 8.
Jumlah respons berdasarkan kelas (DS-.
Stop-word and punctuation removal dan Spelling correction (DS-.
Pra pemrosesan yang digunakan pada data ini merupakan kombinasi dari penghapusan stop-word, tanda baca, dan perbaikan kesalahan penulisan dan mengubah sejumlah kata tidak baku menjadi kata baku dalam bahasa Indonesia.
Jumlah data ini mengalami pengurangan menjadi 658 data.
Data yang berkurang pada pra pemrosesan ini jumlahnya lebih banyak daripada penghapusan stopword saja karena pengaruh dari perbaikan kesalahan pengetikan kata.
Kata yang merupakan stopword, yang sebelumnya salah ketik, menjadi terhapus pada pra pemrosesan ini.
Gambar 9 menunjukkan distribusi data ini di masing-masing kelasnya.
JURNAL SISTEM DAN INFORMATIKA Vol.
No.
Mei 2023.
Gambar 9.
Jumlah respons berdasarkan kelas (DS-.
Lowercase conversion dan Spelling correction (DS-.
Data ini mengalami pra pemrosesan dengan mengubah semua huruf menjadi huruf kecil dan memperbaiki kesalahan penulisan serta mengubah sejumlah kata tidak baku menjadi kata baku dalam bahasa Indonesia.
Jumlah baris data tidak mengalami perubahan dari data awal yaitu 1015 Gambar 10 menunjukkan distribusi data ini di masing-masing kelasnya.
Gambar 10.
Jumlah respons berdasarkan kelas (DS-.
Stop-word and punctuation removal.
Lowercase conversion, dan Spelling correction (DS-.
Data ini diproses menggunakan ketiga teknik pra pemrosesan.
Jumlah data ini mengalami pengurangan menjadi 658 data.
Gambar 11 menunjukkan distribusi data ini di masing-masing Klasifikasi Data Saran Pemustaka di Perpustakaan STIKOM Bali Menggunakan TF-IDF dan Multinomial Naive Bayes (I Made Bhaskara Gautam.
70 Gambar 11.
Jumlah respons berdasarkan kelas (DS-.
Dataset yang telah mengalami pra pemrosesan selanjutnya dipecah menjadi data training dan data Rasio pemecahan yang dilakukan adalah 20% dari keseluruhan data digunakan sebagai data testing dan 80% dari keseluruhan data digunakan untuk melatih model klasifikasi.
Transformasi Teks Transformasi teks dilakukan dengan menggunakan metode TF-IDF.
Berikut adalah hasil dari transformasi teks berupa bentuk matriks TF-IDF.
Tabel 1.
Bentuk matriks TF-IDF untuk masing-masing dataset.
Dataset
BASE
DS-1
DS-2
DS-3
DS-4
DS-5
DS-6
DS-7
n_docs n_features Kolom dataset merepresentasikan data yang telah mengalami proses pra pemrosesan menggunakan kombinasi yang telah dipaparkan sebelumnya.
Kolom n_docs merupakan jumlah dokumen atau teks di dalam korpus yang digunakan untuk analisis.
Kolom n_feature yaitu jumlah istilah atau teks unik yang diekstrak dari keseluruhan dokumen.
Class Balancing Berdasarkan distribusi respons berupa komentar atau saran pada masing-masing kelas yang ditunjukkan pada Gambar 4 sampai dengan Gambar 11, terlihat bahwa kelas tidak valid, atau komentar yang diisi tanpa konteks, memiliki jumlah paling banyak dan menyebabkan distribusi data yang tidak Penyeimbangan kelas dilakukan menggunakan dua teknik oversampling (SMOTE dan ROS) dan dua teknik undersampling (RUS dan TL).
Masing-masing dataset yang telah mengalami pra pemrosesan mengalami proses class balancing yang sama.
Klasifikasi Proses klasifikasi dilakukan dengan menggunakan metode Binomial Naive Bayes.
Pada proses ini, model klasifikasi dilatih menggunakan data latih kemudian diuji menggunakan data uji.
Evaluasi Proses evaluasi dilakukan dengan mengukur metrik performa atau kinerja berdasarkan pengujian yang dilakukan pada fase sebelumnya.
Metrik yang diukur yaitu accuracy, precision, recall, dan F1-score.
Tabel 2 menunjukkan hasil pengukuran metrik kinerja dari semua kombinasi eksperimen yang dilakukan.
JURNAL SISTEM DAN INFORMATIKA Vol.
No.
Mei 2023.
Tabel 2.
Pengukuran metrik kinerja.
BASE
DS-1
DS-2
DS-3
DS-4
DS-5
DS-6
DS-7
f1 score
f1 score
f1 score
f1 score
f1 score
f1 score
f1 score
f1 score
BASE
SMOTE
ROS
RUS
Nilai accuracy merepresentasikan rasio prediksi yang benar .
ositif dan negati.
dengan keseluruhan prediksi.
Akurasi mengukur seberapa sering model klasifikasi memberikan prediksi yang benar dinyatakan dalam persentase.
Precision mengukur seberapa tepat atau relevan prediksi positif model dengan membandingkan rasio prediksi positif yang benar (True Positiv.
dengan total prediksi positif yang dilakukan oleh model.
Recall mengukur seberapa banyak dari keseluruhan kelas positif yang berhasil diidentifikasi oleh model dengan membandingkan rasio prediksi positif yang benar (True Positiv.
dengan total jumlah kelas positif yang sebenarnya.
F1-score adalah rata-rata harmonik dari precision dan recall.
Nilai ini memberikan keseimbangan antara kedua metrik tersebut dan berguna ketika ada ketidakseimbangan antara kelas-kelas atau ketertarikan yang sama terhadap presisi dan recall.
Secara keseluruhan, metrik kinerja tertinggi didapatkan oleh dua kombinasi dataset dan teknik class balancing yaitu BASE dan ROS.
DS-2 dan ROS.
Pada kasus ini, teknik class balancing menggunakan ROS meningkatkan kinerja dari model klasifikasi.
Peningkatan yang terjadi menggunakan teknik class balancing ROS yaitu accuracy rata-rata meningkat sebesar 10.
06%, precision 24.
32%, recall 10.
06%, dan F1-score 23.
Tanpa menggunakan teknik class balancing, dataset yang mengalami perbaikan kesalahan pengetikan dan kata baku memiliki nilai metrik kinerja tertinggi.
Penghapusan stop word dan tanda baca secara keseluruhan memiliki nilai metrik kinerja terendah karena sebanyak 2779 kata dari 5264 kata atau 53% kata di dalam dataset merupakan stop word.
Penghapusan stop word pada data yang digunakan dalam penelitian ini berpengaruh signifikan terhadap performa klasifikasi karena menyebabkan data kehilangan konteksnya.
Kesimpulan Penelitian ini dilakukan untuk mengklasifikasi data saran pemustaka di Perpustakaan STIKOM Bali.
TF-IDF digunakan untuk mentransformasi teks menjadi representasi numerik.
Model klasifikasi yang digunakan adalah Multinomial Naive Bayes.
Sebelum proses klasifikasi dilakukan, data diberi label atau kelas secara manual.
Data awal berisi 1015 saran dengan 5264 kata.
608 saran tidak valid karena bukan merupakan kata atau diisi dengan huruf acak.
2779 kata dari keseluruhan kata, atau 53% di antaranya merupakan stop word.
Eksperimen dilakukan dengan menggunakan teknik pra pemrosesan dan class balancing yang berbeda.
Teknik pra pemrosesan yang digunakan merupakan kombinasi antara stop-word and punctuation removal, lowercase conversion, dan spelling correction.
Kombinasi tersebut menghasilkan Klasifikasi Data Saran Pemustaka di Perpustakaan STIKOM Bali Menggunakan TF-IDF dan Multinomial Naive Bayes (I Made Bhaskara Gautam.
72 8 versi data yang berbeda, termasuk data yang tidak mengalami pra pemrosesan.
Teknik class balancing yang digunakan yaitu SMOTE.
ROS.
RUS, dan TL.
Penelitian ini menemukan bahwa dengan menggunakan data yang memiliki karakteristik tersebut di atas, teknik pra pemrosesan lowercase conversion tidak berpengaruh terhadap hasil klasifikasi, sedangkan penghapusan stop word berpengaruh signifikan dalam menurunkan performa klasifikasi.
Spelling correction dapat meningkatkan hasil klasifikasi dibandingkan dengan data yang tidak mengalami pra pemrosesan, namun dengan menggunakan teknik class balancing ROS, menurunkan nilai precision dan F1-score namun tidak signifikan.
Secara keseluruhan teknik class balancing ROS dapat meningkatkan nilai metrik kinerja atau performa klasifikasi pada kasus ini.
Nilai tertinggi diperoleh oleh data yang tidak mengalami pra pemrosesan dan data dengan pra pemrosesan lowecase conversion dengan class balancing ROS dengan nilai accuracy 0.
798, precission 0.
869, recall 0.
798, dan F1-score 0.
Berdasarkan hasil evaluasi, model klasifikasi yang terbentuk belum memiliki performa yang baik sehingga belum dapat digunakan oleh Perpustakaan STIKOM Bali secara optimal.
Oleh karena itu, diperlukan penelitian lebih lanjut dengan melakukan eksperimen terhadap penggunaan metode transformasi teks atau metode klasifikasi yang berbeda.
Selain itu, berdasarkan karakteristik data yang dikumpulkan, perlu dilakukan validasi pengisian kuesioner untuk mencegah saran yang tidak valid.
Daftar Pustaka