PROCESSOR AeVOL.
No.
April 2024.
Laman web jurnal: https://ejournal.
id/index.
php/processor Processor: Jurnal Ilmiah Sistem Informasi.
Teknologi Informasi dan Sistem Komputer P-ISSN: 1907-6738 | E-ISSN: 2528-0082 Analisis Sentimen Mahasiswa Terhadap Kurikulum Literasi Digital di Universitas Singaperbangsa Karawang Menggunakan Nayve Bayes Ibtihal Qomariyyah Luthfiyyah1*.
Betha Nurina Sari2.
Taufik Ridwan3 Program Studi Informatika.
Fakultas Ilmu Komputer.
Universitas Singaperbangsa Karawang.
Jl.
HS.
Ronggo Waluyo.
Puseurjaya.
Telukjambe timur.
Karawang.
Jawa Barat 41361.
Indonesia.
Program Studi Sistem Informasi.
Fakultas Ilmu Komputer.
Universitas Singaperbangsa Karawang.
Jl.
HS.
Ronggo Waluyo.
Puseurjaya.
Telukjambe timur.
Karawang.
Jawa Barat 41361.
Indonesia.
*Penulis Korespondensi.
Email: 2010631170079@student.
AbstrakOeImplementasi Kurikulum Literasi Digital di Universitas Singaperbangsa Karawang (Unsik.
sebagai langkah konkrit mengingat pentingnya literasi digital.
Evaluasi kurikulum merupakan langkah penting dalam memastikan keefektifan Saat ini belum ada mekanisme dari pihak Unsika untuk mendorong mahasiswa memberikan feedback terhadap implementasi kurikulum.
Salah satu caranya adalah dengan analisis sentimen, diperlukan analisis sentimen menggunakan algoritma Nayve Bayes yang berkontribusi dalam memberikan feedback terhadap evaluasi kurikulum.
Proses analisis sentimen ini menggunakan metodologi CRISP-DM (Cross Industry Standard Process for Data Minin.
Dalam upaya untuk mendapatkan persepsi mahasiswa dilakukanlah survei menggunakan kuesioner.
Jumlah minimal responden ditentukan dengan rumus Slovin sebanyak 388.
Pada penelitian ini jumlah data yang digunakan sebanyak 591.
Adanya ketidakseimbangan dalam data, untuk mengatasi hal tersebut dapat dilakukan teknik oversampling menggunakan ADASYN (Adaptive Synthetic Sampling Approac.
Data telah dibersihkan sehingga menghasilkan 347 sentimen positif dan 176 sentimen negatif.
Hasil penelitian ini menunjukkan model terbaik dan word frequency berupa visualisasi kata-kata yang berperan penting pada setiap kategori sentimen untuk digunakan evaluasi kurikulum.
Dari delapan skenario model yang diuji, model yang dilatih dengan algoritma Nayve Bayes menggunakan pembagian 90% data training dan 10% data testing dengan penerapan ADASYN menjadi model terbaik dengan accuracy 89%, precision 100%, recall 85%, dan f1-score 92%.
Kata Kunci: ADASYN.
Analisis Sentimen.
Kurikulum Literasi Digital.
Nayve Bayes.
Oversampling.
AbstractOeImplementation of the Digital Literacy Curriculum at University of Singaperbangsa Karawang (Unsik.
as a concrete step considering the importance of digital literacy.
Curriculum evaluation is an important step in ensuring the effectiveness of learning.
Currently there is no mechanism from Unsika to encourage students to provide feedback on curriculum implementation.
One way is by sentiment analysis, which requires sentiment analysis using the Nayve Bayes algorithm which contributes to providing feedback on curriculum evaluation.
This sentiment analysis process uses the CRISP-DM (Cross Industry Standard Process for Data Minin.
In an effort to obtain student perceptions, a survey was conducted using a questionnaire.
The minimum number of respondents determined using the Slovin formula is In this study the amount of data used was 591.
There is an imbalance in the data, to overcome this an oversampling technique can be used using ADASYN (Adaptive Synthetic Sampling Approac.
The data has been cleaned to produce 347 positive sentiments and 176 negative sentiments.
The results of this research show the best model and word frequency in the form of visualization of words that play an important role in each sentiment category for use in curriculum evaluation.
Of the eight model scenarios tested, the model trained with the Nayve Bayes algorithm using a division of 90% training data and 10% testing data with the application of ADASYN became the best model with an accuracy of 89%, precision 100%, recall 85%, and f1-score 92%.
Keywords: ADASYN.
Sentiment Analysis.
Digital Literacy Curriculum.
Nayve Bayes.
Oversampling.
PENDAHULUAN
Angka literasi digital di Indonesia berada di level rendah.
Berdasarkan laporan dari Institute for Management Development (IMD) dalam World Digital Competitiveness Ranking 2022, ranking Indonesia di urutan 51 dari 63 negara .
Hal tersebut menunjukkan bahwa sumber daya manusia terkait literasi digital perlu ditingkatkan.
Literasi digital adalah gaya kecakapan untuk memperoleh, mencerna, dan memanfaatkan informasi digital dari berbagai sumber .
Literasi digital itu semestinya tidak hanya kemampuan untuk menggunakan berbagai sumber digital, namun juga gaya berpikir yang berasal dari literasi komputer dan informasi .
Pendidikan literasi digital perlu diupayakan oleh seluruh lapisan pemegang kepentingan.
Dalam jagat pendidikan, khususnya https://doi.
org/10.
33998/processor.
Submitted: 21 Maret 2024.
Reviewed: 16 April 2024.
Accepted.
22 April 2024.
Published: 30 April 2024 pendidikan tinggi, memiliki peran pada desain pembelajaran untuk memasukkan kurikulum literasi digital ke dalam struktur pendidikan.
Salah satu perguruan tinggi yang sudah mengakui pentingnya literasi digital yaitu Universitas Singaperbangsa Karawang (Unsik.
Langkah konkrit telah diambil melalui penetapan Mata Kuliah Wajib Kurikulum (MKWK) berfokus pada literasi digital sesuai dengan Keputusan Rektor Unsika Nomor 189/UN64/KPT/2022.
MKWK meliputi mata kuliah Pengantar Literasi Digital.
Artificial Intelligence (A) dan Data Analytics (D).
Blockchain (B) dan Cloud Computing (C), serta Final Proyek Literasi Digital.
Setiap mata kuliah dalam kurikulum literasi digital memiliki bobot SKS (Standar Kredit Semeste.
yang berbeda-beda.
Mata kuliah Pengantar Literasi Digital .
SKS).
Artificial Intelligence dan Data Analytics .
SKS).
Blockchain dan Cloud Computing .
SKS), dan Final Proyek Literasi Digital .
SKS).
Kurikulum mulai berjalan pada semester gasal Tahun Akademik 2022/2023.
Mata kuliah dalam kurikulum wajib diambil oleh mahasiswa Program Studi Sarjana kecuali mahasiswa Program Studi Sarjana Informatika dan Sarjana Sistem Informasi.
Kewajiban ini mencerminkan komitmen Unsika untuk memberikan bekal literasi digital kepada semua mahasiswa, pengecualian untuk prodi Informatika dan Sistem Informasi didasarkan bahwa mahasiswa dari prodi tersebut telah memiliki dasar pengetahuan dalam bidang teknologi.
Kelebihan dan kekurangan yang dimiliki kurikulum tersebut menyebabkan adanya berbagai persepsi mahasiswa dan saat ini belum ada mekanisme atau inisiatif yang dirancang oleh pihak Unsika untuk mendorong mahasiswa memberikan feedback terhadap implementasi kurikulum.
Evaluasi kurikulum sangat penting untuk pengembangan, implementasi, dan pemeliharaan kurikulum .
Oleh karena itu, diperlukan analisis sentimen yang akan berkontribusi dalam memberikan feedback terhadap evaluasi kurikulum literasi digital di Unsika dan membuat mahasiswa lebih terbantu apabila kurikulum ini menjadi lebih baik.
Analisis sentimen adalah penelitian komputasional pandangan tentang luapan perasaan yang diekspresikan dalam bentuk teks .
Sentimen terhadap kurikulum literasi digital ini penting untuk dilakukan agar mahasiswa yang telah merasakan pembelajaran kurikulum tersebut dapat memberikan komentarnya baik itu positif atau negatif, kelebihan ataupun kekurangan.
Analisis sentimen atau penambangan opini adalah gabungan dari data mining dan text mining, sebuah metode untuk menganalisis persepsi, evaluasi, perasaan, dan emosi sesorang terhadap suatu topik, produk, layanan, organisasi, individu, atau kegiatan tertentu, baik itu dalam percakapan atau tulisan .
Text mining adalah metode penambangan data dengan menggunakan data teks.
Perbedaan utama antara data mining dan pengelolaan menggunakan text mining adalah jenis data yang mewakili objek pekerjaannya .
Keduanya berbeda, data mining berfokus pada data yang terstruktur, sedangkan text mining melibatkan fitur-fitur yang khusus dan cenderung tidak terstruktur, yang memerlukan tahapan preprocessing pada data teks .
Nayve Bayes adalah algoritma yang umum digunakan dalam algoritma klasifikasi data mining .
Terdapat penelitian sebelumnya terkait analisis sentimen menggunakan naive bayes yang dilakukan oleh beberapa peneliti seperti.
AuPerbandingan Metode K-NN.
Nayve Bayes.
Decision Tree untuk Analisis Sentimen Tweet Twitter Terkait Opini Terhadap PT PAL IndonesiaAy .
Hasil akurasi metode K-NN yaitu 83,38%, metode Naive Bayes yaitu 84,08%, metode Decision Tree yaitu 81,90%.
Penelitian lain dengan judul AuAnalisis Sentimen Terhadap Pembelajaran Dosen Berdasarkan Kritik Mahasiswa Menggunakan Metode Nayve BayesAy .
Dengan menerapkan metode Nayve Bayes pada uji coba dengan pembagian data 60:40, diperoleh tingkat akurasi sebesar 83,92%.
Pada pembagian data 70:30, tingkat akurasi mencapai 83,26%, sementara pada pembagian data 80:20, akurasi mencapai 81,96%.
Hasil menunjukkan terdapat 2484 sentimen positif, 152 sentimen negatif dan 267 sentimen netral.
Penelitian lain dengan judul AuAnalisis Sentimen Mahasiswa Terkait Pembelajaran Tatap Muka Menggunakan Metode Nayve Bayes ClassifierAy, yang melakukan analisis sentimen terkait pembelajaran tatap muka dengan menggunakan kuesioner sebagai sumber datanya dan menggunakan algoritma Nayve Bayes Classifier untuk klasifikasi data yang berhasil mendapatkan akurasi dengan rata-rata sebesar 84% .
Penelitian lain dengan judul AuAnalisis Sentimen Terhadap Program Kampus Merdeka Menggunakan Algoritma Nayve Bayes Classifier di TwitterAy.
Penelitian ini menggunakan word cloud dengan kata terbanyak untuk menunjukkan hasilnya.
Berdasarkan hasil penelitian, sistem dapat menglasifikasikan sentimen positif sebanyak 272 persepsi dan sentimen negatif sebanyak 229 persepsi.
Accuracy rata-rata adalah 60%, precision 64%, recall 58%, dan f1-score 58% .
Penelitian lain dengan judul AuPembobotan TF-IDF Menggunakan Nayve Bayes Pada Sentimen Masyarakat Mengenai Isu Kenaikan BIPIHAy.
Data yang digunakan berasal dari media sosial Twitter.
Data dikategorikan menjadi persepsi pro dan kontra, lalu diolah menggunakan python dan jupyter sebagai teks editor.
Algoritma Multinomial Naive Bayes (MNB) digunakan untuk mengklasifikasikan teks dan melakukan pembobotan kata dengan TF-IDF.
Hasil pengujian menunjukkan nilai akurasi sebesar 89% dan ROC 91% .
Seringkali, data yang tidak seimbang ditemukan dalam dataset atau sumber data, pada kasus seperti itu perlu menggunakan opsi data balancing.
Dengan mengatasi ketidakseimbangan kelas dalam data, data https://doi.
org/10.
33998/processor.
Submitted: 21 Maret 2024.
Reviewed: 16 April 2024.
Accepted.
22 April 2024.
Published: 30 April 2024 balancing mempunyai dua opsi, undersampling dan oversampling, terkadang dapat menggunakan kombinasi keduanya .
Studi tentang penanganan data tidak seimbang telah dilakukan pada penelitian dengan judul AoPenanganan Imbalanced Dataset untuk Klasifikasi Komentar Program Kampus Merdeka Pada Aplikasi TwitterAo.
Pada penelitian tersebut, telah menggunakan algoritma klasifikasi SVM (Support Vector Machin.
dan menggunakan beberapa teknik data balancing yaitu undersampling, oversampling, dan random combination Teknik oversampling menggunakan SMOTE (Synthetic Minority Over-sampling Techniqu.
dan ADASYN (Adaptive Synthetic Sampling Approac.
Teknik data balancing terbaik ditunjukkan oleh oversampling yaitu ADASYN yang berhasil meningkatkan akurasi hingga 0,903 dan f1-score 0,9 .
Berdasarkan uraian terkait penelitian sejenis yang telah dijelaskan sebelumnya, maka penelitian ini akan fokus pada mengolah persepsi mahasiswa terhadap Kurikulum Literasi Digital di Unsika menggunakan algoritma Nayve Bayes.
Dalam upaya untuk mendapatkan persepsi para mahasiswa dilakukanlah survei dengan menggunakan kuesioner google form.
Kategori yang digunakan pada data merupakan kategori positif dan Salah satu teknik data balancing yang akan digunakan adalah oversampling dengan menggunakan ADASYN.
Terdapat empat skenario pembagian data, yakni 60:40, 70:30, 80:20, dan 90:10.
Masing-masing skenario pembagian data akan diterapkan pada model sebelum penerapan ADASYN dan setelah penerapan ADASYN, sehingga ada delapan model yang akan diuji dan diperoleh satu model terbaik.
Hasil analisis sentimen akan divisualisasikan dengan word frequency yang mewakili frekuensi kemunculan dari setiap kata dalam korpus teks dengan menggunakan pendekatan TF-IDF (Term Frequency-Inverse Document Frequenc.
Penelitian ini bertujuan untuk menganalisis feedback yang diberikan oleh mahasiswa secara lebih sistematis dan mendalam, serta mengetahui performa metode algoritma dari model yang diuji dalam mengklasifikasi komentar mahasiswa yang positif dan negatif, dengan harapan dapat memberikan masukan bagi pengembangan kurikulum yang lebih sesuai dengan kebutuhan dan harapan mahasiswa.
METODOLOGI PENELITIAN
Metodologi penelitian yang akan digunakan pada penelitian ini dapat dilihat pada Gambar 1 dalah CRISP-DM (Cross Industry Standard Process for Data Minin.
Tahapan yang ditempuh yaitu Business Understanding.
Data Understanding.
Data Preparation.
Modeling.
Evaluation, dan Deployment.
Gambar 1.
Metodologi Penelitian https://doi.
org/10.
33998/processor.
Submitted: 21 Maret 2024.
Reviewed: 16 April 2024.
Accepted.
22 April 2024.
Published: 30 April 2024 1 Tahapan Penelitian Berdasarkan proses CRISP-DM (Cross Industry Standard Process for Data Minin.
yang telah dipaparkan dalam metodologi penelitian, dapat dibuat tahapan penelitian pada Gambar 2 dengan tahapan yaitu:
Gambar 2.
Tahapan Penelitian 2 Business Understanding Dalam tahap ini, fokus utama adalah memahami tujuan penelitian dan kebutuhan informasi yang mendasari analisis sentimen terhadap kurikulum literasi digital di Unsika.
Perlu diidentifikasi alasan utama di balik pelaksanaan analisis sentimen.
Penting untuk melakukan studi literatur dan pengumpulan informasi terkait guna memperdalam pemahaman terhadap konteks.
Pemahaman yang lebih mendalam untuk memastikan bahwa analisis sentimen yang dilakukan relevan dan memberikan kontribusi yang berarti terhadap implementasi kurikulum literasi digital di Unsika.
3 Data Understanding Tahap kedua melibatkan sumber data yang akan digunakan untuk analisis sentimen.
Dalam hal ini, data dikumpulkan berasal dari kuesioner yang diberikan kepada mahasiswa Unsika angkatan 2021-2023 program sarjana yang telah mendapatkan pembelajaran kurikulum literasi digital.
Sampling dapat digunakan sebagai representasi populasi dengan tingkat toleransi Untuk menentukan minimal jumlah responden atau sampel menggunakan rumus Slovin.
https://doi.
org/10.
33998/processor.
Submitted: 21 Maret 2024.
Reviewed: 16 April 2024.
Accepted.
22 April 2024.
Published: 30 April 2024 Setelah data terkumpul kemudian data tersebut dipahami setiap atributnya dan dipilih atribut apa saja yang akan digunakan untuk proses klasifikasi.
Struktur dan karakteristik data dieksplorasi, termasuk bagian komentar 4 Data Preparation Langkah berikutnya adalah mempersiapkan data dengan membersihkan data sebelum menggunakan algoritma Nayve Bayes.
Ini melibatkan penanganan hasil analisis awal data.
Pelabelan data secara manual juga dilakukan pada tahap ini.
Text preprocessing dilakukan setelah pelabelan data selesai.
Berikut adalah langkah-langkah dalam proses text preprocessing .
Cleaning Tahap ini melibatkan penghilangan gangguan atau noise dalam teks seperti simbol, tanda baca, tautan, dan lain-lain.
Ada contoh beberapa hal yang tidak diperlukan dan harus dibersihkan seperti berikut: @!?, dan hal lain yang bukan kata.
Case Folding Case folding berfungsi untuk memastikan bahwa penggunaan huruf kapital digunakan secara sama rata.
Misalnya, dapat mengubah data teks tulisan "LiTEraSi DIGital" dengan mengubah semua huruf menjadi huruf kecil .
Auliterasi digitalAy.
Tokenizing Tokenizing memungkinkan untuk membedakan pemisah kata.
Misalnya, tulisan Auliterasi digitalAy dipisah per kata menjadi AuliterasiAy.
AudigitalAy.
Normalization Pada tahap ini menormalkan teks dengan menghilangkan variasi yang tidak diperlukan, seperti pengulangan karakter dan singkatan pada kata.
Misalnya.
AubgtAy seharusnya AubangetAy.
AuhoreAy seharusnya AuhoreAy.
Filtering Filtering adalah proses setelah normalization, yang mengambil kata-kata penting dari token yang dihasilkan.
Contoh stopword seperti AusayaAy.
AuyangAy.
AudiAy.
AukeAy.
AuiniAy.
AuituAy, dan lainnya kata umum yang sering muncul dan tidak memiliki arti.
Stemming Tahap ini mengubah kata dalam teks menjadi bentuk dasarnya sesuai dengan aturan bahasa yang benar.
Misalnya, mengubah kata-kata menjadi kata dasar seperti AubelajarAy menjadi AuajarAy.
Teknik percentage split diterapkan untuk pembagian dataset.
Berikut terdapat empat skenario yang digunakan dapat dilihat pada Tabel 1.
Tabel 1.
Skenario Pembagian Data
Skenario
60:40
70:30
80:20
90:10
Data Latih (%) Data Uji (%) Implementasi ekstraksi fitur TF-IDF dilakukan setelah pembagian data menjadi set pelatihan dan set pengujian.
Data yang sudah melalui ekstraksi fitur, kemudian dilakukan teknik oversampling menggunakan ADASYN.
5 Modeling Tahap ini menjelaskan pemilihan dan implementasi model.
Dalam konteks penelitian ini, algoritma yang dipilih adalah algoritma Nayve Bayes untuk analisis sentimen.
Nayve Bayes merupakan salah satu algoritma klasifikasi, dimana memerlukan data latih berlabel sentimen positif dan negatif.
https://doi.
org/10.
33998/processor.
Submitted: 21 Maret 2024.
Reviewed: 16 April 2024.
Accepted.
22 April 2024.
Published: 30 April 2024 6 Evaluation Tahap evaluasi melibatkan penggunaan confusion matrix sebagai metrik evaluasi utama.
Matriks ini memberikan gambaran lebih detail tentang performa model, termasuk accuracy, precision, recall, dan f1-score.
Penelitian membandingkan hasil metrik evaluasi dari beberapa skenario model yang sudah ditentukan.
Pada tahap ini juga diputuskan apakah hasil text mining dapat digunakan untuk mencapai tujuan penelitian.
7 Deployment Pada tahap terakhir, fokus utama diberikan pada penyusunan dokumentasi mengenai langkah-langkah dari proses text mining.
Word frequency berupa visualisasi kata-kata yang berperan penting untuk digunakan evaluasi Pengetahuan berupa sentimen persepsi mahasiswa yang berhasil diketahui dari proses text mining sehingga dapat digunakan untuk mengevaluasi Kurikulum Literasi Digital di Unsika.
HASIL DAN PEMBAHASAN
Hasil penelitian yang telah dilakukan adalah berupa proses melakukan analisis sentimen dengan mengolah persepsi mahasiswa terhadap Kurikulum Literasi Digital di Unsika menggunakan algoritma Nayve Bayes dengan ADASYN.
Kategori yang digunakan pada data merupakan kategori positif dan negatif.
Data yang digunakan dalam penelitian ini dalam bentuk teks komentar mahasiswa Unsika.
Pengumpulan data melalui penyebaran kuesioner dalam rentang waktu November 2023 sampai dengan Januari 2024.
Jumlah minimal responden ditentukan melalui rumus Slovin sebesar 388.
Pada penelitian ini jumlah data yang digunakan sebesar 591.
Hasil analisis sentimen divisualisasikan dengan word frequency.
1 Business Understanding Dalam tahap ini telah memahami masalah penelitian yang berdasarkan pada latar belakang dan tujuan penelitian.
Adapun permasalahan pada Kurikulum Literasi Digital adalah kelebihan dan kekurangan yang dimiliki kurikulum tersebut yang diimplementasikan di berbagai fakultas Unsika sehingga menyebabkan adanya berbagai persepsi mahasiswa dan kurangnya mekanisme yang melibatkan mahasiswa untuk memberikan feedback sebagai bahan evaluasi terhadap implementasi kurikulum.
Evaluasi kurikulum merupakan langkah penting dalam memastikan keefektifan pembelajaran.
Akan tetapi, saat ini belum ada mekanisme formal atau inisiatif yang dirancang oleh pihak Unsika untuk mendorong mahasiswa memberikan feedback terhadap implementasi kurikulum.
Kurangnya evaluasi menyebabkan sulitnya mengetahui sejauh mana kurikulum ini berhasil mencapai tujuan pembelajaran yang ditetapkan dan memenuhi kebutuhan mahasiswa.
Oleh karena itu, melalui pendekatan data mining, salah satunya adalah analisis sentimen menggunakan algoritma Nayve Bayes, penelitian ini bertujuan untuk menganalisis feedback yang diberikan oleh mahasiswa secara lebih sistematis dan mendalam, serta mengetahui performa metode algoritma dari model yang diuji dalam mengklasifikasi komentar mahasiswa yang positif dan negatif, dengan harapan dapat memberikan masukan bagi pengembangan kurikulum yang lebih sesuai dengan kebutuhan dan harapan mahasiswa.
2 Data Understanding Selanjutnya, dalam tahap data understanding, peneliti melakukan pemahaman mendalam terhadap data teks komentar mahasiswa.
Tahapan data understanding ini terdiri dari beberapa langkah, yakni data collection, data description, data exploration, dan verify data quality.
1 Data Collection Dalam upaya untuk menciptakan mekanisme yang memfasilitasi pengumpulan feedback secara terstruktur dari mahasiswa, dapat dilakukan dengan survei menggunakan kuesioner yang dibuat melalui google form.
Kuesioner disebarkan kepada mahasiswa Unsika angkatan 2021 Ae 2023 dari berbagai fakultas kecuali Fakultas Ilmu Komputer dan berbagai program studi sarjana yang telah merasakan pembelajaran Kurikulum Literasi Digital.
Rentang waktu pengumpulan data dari November 2023 hingga Januari 2024 telah menghasilkan jumlah responden yang melebihi jumlah minimal yang diperlukan menurut rumus Slovin.
https://doi.
org/10.
33998/processor.
Submitted: 21 Maret 2024.
Reviewed: 16 April 2024.
Accepted.
22 April 2024.
Published: 30 April 2024 Dalam penelitian ini, nilai .
umlah total populas.
mahasiswa Unsika angkatan 2021 Ae 2023 adalah 12790 dan .
argin of erro.
yang dapat diterima adalah 5% .
, maka jumlah minimal sampel adalah 388.
Data yang telah dikumpulkan melebihi jumlah minimal sebanyak 591.
2 Data Description Setelah data berhasil terkumpul, langkah selanjutnya adalah memulai data description.
Langkah ini bertujuan untuk memahami secara mendalam tentang deskripsi 5 .
variabel yang terdapat dalam dataset.
Deskripsi variabel dapat dilihat pada Tabel 2.
Tabel 2.
Deskripsi Variabel Data Variabel Timestamp Angkatan Fakultas Program Studi Komentar Tipe Data Numerik Numerik Kategorik Kategorik Kategorik Deskripsi Representasi waktu di mana tanggapan dari mahasiswa diterima melalui google form Tahun masuknya mahasiswa ke Unsika, tahun 2021, 2022, dan 2023 Nama fakultas di Unsika Nama program studi sarjana di Unsika Teks yang merupakan tanggapan langsung dari mahasiswa terkait pengalaman belajar dalam Kurikulum Literasi Digital di Unsika 3 Data Exploration Dalam konteks analisis sentimen, langkah ini bertujuan untuk memahami karakteristik data teks yang akan dianalisis, serta untuk mengeksplorasi pola-pola atau tren yang ada dalam dataset.
Jumlah mahasiswa angkatan 2022 memberikan komentar terbanyak sebesar 352.
Jumlah mahasiswa Fakultas Teknik memiliki jumlah komentar terbanyak .
Jumlah mahasiswa S1 Teknik Mesin memiliki jumlah komentar terbanyak .
4 Verify Data Quality Langkah terakhir dalam tahap data understanding sangat penting dalam proses analisis data.
Tujuan utamanya adalah untuk memastikan bahwa data yang digunakan dalam penelitian memiliki kualitas yang baik dan dapat Proses ini dimulai dengan identifikasi berbagai masalah yang bisa terjadi dalam dataset seperti nilai yang hilang .
issing valu.
, duplikat, kesalahan entri, atau ketidaksesuaian format data.
Pertama, dilakukan pengecekan terhadap adanya missing value menggunakan fungsi isna().
sum(), hasilnya menunjukkan bahwa tidak ada missing value yang terdapat dalam dataset.
Kedua, dilakukan pengecekan terhadap keberadaan data duplikat.
Dengan menggunakan fungsi duplicated().
sum(), tidak ditemukan adanya duplikat dalam dataset.
Hal ini menunjukkan bahwa setiap entri dalam dataset unik dan tidak ada data yang sama persis yang muncul lebih dari satu kali.
Ketiga, dilakukan pemeriksaan terhadap dataset untuk memastikan keberadaan komentar yang sesuai dengan kriteria.
Analisis sentimen memerlukan data komentar dalam bentuk teks kata Ae kata yang mencerminkan ekspresi perasan mahasiswa.
Oleh karena itu, perlu dicek apakah dataset sudah memenuhi rule tersebut.
Data telah dicek secara manual, pada kolom AoKomentarAo ada yang hanya berisi emoji ( ), ( ), dan tanda baca titik ), strip (-), underscore (_).
Kemudian, dicek menggunakan program python untuk menemukan letak indeksnya.
Berdasarkan pengecekan yang menunjukkan letak indeks dengan data yang hanya berisi titik (.
) di AoKomentarAo adalah .
, 114, 218, .
, letak indeks dengan data yang hanya berisi strip (-) adalah .
, 33, 43, 164, 200, 228, 229, 233, 248, 277, 301, 375, 390, 401, 534, 540, 548, .
, letak indeks dengan data yang hanya berisi underscore (_) adalah .
, letak indeks dengan data yang hanya berisi emoji ( ) adalah .
, dan letak indeks dengan data yang hanya berisi emoji ( ) adalah .
Total rows data yang tidak memenuhi rule adalah 25 dapat dilihat pada Tabel 3.
Data tersebut tidak menunjukkan ekspresi perasaan mahasiswa dalam bentuk teks.
Maka dari itu, data yang tidak relevan akan dihapus pada langkah awal data preparation.
Tabel 3.
Hasil Cek Ketidaksesuaian Rule Data Komentar Jumlah Indeks .
, 114, 218, .
, 33, 43, 164, 200, 228, 229, 233, 248, 277, 301, 375, 390, 401, 534, 540, 548, .
3 Data Preparation https://doi.
org/10.
33998/processor.
Submitted: 21 Maret 2024.
Reviewed: 16 April 2024.
Accepted.
22 April 2024.
Published: 30 April 2024 Pada tahap ini, data yang telah dikumpulkan dan dipahami karakteristiknya perlu dipreparasi untuk analisis lebih Langkah Ae langkah dalam persiapan data termasuk data cleansing, pelabelan dan validasi data, data selection, text preprocessing .
leaning, case folding, tokenizing, normalization, filtering, stemmin.
, label encoding, data splitting.
TF-IDF, dan ADASYN.
1 Data Cleansing Langkah awal dalam tahap persiapan data yang bertujuan untuk menghapus atau memperbaiki data yang tidak sesuai dengan rule yang telah diidentifikasi pada tahap Data Understanding.
Penanganan data menggunakan fungsi drop() yang menghapus 25 data tidak relevan sesuai Tabel 3, sehingga ketika dicek menggunakan fungsi shape diketahui bahwa ukuran data .
, .
artinya jumlah baris data yang awalnya 591 berkurang menjadi 566 dan jumlah kolom data ada 5.
2 Pelabelan dan Validasi Data Model yang dibuat untuk memahami komentar mahasiswa memerlukan kategori atau label.
Kategori ini membantu model mengenali apakah komentar mahasiswa bersifat positif atau negatif.
Perlu adanya penambahan variabel yaitu AuLabelAy sehingga jumlah variabel ada 6.
Proses pemberian label dilakukan secara manual dengan mengamati setiap komentar dari hasil tahap sebelumnya.
Kemudian, validasi dilakukan oleh seorang ahli Bahasa Indonesia.
Bapak Dr.
Achmad Suherman.
Pd.
Si.
, yang merupakan dosen mata kuliah Bahasa Indonesia di Unsika.
Hasil dari pelabelan dan validasi data komentar dapat dilihat pada Tabel 4.
Tabel 4.
Hasil Pelabelan dan Validasi Data Label Positif Negatif Netral Jumlah Label Menurut Peneliti Jumlah Label Menurut Validator Data yang digunakan untuk proses selanjutnya adalah data hasil pelabelan dari validator yang menghasilkan data komentar yang memiliki label AuPositifAy sebanyak 365 dan label AuNegatifAy sebanyak 177.
Berikut satu contoh perbedaan pelabelan antara peneliti dengan validator dapat dilihat pada Tabel 5.
Tabel 5.
Contoh Perbedaan Pelabelan Antara Peneliti dan Validator Komentar Secara pembelajaran literasi digital sangat bagus di terapkan di perkembangan teknologi namun, perlu di pertimbangkan lagi apakah praktek dan materi nya sudah bagus jika di terapkan di pembelajaran Jumlah Label Menurut Peneliti Jumlah Label Menurut Validator Positif Netral 3 Data Selection Setelah proses pelabelan dan validasi data, dilakukan data selection untuk memilih data yang relevan dalam analisis sentimen.
Data dengan label AuNetralAy dihapus karena pada penelitian ini label sentimen yang digunakan hanya AuPositifAy dan AuNegatifAy.
Data yang diperoleh dari hasil pelabelan dan validasi data sebanyak 566 baris dan 6 kolom, terdapat 24 data komentar yang memiliki label AuNetralAy, terdapat 4 variabel yang tidak relevan yaitu AuTimestampAy.
AuAngkatanAy.
AuFakultasAy, dan AuProgram StudiAy.
Jadi total data setelah dilakukan proses data selection ini sebanyak 542 data yang dapat dilihat pada Gambar 3.
https://doi.
org/10.
33998/processor.
Submitted: 21 Maret 2024.
Reviewed: 16 April 2024.
Accepted.
22 April 2024.
Published: 30 April 2024 Gambar 3.
Proporsi Data Setelah Data Selection Visualisasi yang ditunjukkan pada Gambar 3 di atas menggambarkan proporsi data yang memiliki sentimen positif dan negatif.
Dari visualisasi tersebut, terlihat bahwa mayoritas data, yaitu 67,34% memiliki sentimen positif dengan jumlah 365.
Hal ini menunjukkan bahwa mayoritas mahasiswa memiliki pandangan yang baik terhadap kurikulum literasi digital.
Di sisi lain, terdapat 32,66% data yang memiliki sentimen negatif dengan jumlah 177.
Hal ini menunjukkan bahwa terdapat minoritas mahasiswa yang memiliki persepsi yang tidak puas.
4 Cleaning Pada tahap ini, karakter yang tidak relevan seperti tanda baca, simbol, dan emoji dihilangkan.
Dampak positif dari proses tersebut dapat menghemat waktu dan sumber daya dalam proses analisis sentimen.
Hal ini penting untuk menangani volume data yang besar dalam waktu singkat.
Program cleaning mengimpor modul AureAy untuk bekerja dengan ekspresi reguler .
egular expressio.
dan fungsi AucleanAy dari pustaka AucleantextAy untuk membersihkan teks.
Tabel 6 merupakan hasil penerapan cleaning.
Tabel 6.
Hasil Cleaning Sebelum Cleaning sangat mengesankan hihi di fh bljr ngoding Sejauh ini masih baguss Setelah Cleaning sangat mengesankan hihi di fh bljr ngoding Sejauh ini masih baguss 5 Case Folding Proses ini mengubah semua huruf menjadi huruf kecil .
Case folding membantu algoritma klasifikasi sentimen untuk lebih mudah membandingkan kata-kata dan meningkatkan konsistensi klasifikasi.
Case folding menggunakan fungsi AucleanAy dari pustaka AucleantextAy.
Tabel 7 merupakan hasil penerapan case folding.
Tabel 7.
Hasil Case Folding Sebelum Case Folding sangat mengesankan hihi di fh bljr ngoding Sejauh ini masih baguss Setelah Case Folding sangat mengesankan hihi di fh bljr ngoding sejauh ini masih baguss 6 Tokenizing Teks dipisahkan menjadi kata-kata individual yang membantu algoritma klasifikasi sentimen untuk memahami makna setiap kata dalam teks.
Program tokenizing mengimpor fungsi Auword_tokenizeAy dari modul Aunltk.
tokenizeAy.
Adapun hasil penerapan tokenizing dapat dilihat di Tabel 8.
Tabel 8.
Hasil Tokenizing Sebelum Tokenizing sangat mengesankan hihi di fh bljr ngoding sejauh ini masih baguss Setelah Tokenizing ['sangat', 'mengesankan', 'hihi', 'di', 'ngoding'] ['sejauh', 'ini', 'masih', 'baguss'] 'fh', 'bljr', https://doi.
org/10.
33998/processor.
Submitted: 21 Maret 2024.
Reviewed: 16 April 2024.
Accepted.
22 April 2024.
Published: 30 April 2024 7 Normalization Salah satu langkah penting yang bertujuan untuk menormalkan teks dengan mendeteksi dan memperbaiki kesalahan ejaan atau tidak baku dalam teks.
Contohnya, [AofhA.
menjadi [AofakultasAo.
AohukumA.
Peneliti meninjau data komentar satu per satu apakah ada kata-kata yang memiliki kesalahan eja, kemudian peneliti membuat kamus normalisasi.
Adapun hasil penerapan normalization dapat dilihat pada Tabel 9.
Tabel 9.
Hasil Normalization Sebelum Normalization ['sangat', 'mengesankan', 'hihi', 'di', 'fh', 'bljr', 'ngoding'] ['sejauh', 'ini', 'masih', 'baguss'] Setelah Normalization ['sangat', 'mengesankan', 'hihi', 'di', 'fakultas', 'hukum', 'belajar', 'pengkodean'] ['sejauh', 'ini', 'masih', 'bagus'] 8 Filtering Kata-kata yang tidak penting seperti kata ganti dan kata hubung dihilangkan.
Filtering membantu algoritma klasifikasi sentimen fokus pada kata-kata yang memiliki makna emosional dari mahasiswa.
Contohnya.
AusangatAy.
AuhihiAy.
AudiAy.
AusejauhAy.
AuiniAy.
AumasihAy.
Program filtering menggunakan modul AustopwordsAy dari Aunltk.
corpusAy.
Daftar stopwords untuk Bahasa Indonesia dari NLTK (Natural Language Toolki.
Adapun hasil penerapan filtering dapat dilihat di Tabel 10.
Tabel 10.
Hasil Filtering Sebelum Filtering ['sangat', 'mengesankan', 'hihi', 'di', 'fakultas', 'hukum', 'belajar', 'pengkodean'] ['sejauh', 'ini', 'masih', 'bagus'] ['mengesankan', 'pengkodean'] ['bagus'] Setelah Filtering 'fakultas', 'hukum', 'belajar', 9 Stemming Pada tahap terakhir dalam text preprocessing ini kata-kata diubah menjadi akar katanya.
Contohnya.
AumengesankanAy menjadi AukesanAy.
AupengkodeanAy menjadi AukodeAy.
Program stemming menggunakan kelas AuStemmerFactoryAy dari modul AuSastrawi.
Stemmer.
FactoryAy.
Adapun hasil penerapan stemming dapat dilihat di Tabel 11.
Tabel 11.
Hasil Stemming Sebelum Stemming ['mengesankan', 'fakultas', 'hukum', 'pengkodean'] ['bagus'] 'belajar'.
Setelah Stemming ['kesan', 'fakultas', 'hukum', 'ajar', 'kode'] ['bagus'] Setelah dilakukan text preprocessing, ternyata ada data yang isinya hanya [] ruang kosong.
Kemudian, dicek menggunakan program python untuk menemukan letak indeksnya.
Total rows data yang kosong hanya berisi [] adalah 19.
Data tersebut perlu dihapus karena akan berpengaruh pada performa model.
penanganan data yang menghapus 19 data kosong ketika dicek menggunakan fungsi shape diketahui bahwa ukuran data .
, .
artinya jumlah baris data yang awalnya 542 berkurang menjadi 523 yang dapat dilihat pada Gambar 4.
Gambar 4.
Proporsi Data Setelah Hapus Data Kosong https://doi.
org/10.
33998/processor.
Submitted: 21 Maret 2024.
Reviewed: 16 April 2024.
Accepted.
22 April 2024.
Published: 30 April 2024 Visualisasi yang ditunjukkan pada Gambar 4 di atas menggambarkan proporsi data sentimen positif dan negatif setelah dilakukan penghapusan data kosong menggunakan python.
Dari visualisasi tersebut, terlihat bahwa mayoritas data 66,35% memiliki sentimen positif dengan jumlah 347.
Di sisi lain, terdapat 33,65% data yang memiliki sentimen negatif dengan jumlah 176.
Label Encoding Langkah lanjutan dalam penelitian ini setelah data melalui proses text preprocessing yaitu label encoding.
Setelah teks dibersihkan dan dinormalkan, label encoding berperan untuk mengubah label sentimen (AuPositifAy.
AuNegatifA.
menjadi representasi numerik.
Label encoding diimplementasikan dengan mengimpor kelas AuLabelEncoderAy dari modul Ausklearn.
preprocessingAy.
Label sentimen AuPositifAy menjadi 1, label sentimen AuNegatifAy menjadi 0.
Data Splitting Tahap ini merupakan langkah penting dalam machine learning untuk membagi data menjadi dua set, data training dan data testing.
Data training digunakan untuk melatih model, sedangkan data testing digunakan untuk menguji kinerja model pada data yang belum pernah dilihat sebelumnya.
Data splitting diimplementasikan menggunakan fungsi Autrain_test_splitAy dari Ausklearn.
model_selectionAy.
Tabel 12 merupakan hasil seluruh skenario data splitting.
Tabel 12.
Hasil Pembagian Data Training dan Data Testing Skenario
60:40
70:30
80:20
90:10
Data Latih (Data Trainin.
Data Uji (Data Testin.
TF-IDF Ekstraksi fitur TF-IDF dilakukan setelah data dibagi menjadi data training dan data testing.
Dengan python.
TFIDF dapat diimplementasikan menggunakan kode python dengan mengimpor kelas AuTfidfVectorizerAy dari modul Ausklearn.
feature_extraction.
textAy.
Adapun cuplikan hasil penerapan TF-IDF dapat dilihat pada Gambar 5.
Gambar 5.
Hasil TF-IDF
ADASYN
Setelah mengekstraksi fitur menggunakan TF-IDF, langkah selanjutnya adalah mengatasi ketidakseimbangan data yang ada dalam dataset.
Salah satu teknik yang efektif untuk menangani ketidakseimbangan data dalam klasifikasi teks adalah oversampling.
Dalam penelitian ini, telah menggunakan ADASYN untuk oversampling data minoritas.
ADASYN diimplementasikan menggunakan kode python dengan mengimpor kelas AuADASYNAy dari modul Auimblearn.
over_samplingAy yang bekerja dengan cara mensintesis data baru yang mirip dengan data minoritas yang sudah ada.
Proses ini dilakukan secara adaptif, di mana data yang lebih sulit diklasifikasikan akan diprioritaskan untuk disintesis data baru.
Hasil penerapan ADASYN menunjukkan jumlah data kelas minoritas AuNegatifAy diperbesar mendekati jumlah data kelas mayoritas AuPositifAy yang dapat dilihat pada Tabel 13.
https://doi.
org/10.
33998/processor.
Submitted: 21 Maret 2024.
Reviewed: 16 April 2024.
Accepted.
22 April 2024.
Published: 30 April 2024 Tabel 13.
Hasil Penerapan ADASYN
Skenario
60:40
70:30
80:20
90:10
Data Latih (Data Trainin.
Positif Negatif Data Uji (Data Testin.
Positif Negatif 4 Modeling Pada tahap modeling, dilakukan pembangunan model klasifikasi sentimen berdasarkan data yang telah melalui tahap preprocessing sebelumnya.
Langkah awal yang dilakukan adalah pembuatan skenario model sebelum diimplentasikan algoritma klasifikasi.
Penelitian ini menggunakan algoritma klasifikasi Nayve Bayes.
Selanjutnya dilakukan pelatihan dalam pembangunan model.
Terakhir, dilakukan pengujian model untuk menilai performa model yang telah dibangun.
Berikut merupakan penjelasan rinci dari tahapan modeling yang dilakukan:
Implementasi Nayve Bayes Proses ini dilakukan dengan cara membuat skenario pemodelan yang akan diimplementasikan algoritma Nayve Bayes.
Pada penelitian ini, implementasi Nayve Bayes yang menggunakan salah satu jenis model Nayve Bayes yaitu AuMultinomialNBAy, sesuai untuk data dengan distribusi multinomial seperti yang terjadi pada data teks.
Pelatihan dan Pengujian Model Model Nayve Bayes yang telah dibentuk kemudian dilatih menggunakan data latih.
Program pelatihan model Nayve Bayes AumnbAy yang dilatih menggunakan metode Aufit()Ay.
Setelah proses pelatihan, dilakukan pengujian model dengan menerapkan pada data uji yang telah dipisahkan.
Pengujian model dapat diimplementasikan menggunakan kode python.
Fungsi Aupredict()Ay dipanggil pada model AumnbAy yang telah dilatih sebelumnya.
Argumen yang diberikan (AuX_test_tfidfA.
adalah matriks fitur yang sudah diproses menggunakan TF-IDF dan merupakan data uji yang belum pernah dilihat sebelumnya.
Hasil dari prediksi akan disimpan dalam variabel Auy_pred_classAy.
Variabel ini berisi prediksi kelas untuk setiap data uji yang diberikan, sesuai dengan urutan data dalam AuX_test_tfidfAy.
Pengujian dilakukan untuk keseluruhan delapan model dengan menggunakan metode confusion matrix.
5 Evaluation Pada tahap evaluasi model, dilakukan pengukuran kinerja model Nayve Bayes yang telah dibangun pada tahap modeling sebelumnya.
Evaluasi bertujuan untuk mengetahui seberapa baik model dapat melakukan klasifikasi sentimen pada data uji.
Beberapa metrik yang digunakan antara lain accuracy, precision, recall, dan f1-score.
Hasil evaluasi model secara keseluruhan dapat dilihat pada Tabel 14 Tabel 14.
Hasil Evaluasi Model
Model
Skenario
60:40 tanpa ADASYN
70:30 tanpa ADASYN
80:20 tanpa ADASYN
90:10 tanpa ADASYN
60:40 dengan ADASYN
70:30 dengan ADASYN
80:20 dengan ADASYN
90:10 dengan ADASYN
Accuracy 0,73 0,74 0,76 0,87 0,79 0,82 0,80 0,89 Precision 0,73 0,73 0,74 0,87 0,88 0,87 0,86 Recall 0,96 0,95 0,97 0,98 0,79 0,84 0,82 0,85 F1-Score
0,83
0,83
0,84
0,92
0,83
0,87
0,87
0,92
Berdasarkan hasil evaluasi di atas, model H .
asio data splitting 90:10 setelah penerapan ADASYN) terpilih sebagai model terbaik untuk klasifikasi sentimen.
Model H memiliki accuracy 89%, precision 100%, recall 85%, dan f1-score 92%.
Pemilihan model H didasarkan pada beberapa pertimbangan.
Model H yang dilatih dengan teknik oversampling ADASYN dan rasio split 90:10 menunjukkan performa terbaik secara Dengan accuracy 89% dan f1-score 92%, model H berhasil mengklasifikasikan sentimen secara akurat dengan mempertimbangkan keseimbangan antara precision dan recall yang sangat baik.
Precision 100% https://doi.
org/10.
33998/processor.
Submitted: 21 Maret 2024.
Reviewed: 16 April 2024.
Accepted.
22 April 2024.
Published: 30 April 2024 pada model H merupakan nilai tertinggi diantara semua model.
Hal ini berarti model sangat akurat dalam memprediksi data positif tanpa ada kesalahan prediksi data negatif sebagai positif.
Meskipun recall sedikit lebih rendah yaitu 85% dibanding model D, namun perbedaannya tidak terlalu signifikan.
Keunggulan precision yang didukung nilai evaluasi lain yang sangat baik menjadikan model H sebagai pilihan terbaik untuk kasus klasifikasi sentimen ini.
Oleh karena itu, hasil evaluasi yang telah diperoleh sesuai dengan tujuan penelitian.
6 Deployment Tahap deployment merupakan tahap akhir dalam metodologi CRISP-DM.
Pada tahap ini, fokus utama adalah penyusunan dokumentasi proses text mining dan penerapan hasil analisis ke dalam visualisasi word frequency.
Dalam word frequency, terdapat jumlah kemunculan yang mewakili frekuensi kemunculan dari setiap kata dalam korpus teks dengan menggunakan pendekatan TF-IDF.
Word frequency positif dibentuk dari kata-kata yang sering muncul pada data sentimen positif.
Demikian pula word frequency negatif dibentuk berdasarkan kata-kata yang sering muncul pada data sentimen negatif.
Hasil visualisasi word frequency dapat dilihat pada Gambar 6 dan Gambar 7.
Gambar 6.
Word Frequency Positif Berdasarkan hasil visualisasi word frequency komentar sentimen positif pada Gambar 6, kata-kata seperti AupuasAy.
AubagusAy.
AuseruAy.
AumanfaatAy.
AumataAy.
AukuliahAy, dan AukurikulumAy mencerminkan apresiasi mahasiswa terhadap kurikulum dan materi yang diberikan.
Kata AupahamAy dan AumudahAy menunjukkan bahwa sebagian mahasiswa merasa materi mudah dipahami.
Kata-kata AudigitalAy.
AuliterasiAy, dan AuteknologiAy mencerminkan mahasiswa memiliki ketertarikan pada topik-topik terkait dunia teknologi dan literasi digital.
Kata-kata seperti AusenangAy.
AutarikAy, dan AualamAy mengindikasikan pengalaman belajar yang menyenangkan dan menarik bagi Terakhir, kata AutambahAy.
AumogaAy mencerminkan harapan mahasiswa agar kurikulum ini dapat terus dikembangkan dan ditingkatkan di masa mendatang.
Gambar 7.
Word Frequency Negatif https://doi.
org/10.
33998/processor.
Submitted: 21 Maret 2024.
Reviewed: 16 April 2024.
Accepted.
22 April 2024.
Published: 30 April 2024 Di sisi lain, hasil visualisasi word frequency komentar sentimen negatif pada Gambar 7, kata-kata seperti AupahamAy.
AumateriAy.
AusulitAy, dan AuertiAy menunjukkan adanya masalah dalam memahami materi yang diberikan.
Kata AuajarAy dan AudosenAy mengindikasikan adanya masalah kualitas pengajaran dan kinerja dosen.
Kata-kata AupraktikAy.
AuonlineAy, dan AukendalaAy mencerminkan kendala yang dihadapi mahasiswa dalam melakukan praktik atau mengikuti pembelajaran secara online.
Kata AufasilitasAy.
AukurangAy menunjukkan kurangnya fasilitas pendukung yang kurang memadai.
Kata AureferensiAy mengindikasikan kekurangan dalam penyediaan sumber belajar atau referensi yang memadai bagi mahasiswa.
KESIMPULAN
Hasil analisis sentimen dari mahasiswa terhadap Kurikulum Literasi Digital di Unsika yang menggunakan 591 data komentar, kemudian data tersebut dibersihkan sehingga menghasilkan 523 data komentar dengan masingmasing kategori sentimen yakni 347 komentar positif dan 176 komentar negatif.
Hasil visualisasi word frequency pada setiap kategori sentimen memberikan gambaran kata-kata kunci yang mencerminkan aspek-aspek yang mendapatkan apresiasi maupun kritik dari mahasiswa.
Berdasarkan hasil visualisasi word frequency pada komentar positif, menunjukkan bahwa mahasiswa memberikan pandangan yang positif dengan mengapresiasi manfaat, kegunaan, dan pengalaman belajar yang diberikan oleh kurikulum tersebut.
Dalam visualisasi word frequency pada komentar negatif, menunjukkan bahwa terdapat beberapa masalah atau ketidakpuasan yang diungkapkan mahasiswa.
Diperlukan peningkatan dalam beberapa hal, meliputi, kesulitan dalam pemahaman materi, fasilitas yang kurang memadai, ketidakpuasan terhadap konten kurikulum, praktik atau pembelajaran secara online, kurangnya dukungan atau bantuan dari dosen, atau ketidaksesuaian gaya pengajaran dengan kebutuhan mahasiswa, sehingga hal ini dapat menjadi masukan bagi pihak Unsika untuk melakukan perbaikan dalam implementasi kurikulum literasi digital.
Dari delapan skenario model yang diuji, model yang dilatih dengan algoritma Nayve Bayes menggunakan pembagian data training 90% dan data testing 10% setelah penerapan ADASYN menjadi model terbaik dengan accuracy 89%, precision 100%, recall 85%, dan f1-score 92%.
Penerapan ADASYN terbukti mampu memengaruhi performa model.
Penggunaan skenario data splitting juga memengaruhi hasil performa.
Terdapat beberapa faktor lain, seperti tahapan preprocessing data teks yang juga memainkan peran penting.
Penelitian ini hanya menggunakan satu algoritma.
Nayve Bayes, tetapi ada banyak algoritma lain yang mungkin lebih efektif.
Selain itu, tidak ada teknik seleksi fitur .
eature selectio.
yang digunakan untuk menentukan fitur-fitur yang paling relevan atau informatif dalam analisis sentimen.
Penggunaan teknik ini dapat meningkatkan akurasi dan interpretasi hasil analisis sentimen, yang merupakan perbaikan penting untuk penelitian selanjutnya.
UCAPAN TERIMAKASIH
Terima kasih disampaikan kepada pihak-pihak yang telah mendukung terlaksananya penelitian ini.
REFERENCES