BULLETIN OF COMPUTER SCIENCE RESEARCH
ISSN 2774-3659 (Media Onlin.
Vol 5.
No 5.
August 2025 | Hal 876-885 https://hostjournals.
com/bulletincsr DOI: 10.
47065/bulletincsr.
Penggunaan Metode Nayve Bayes untuk Klasifikasi Topik Tweet Bidang dan Non-Bidang Rektorat Telkom University pada Akun Telyufess Mukhammad Hafiz Bima Ibrahim*.
Anisa Dzulkarnain.
Alqis Rausanfita Program Studi Sistem Informasi.
Universitas Telkom.
Surabaya.
Indonesia Email: 1,*hafizbima@student.
id, 2anisadzulkarnain@telkomuniversity.
id, 3alqisfita@telkomuniversity.
Email Penulis Korespondensi: hafizbima@student.
AbstrakOeKeluhan mahasiswa Telkom University yang disampaikan melalui akun Telyufess di media sosial X belum dimanfaatkan secara optimal sebagai bahan evaluasi layanan kampus.
Penelitian ini bertujuan untuk mengklasifikasikan tweet pada akun Telyufess ke dalam dua kategori, yaitu bidang .
erkaitan dengan unit-unit resmi rektorat seperti akademik, keuangan, dan layanan kampu.
dan non-bidang .
eluhan umum yang tidak terhubung langsung dengan unit tertent.
Permasalahan utama yang diangkat adalah pentingnya pemetaan keluhan secara otomatis untuk mendukung evaluasi layanan kampus.
Metode klasifikasi yang digunakan adalah Nayve Bayes, dengan tahapan pelabelan manual oleh peneliti dan asisten annotator .
isertai validasi antar-rate.
, praproses teks .
ormalisasi menggunakan kamus baku dan library Sastrawi, penghapusan karakter khusus, penggunaan stop word berbasis Bahasa Indonesia yang dilengkapi kata unik Autelyu!A.
, tokenisasi, stemming, pembobotan TF-IDF, serta pembagian data ke dalam rasio 65:35, 70:30, 80:20, dan 90:10.
Sebanyak 1.
090 tweet dikumpulkan dalam rentang 1 Januari 2023 hingga 1 Januari 2025 menggunakan Tweet Harvest API, dengan kriteria tweet berupa keluhan, opini, dan saran .
etweet tidak disertaka.
Hasil eksperimen menunjukkan bahwa model memperoleh akurasi tertinggi sebesar 87,27% pada rasio 90:10, diikuti oleh 81,74% .
, 78,35% .
, dan 76,96% .
Meskipun terdapat indikasi overfitting pada data pelatihan .
kurasi >99%), metode Nayve Bayes terbukti efektif dalam klasifikasi otomatis tweet, serta memberikan kontribusi terhadap pemanfaatan media sosial sebagai sumber data evaluasi layanan Kata Kunci: Klasifikasi.
Nayve Bayes.
Bidang Rektorat.
Telyufess AbstractOeStudent complaints submitted through the Telyufess account on the social media platform X have not been optimally utilized as input for evaluating campus services at Telkom University.
This study aims to classify tweets from the Telyufess account into two categories: domain-related .
inked to official university units such as academics, finance, and campus service.
and non-domain .
eneral complaints unrelated to specific unit.
The main issue addressed is the need for an automated mapping system of student complaints to support campus service evaluations.
The classification method used is Nayve Bayes, involving manual labeling by the researcher and assistant annotators .
ith inter-rater validatio.
, text preprocessing .
ormalization using a standard dictionary and the Sastrawi library, removal of special characters, stop word filtering based on Indonesian language lists augmented with the unique term Autelyu!A.
, tokenization, stemming.
TF-IDF weighting, and dataset splitting in ratios of 65:35, 70:30, 80:20, and 90:10.
A total of 1,090 tweets were collected between January 1, 2023 and January 1, 2025 using the Tweet Harvest API, based on criteria including complaints, opinions, and suggestions .
etweets were exclude.
The highest accuracy was achieved at 87.
27% with a 90:10 split, followed by 81.
74% .
, 78.
35% .
, and 76.
96% .
Although the model showed signs of overfitting on training data .
ccuracy >99%), the results demonstrate that Nayve Bayes is effective for automated tweet classification and contributes to the use of social media as a data source for evaluating campus services.
Keywords: Classification.
Nayve Bayes.
Rectorate Department.
Telyufess
PENDAHULUAN
Teknologi Informasi (TI) saat ini menjadi aspek fundamental dalam mendukung operasional berbagai organisasi bisnis maupun institusi berskala besar.
Banyak entitas melihat TI sebagai sarana yang mendukung implementasi strategi demi tercapainya visi, misi, dan tujuan yang telah dirancang .
Di lingkungan Telkom University, berbagai sistem telah diimplementasikan untuk menunjang kegiatan perkuliahan, baik melalui pengembangan sistem baru maupun sebagai pengganti sistem yang telah ada sebelumnya.
Namun demikian, meskipun pemanfaatan sistem telah cukup luas, perlu dilakukan evaluasi untuk menilai sejauh mana sistem-sistem tersebut mampu memenuhi kebutuhan mahasiswa secara optimal .
Meskipun Telkom University telah mengembangkan berbagai sistem, masih terdapat beberapa kelemahan yang dirasakan oleh komunitas akademik.
Salah satu keluhan yang paling sering muncul adalah terkait gangguan atau kesalahan pada server.
Keluhan-keluhan ini umumnya disampaikan oleh civitas akademika melalui media sosial X, terutama melalui akun bot bernama Telyufess yang berperan sebagai kanal aspirasi mahasiswa dalam menyampaikan opini, masukan, maupun kritik terhadap berbagai aspek di lingkungan kampus.
Penelitian ini bertujuan untuk mengelompokkan tweet menjadi dua kategori utama, yaitu tweet yang berkaitan langsung dengan bidang-bidang di bawah naungan rektorat Telkom University dan tweet yang tidak berkaitan.
Kategori pertama disebut sebagai tweet bidang, yakni cuitan yang secara eksplisit mengarah pada unit-unit kerja atau layanan yang berada di bawah koordinasi rektorat.
Sementara itu, tweet non bidang merupakan cuitan yang tidak mengindikasikan keterkaitan langsung dengan bidang-bidang tersebut.
Pemisahan ini dimaksudkan agar informasi yang terkandung dalam tweet bidang dapat dimanfaatkan sebagai bahan evaluasi dan pengembangan layanan di berbagai unit kerja Telkom University.
Penggunaan akun Telyufess sebagai sumber data keluhan dinilai relevan, karena akun ini menyediakan saluran komunikasi yang bersifat real-time bagi mahasiswa untuk menyampaikan aspirasi mereka.
Berbeda dengan metode survei konvensional yang dilakukan secara berkala dan terbatas waktunya.
Telyufess memungkinkan mahasiswa menyampaikan keluhan kapan saja tanpa dibatasi oleh periode tertentu.
Copyright A 2025 The Author.
Page 876 This Journal is licensed under a Creative Commons Attribution 4.
0 International License BULLETIN OF COMPUTER SCIENCE RESEARCH ISSN 2774-3659 (Media Onlin.
Vol 5.
No 5.
August 2025 | Hal 876-885 https://hostjournals.
com/bulletincsr DOI: 10.
47065/bulletincsr.
Penelitian yang dilakukan oleh Alvina dan rekan-rekannya dilatarbelakangi oleh cepatnya penyebaran virus corona, yang mendorong WHO menetapkan COVID-19 sebagai pandemi pada 11 Maret 2020.
Perubahan status tersebut berlangsung secara tiba-tiba dan menyebabkan hampir seluruh negara terdampak oleh penyebaran virus ini.
Oleh karena itu, penelitian tersebut dimanfaatkan untuk memprediksi tingkat penyebaran COVID-19.
Studi ini memfokuskan analisis pada prediksi jumlah kasus COVID-19 dengan menggunakan algoritma klasifikasi Nayve Bayes .
Alita dan Shodiqin .
mengemukakan bahwa pelaksanaan vaksinasi COVID-19 di Indonesia menimbulkan berbagai tanggapan, baik yang mendukung maupun yang menolak.
Pemerintah mendorong masyarakat untuk mengikuti program vaksinasi guna mencapai kekebalan kelompok .
erd immunit.
Penelitian yang mereka lakukan bertujuan untuk mengevaluasi kualitas layanan yang diberikan oleh tenaga kesehatan kepada masyarakat selama proses vaksinasi Studi ini juga menggunakan metode klasifikasi Nayve Bayes untuk memprediksi jumlah kasus COVID-19 .
Studi yang dilakukan Safitri dan kawan-kawan .
menerapkan algoritma Support Vector Machine (SVM) untuk mengklasifikasi sentimen pengguna Twitter berkaitan dengan grup idola Korea.
BTS.
Tujuannya adalah mengidentifikasi faktor-faktor apa saja yang dijadikan pertimbangan konsumen dalam menentukan figur publik yang layak menjabat sebagai brand ambassador suatu produk.
Dengan demikian, penelitian ini berfokus pada eksplorasi sentimen netizen terhadap BTS sebagai bagian dari evaluasi kriteria pemilihan duta merek .
Penelitian lain yang sejenis dilakukan oleh Prasetyo dan rekan-rekannya pada tahun 2023, yang membahas analisis sentimen terkait isu relokasi Ibu Kota Negara (IKN) dengan menerapkan algoritma Nayve Bayes dan K-Nearest Neighbor (KNN).
Topik utama dalam penelitian ini adalah sensitivitas perbincangan publik mengenai pemindahan IKN .
Perbedaan utama antara penelitian tersebut dengan penelitian ini terletak pada pendekatan metode yang digunakan.
Penelitian ini hanya menggunakan algoritma Nayve Bayes, sementara studi Prasetyo dkk.
menggabungkan dua metode, yaitu Nayve Bayes dan KNN.
Merawati dan rekan-rekannya dalam penelitiannya memanfaatkan algoritma Nayve Bayes dan Latent Dirichlet Allocation (LDA) untuk menganalisis sentimen wisatawan yang disampaikan melalui akun media sosial pribadi.
Penelitian ini berfokus pada berbagai opini dan komentar terkait pariwisata Lombok yang diunggah oleh wisatawan, khususnya di platform Twitter.
Banyaknya topik yang dibicarakan membuat proses identifikasi sentimen dan tema pembahasan secara manual menjadi tidak efisien, sehingga diperlukan pendekatan otomatis.
Opini wisatawan mengenai destinasi Lombok menjadi perhatian utama dalam penelitian ini karena dianggap memiliki potensi sebagai sumber informasi yang bernilai untuk pengembangan pariwisata daerah tersebut .
Perbedaan antara penelitian ini dan penelitian yang akan dilakukan terletak pada metode yang digunakan.
Penelitian tersebut menerapkan dua metode analisis, sedangkan penelitian yang akan dilakukan hanya menggunakan satu metode, yaitu algoritma Nayve Bayes.
Teknologi informasi (TI) saat ini menjadi fondasi penting dalam mendukung layanan pendidikan di lingkungan perguruan tinggi, termasuk di Telkom University.
Berbagai sistem telah diimplementasikan untuk menunjang proses perkuliahan serta layanan administrasi.
Namun, mahasiswa masih kerap menyampaikan keluhan, khususnya terkait permasalahan layanan maupun gangguan sistem.
Salah satu media yang digunakan untuk menyampaikan keluhan tersebut adalah akun bot Telyufess di platform media sosial X, yang memungkinkan mahasiswa menyampaikan aduan secara langsung dan bersifat real-time.
Kendati demikian, data keluhan yang tersedia melalui akun tersebut belum dimanfaatkan secara optimal sebagai sumber umpan balik resmi untuk pengembangan kinerja di masing-masing unit rektorat.
Berbagai penelitian sebelumnya telah mengaplikasikan algoritma Nayve Bayes dalam pengolahan data dari media sosial, antara lain untuk memprediksi penyebaran COVID-19 maupun mengkaji sentimen masyarakat.
Namun, sebagian besar studi tersebut berfokus pada isu-isu kesehatan dan opini publik, bukan pada aspek pengelolaan keluhan institusional.
Research gap yang diidentifikasi adalah masih terbatasnya kajian yang memanfaatkan data keluhan mahasiswa dari media sosial sebagai dasar evaluasi kinerja unit layanan di lingkungan kampus.
Penelitian ini memberikan kontribusi dengan mengimplementasikan algoritma Nayve Bayes pada data Telyufess untuk mengklasifikasikan keluhan mahasiswa, sehingga hasilnya dapat dijadikan bahan pertimbangan bagi pihak rektorat Telkom University dalam proses pengambilan keputusan untuk perbaikan dan peningkatan kualitas layanan.
Di samping itu, penelitian ini juga memiliki tujuan untuk melakukan klasifikasi tweet pada akun Telyufess ke dalam dua kategori, yaitu bidang dan non-bidang, dengan menerapkan metode Nayve Bayes.
Hasil dari proses klasifikasi ini diharapkan dapat dimanfaatkan sebagai dasar dalam merancang strategi pengembangan serta peningkatan kinerja pada unit-unit rektorat Telkom University.
METODOLOGI PENELITIAN
Gambar 1 berikut merupakan tahapan penelitian yang dilakukan.
Gambar 1.
Tahapan Penelitan Copyright A 2025 The Author.
Page 877 This Journal is licensed under a Creative Commons Attribution 4.
0 International License BULLETIN OF COMPUTER SCIENCE RESEARCH ISSN 2774-3659 (Media Onlin.
Vol 5.
No 5.
August 2025 | Hal 876-885 https://hostjournals.
com/bulletincsr DOI: 10.
47065/bulletincsr.
1 Pengumpulan Data Seperti ditunjukkan pada Gambar 1, tahap ini melibatkan proses pengumpulan data dari akun Twitter @telyufess, yang memuat berbagai cuitan dari mahasiswa.
Data dikumpulkan menggunakan teknik crawling yang mencakup seluruh tweet yang dipublikasikan oleh akun tersebut.
Sebanyak 1.
090 tweet berhasil dihimpun dalam rentang waktu 1 Januari 2023 hingga 1 Januari 2025 dengan memanfaatkan Tweet Harvest API.
Hanya tweet yang memuat keluhan, opini, dan saran dari mahasiswa yang diambil, sementara retweet serta konten promosi dikecualikan untuk menjaga relevansi dataset terhadap tujuan analisis.
Proses crawling dilakukan melalui Application Programming Interface (API) guna memastikan data yang diperoleh bersifat lengkap dan valid.
Untuk mendukung proses pengambilan data ini, diperlukan alat bantu khusus yang dirancang untuk melakukan crawling pada situs target, salah satunya adalah Tweet Harvest .
Tweet Harvest merupakan sebuah tools yang digunakan untuk melakukan proses crawling data pada platform media sosial X dengan memanfaatkan Application Programming Interface (API).
2 Labelling Proses labelling dilakukan dengan membagi tweet ke dalam dua kategori utama, yaitu bidang dan non-bidang.
Kegiatan ini dilakukan secara manual oleh peneliti bersama dengan asisten annotator untuk mempercepat proses klasifikasi data.
Dengan tujuan memastikan konsistensi hasil pelabelan, tingkat kesepakatan antar-annotator diukur menggunakan nilai CohenAos Kappa.
Nilai tersebut digunakan untuk menilai tingkat reliabilitas proses pelabelan sebelum data digunakan dalam tahap analisis berikutnya.
Metode manual dipilih karena ukuran dataset masih dalam skala kecil hingga menengah, sehingga peninjauan langsung dianggap memberikan hasil yang lebih akurat .
3 Normalisasi Proses awal pengolahan data pada file CSV hasil crawling diawali dengan eliminasi karakter non-alfabet, seperti (#, !, dan $), guna menghindari gangguan dalam tahap analisis.
Selanjutnya, kata-kata yang tidak sesuai dengan ejaan baku disesuaikan menggunakan kamus resmi bahasa Indonesia serta pemanfaatan library sastrawi berbasis rule-based.
Tahap ini bertujuan memastikan seluruh kata tidak baku dikonversi secara otomatis sebelum memasuki proses analisis lanjutan .
4 Lowercasing Setelah karakter-karakter khusus dihapus, tahap selanjutnya adalah proses lowercasing untuk menyeragamkan seluruh huruf menjadi bentuk kecil.
Penyamaan ini dilakukan guna menghindari perbedaan makna akibat penggunaan huruf Namun, pada kasus tertentu, seperti pada singkatan-singkatan .
isalnya BUMN.
RI, dan sebagainy.
, proses lowercasing diterapkan secara selektif agar tidak mengubah arti dari singkatan tersebut.
5 Penghapusan Stop Word Tahap berikutnya adalah penghapusan stop word, yaitu kata-kata yang memiliki frekuensi kemunculan tinggi namun tidak memberikan kontribusi signifikan terhadap makna teks.
Sebelum proses ini dilakukan, terlebih dahulu disusun daftar kata yang dikategorikan sebagai stop word untuk dijadikan acuan dalam proses eliminasi .
Tahap ini bertujuan untuk mengeliminasi kata-kata yang sering muncul namun tidak memiliki nilai informasi yang penting dalam konteks analisis, seperti kata hubung atau kata seruan.
Daftar stop word yang digunakan mengacu pada daftar standar bahasa Indonesia yang umum dipakai dalam pemrosesan bahasa alami (NLP), kemudian disempurnakan dengan menambahkan kata-kata kontekstual tertentu seperti Autelyu!Ay yang kerap muncul dalam dataset tetapi tidak relevan untuk proses klasifikasi.
Penyesuaian tersebut dilakukan agar penghapusan stop word menjadi lebih optimal dan kontekstual.
6 Tokenisasi Setelah proses penghapusan stop word, tahap selanjutnya adalah tokenisasi.
Pada tahap ini, digunakan library sastrawi yang dirancang untuk pemrosesan bahasa alami (Natural Language Processin.
dalam bahasa Indonesia, mengingat mayoritas tweet yang dianalisis menggunakan bahasa tersebut.
Tokenisasi menghasilkan pemisahan kalimat menjadi unitunit kata .
, sehingga setiap kata dapat dianalisis secara individual pada tahapan pemrosesan berikutnya .
7 Stemming Setelah melewati sejumlah tahapan sebelumnya, proses selanjutnya adalah stemming, yaitu mengubah setiap kata dalam kalimat ke bentuk dasarnya.
Penggunaan kata dasar ini penting dalam proses klasifikasi tweet agar sistem dapat mengenali dan memproses kata-kata secara lebih akurat.
Untuk tahap stemming ini, digunakan library sastrawi yang memang dirancang untuk bahasa Indonesia .
8 Perhitungan TF-IDF Setelah melalui berbagai tahap penyesuaian format teks, langkah berikutnya adalah proses vektorisasi, yakni mengonversi data berbasis teks menjadi representasi numerik melalui pembobotan menggunakan metode TF-IDF.
Pada tahap ini, perhitungan Term Frequency (TF) dilakukan terlebih dahulu dengan menghitung seberapa sering suatu kata muncul dalam satu dokumen .
Tahap berikutnya adalah menghitung Document Frequency (DF), yaitu jumlah dokumen yang mengandung kata tertentu.
Setelah nilai DF diperoleh, dilanjutkan dengan perhitungan Inverse Document Frequency Copyright A 2025 The Author.
Page 878 This Journal is licensed under a Creative Commons Attribution 4.
0 International License BULLETIN OF COMPUTER SCIENCE RESEARCH ISSN 2774-3659 (Media Onlin.
Vol 5.
No 5.
August 2025 | Hal 876-885 https://hostjournals.
com/bulletincsr DOI: 10.
47065/bulletincsr.
(IDF).
Hasil dari perhitungan TF dan IDF kemudian dikombinasikan untuk menghasilkan nilai TF-IDF, yang membentuk dataset dalam bentuk pembobotan numerik .
9 Modelling Setelah melalui preprocessing text, data kemudian memasuki tahap modelling.
Proses ini terdiri dari dua bagian utama, yaitu training dan testing data.
Sebelum dilakukan pemodelan, data dibagi .
ke dalam empat skenario rasio, yakni 65:35, 70:30, 80:20, dan 90:10, dengan proporsi data yang lebih besar dialokasikan untuk training.
Tujuan dari training data adalah untuk melatih model dalam mengenali pola-pola yang membedakan tweet kategori bidang dan nonbidang.
Sementara itu, testing data digunakan untuk mengevaluasi sejauh mana model mampu melakukan klasifikasi secara akurat .
10 Evaluasi Setelah data melewati berbagai tahap sebelumnya, langkah selanjutnya adalah evaluasi untuk menilai kemampuan model dalam mengklasifikasikan tweet ke dalam kategori bidang dan non-bidang secara akurat.
Evaluasi dalam penelitian ini mencakup beberapa proses, antara lain penyusunan confusion matrix, perhitungan akurasi .
, ketepatan .
, daya jangkau .
, serta nilai F1-score sebagai metrik gabungan dari precision dan recall.
11 Visualisasi Hasil evaluasi dari tahap sebelumnya akan disajikan dalam bentuk dashboard.
Pembuatan dashboard menggunakan bahasa pemrograman JavaScript karena dianggap lebih fleksibel dalam pengelolaan tampilan antarmuka pengguna (User Interfac.
Dashboard ini dirancang untuk menampilkan kata-kata yang paling sering muncul dalam kategori bidang dan non-bidang, serta menampilkan tweet-tweet dari kedua kategori yang paling sering dikeluhkan .
HASIL DAN PEMBAHASAN
1 Hasil Imbalance Data Handling Metode SMOTE (Synthetic Minority Oversampling Techniqu.
digunakan untuk menyeimbangkan distribusi data antara kelas AubidangAy yang memiliki jumlah lebih sedikit dengan kelas Aunon-bidangAy.
Teknik ini bekerja dengan menghasilkan data sintetis pada kelas minoritas guna mengurangi potensi bias model terhadap kelas mayoritas.
Namun, perlu dicermati bahwa penambahan data sintetis juga berisiko menimbulkan noise, sehingga hasil evaluasi model harus dianalisis secara hati-hati.
1 Rasio 65:35 Distribusi data sebelum dan sesudah proses penyeimbangan kelas dengan metode SMOTE pada rasio 65:35 ditampilkan pada Gambar 2.
Visualisasi tersebut menunjukkan perbandingan jumlah data pada kelas AubidangAy dan Aunon-bidangAy sebelum serta setelah penambahan data sintetis dilakukan.
Gambar 2.
Distribusi Kelas Sebelum dan Sesudah SMOTE Rasio 65:35 Pada Gambar 2, jumlah data pada kelas Aunon-bidangAy dan AubidangAy masing-masing tercatat sebanyak 521 dan 188, yang berasal dari total 709 data training.
Ketimpangan ini menunjukkan adanya ketidakseimbangan distribusi antar kelas .
lass imbalanc.
Untuk mengatasi permasalahan tersebut, diterapkan teknik imbalance data handling, salah satunya adalah metode SMOTE.
Teknik ini bertujuan menyeimbangkan jumlah data dengan menambahkan data sintetis pada kelas minoritas.
Dalam konteks ini.
SMOTE digunakan untuk menambah jumlah data pada kelas AubidangAy hingga setara dengan kelas Aunon-bidangAy, yakni masing-masing menjadi 521 data Copyright A 2025 The Author.
Page 879 This Journal is licensed under a Creative Commons Attribution 4.
0 International License BULLETIN OF COMPUTER SCIENCE RESEARCH ISSN 2774-3659 (Media Onlin.
Vol 5.
No 5.
August 2025 | Hal 876-885 https://hostjournals.
com/bulletincsr DOI: 10.
47065/bulletincsr.
2 Rasio 70:30 Distribusi data untuk kelas AubidangAy dan Aunon-bidangAy sebelum dan sesudah penyeimbangan dengan metode SMOTE pada rasio 70:30 ditampilkan pada Gambar 3.
Gambar tersebut menggambarkan selisih jumlah data antara kedua kelas, serta menunjukkan hasil akhir setelah penambahan data sintetis guna mencapai distribusi yang seimbang.
Gambar 3.
Distribusi Kelas Sebelum dan Sesudah SMOTE Rasio 70:30 Pada Gambar 3, jumlah data untuk kelas Aunon-bidangAy tercatat sebanyak 560, sedangkan kelas AubidangAy sebanyak 203, yang seluruhnya berasal dari 763 data pelatihan.
Perbedaan jumlah yang signifikan antara kedua kelas ini mencerminkan adanya ketidakseimbangan data .
Untuk menangani kondisi tersebut, digunakan pendekatan khusus yang dikenal sebagai imbalance data handling.
Salah satu teknik yang umum diterapkan adalah SMOTE, yang berfungsi menambahkan data sintetis pada kelas minoritas.
Dalam konteks ini.
SMOTE digunakan untuk memperbanyak data pada kelas AubidangAy dari 203 menjadi 560, agar distribusinya setara dengan kelas Aunon-bidangAy.
3 Rasio 80:20 Distribusi jumlah data pada kelas AubidangAy dan Aunon-bidangAy sebelum dan sesudah dilakukan penyeimbangan dengan metode SMOTE pada rasio 80:20 ditampilkan pada Gambar 4.
Visualisasi tersebut menunjukkan kondisi awal ketidakseimbangan antar kelas serta hasil akhir setelah penambahan data sintetis pada kelas minoritas untuk mencapai distribusi yang seimbang.
Gambar 4.
Distribusi Kelas Sebelum dan Sesudah SMOTE Rasio 80:20 Gambar 4 memperlihatkan bahwa jumlah data pada kelas Aunon-bidangAy sebanyak 640 dan kelas AubidangAy sebanyak 232, dari total 872 data pelatihan.
Ketimpangan ini menunjukkan adanya kondisi ketidakseimbangan data .
mbalanced Untuk mengatasi hal tersebut, diterapkan strategi penanganan khusus yang dikenal sebagai imbalance data Salah satu metode yang umum digunakan adalah SMOTE, yang berfungsi untuk menghasilkan data sintetis pada kelas minoritas.
Dalam hal ini.
SMOTE digunakan untuk menambah jumlah data pada kelas AubidangAy dari 232 menjadi 640, sehingga distribusinya menjadi seimbang dengan kelas Aunon-bidangAy.
4 Rasio 90:10 Distribusi data pada kelas AubidangAy dan Aunon-bidangAy sebelum maupun sesudah dilakukan penyeimbangan dengan metode SMOTE pada rasio 90:10 disajikan pada Gambar 5.
Gambar tersebut menampilkan perbedaan jumlah data antara kedua kelas serta hasil akhir penyeimbangan setelah penambahan data sintetis pada kelas minoritas.
Copyright A 2025 The Author.
Page 880 This Journal is licensed under a Creative Commons Attribution 4.
0 International License BULLETIN OF COMPUTER SCIENCE RESEARCH ISSN 2774-3659 (Media Onlin.
Vol 5.
No 5.
August 2025 | Hal 876-885 https://hostjournals.
com/bulletincsr DOI: 10.
47065/bulletincsr.
Gambar 5.
Distribusi Kelas Sebelum dan Sesudah SMOTE Rasio 80:20 Pada Gambar 5, jumlah data pada kelas Aunon-bidangAy tercatat sebanyak 720, sedangkan kelas AubidangAy berjumlah 261 dari total 981 data pelatihan.
Perbedaan jumlah yang cukup besar ini mencerminkan adanya ketidakseimbangan kelas .
lass imbalanc.
Untuk menangani kondisi tersebut, diperlukan pendekatan khusus yang dikenal sebagai imbalance data handling.
Salah satu metode yang banyak digunakan adalah SMOTE, yaitu teknik yang menghasilkan data sintetis untuk menambah jumlah data pada kelas minoritas.
Dalam konteks ini.
SMOTE digunakan untuk meningkatkan jumlah data pada kelas AubidangAy dari 261 menjadi 720, sehingga distribusinya setara dengan kelas Aunon-bidangAy.
2 Confusion Matrix 1 Rasio 65:35 Hasil confusion matrix untuk pembagian data dengan rasio 65:35 dapat dilihat pada Tabel 1.
Tabel ini menunjukkan distribusi prediksi model pada kelas AubidangAy dan Aunon-bidangAy.
Tabel 1.
Confusion matrix rasio 65:35 Confusion Matrix Aktual Bidang Non Bidang Bidang Prediksi Non Bidang Tabel 1 menyajikan hasil confusion matrix berdasarkan rasio data pelatihan dan pengujian sebesar 65:35.
Berdasarkan tabel tersebut, nilai True Positive (TP) tercatat sebesar 89, yang mengindikasikan bahwa sebanyak 89 data pada kelas AubidangAy berhasil diklasifikasikan dengan benar.
Nilai True Negative (TN) sebesar 205 menunjukkan bahwa 205 data pada kelas Aunon-bidangAy juga diklasifikasikan secara akurat.
Sementara itu, terdapat 75 data kelas Aunon-bidangAy yang salah terklasifikasi sebagai AubidangAy, yang ditunjukkan oleh nilai False Positive (FP).
Adapun nilai False Negative (FN) sebesar 13, menandakan bahwa 13 data kelas AubidangAy secara keliru diklasifikasikan sebagai Aunon-bidangAy.
2 Rasio 70:30 Hasil confusion matrix untuk rasio 70:30 dapat dilihat pada Tabel 2.
Tabel 2.
Confusion matrix Rasio 70:30 Confusion Matrix Aktual Bidang Non Bidang Bidang Prediksi Non Bidang Tabel 2 memperlihatkan hasil confusion matrix dari pembagian data dengan rasio 70:30.
Berdasarkan tabel tersebut, nilai True Positive (TP) sebesar 74 menunjukkan bahwa sebanyak 74 data pada kelas AubidangAy berhasil diklasifikasikan dengan benar.
Sementara itu.
True Negative (TN) tercatat sebesar 183, menandakan bahwa 183 data pada kelas Aunon-bidangAy juga berhasil diklasifikasikan secara akurat.
Di sisi lain, nilai False Positive (FP) sebesar 58 mengindikasikan adanya 58 data kelas Aunon-bidangAy yang keliru diklasifikasikan sebagai AubidangAy.
Sedangkan nilai False Negative (FN) sebesar 13 menunjukkan bahwa 13 data pada kelas AubidangAy salah diklasifikasikan sebagai Aunon-bidangAy 3 Rasio 80:20 Hasil confusion matrix untuk rasio 80:20 dapat dilihat pada Tabel 3.
Copyright A 2025 The Author.
Page 881 This Journal is licensed under a Creative Commons Attribution 4.
0 International License BULLETIN OF COMPUTER SCIENCE RESEARCH ISSN 2774-3659 (Media Onlin.
Vol 5.
No 5.
August 2025 | Hal 876-885 https://hostjournals.
com/bulletincsr DOI: 10.
47065/bulletincsr.
Tabel 3.
Confusion matrix rasio 80:20 Confusion Matrix Aktual Bidang Non Bidang Bidang Prediksi Non Bidang Tabel 3 menampilkan hasil confusion matrix dari pembagian data dengan rasio 80:20.
Berdasarkan hasil tersebut, nilai True Positive (TP) sebesar 54 menunjukkan bahwa 54 data pada kelas AubidangAy berhasil terklasifikasi dengan benar.
Sementara itu.
True Negative (TN) sebesar 125 mengindikasikan bahwa 125 data pada kelas Aunon-bidangAy juga diklasifikasikan secara akurat.
Di sisi lain, terdapat 36 data kelas Aunon-bidangAy yang salah terklasifikasi sebagai AubidangAy, sebagaimana ditunjukkan oleh nilai False Positive (FP).
Adapun nilai False Negative (FN) sebesar 4 menunjukkan bahwa 4 data pada kelas AubidangAy keliru diklasifikasikan sebagai Aunon-bidangAy.
4 Rasio 90:10 Hasil confusion matrix untuk rasio 90:10 dapat dilihat pada Tabel 4.
Tabel 4.
Confusion matrix rasio 90:10 Confusion Matrix Aktual Bidang Non Bidang Bidang Prediksi Non Bidang Tabel 4 dan Gambar 5.
8 menampilkan hasil klasifikasi dengan nilai True Positive (TP) sebesar 28, yang menunjukkan bahwa 28 data pada kelas AubidangAy berhasil diklasifikasikan secara tepat.
Sementara itu, nilai True Negative (TN) sebesar 68 mengindikasikan bahwa 68 data pada kelas Aunon-bidangAy juga berhasil dikenali dengan benar.
Selain itu, terdapat 13 data False Positive (FP), yakni data dari kelas Aunon-bidangAy yang secara keliru diklasifikasikan sebagai AubidangAy, serta 1 data False Negative (FN), yaitu data kelas AubidangAy yang salah diklasifikasikan sebagai Aunon-bidangAy.
3 Evaluasi Performansi Hasil evaluasi performansi berdasarkan metrik akurasi, presisi, recall, dan F1-score untuk setiap rasio pembagian data dapat dilihat pada Tabel 5.
Tabel 5.
Hasil evaluasi performansi Rasio
65:35
70:30
80:20
90:10
Accuracy Precision Recall F1-score Berdasarkan Tabel 5, dapat diamati bahwa peningkatan proporsi data pelatihan cenderung sejalan dengan peningkatan akurasi model.
Rasio 90:10 menghasilkan tingkat akurasi tertinggi, yaitu sebesar 87,27%.
Namun, rasio ini juga menunjukkan indikasi adanya potensi overfitting, ditandai dengan akurasi data latih yang melebihi 99%.
Oleh karena itu, disarankan agar penelitian selanjutnya mempertimbangkan penerapan metode seperti cross-validation atau teknik regularisasi untuk mengurangi risiko overfitting.
Di samping itu, keberadaan False Positive (FP) dan False Negative (FN) memiliki implikasi penting.
FP yakni tweet Aunon-bidangAy yang salah diklasifikasikan sebagai AubidangAy dapat menyebabkan alokasi sumber daya rektorat terhadap keluhan yang tidak relevan.
Sementara itu.
FN tweet AubidangAy yang tidak teridentifikasi secara benar berisiko lebih besar karena berpotensi mengabaikan permasalahan penting yang berkaitan langsung dengan unit rektorat Confusion matrix yang telah diperoleh digunakan sebagai dasar untuk mengevaluasi performa model.
Dalam proses evaluasi ini, confusion matrix dimanfaatkan untuk menghitung metrik-metrik seperti accuracy, precision, recall, dan F1-score.
Nilai-nilai tersebut disajikan pada Tabel 5.
Berdasarkan hasil evaluasi performa yang dihitung melalui confusion matrix, dapat disimpulkan bahwa semakin besar jumlah data yang digunakan untuk pelatihan, maka semakin tinggi pula nilai evaluasi yang diperoleh.
4 Visualisasi Hasil visualisasi data dan antarmuka sistem dapat dilihat pada Gambar 6.
Gambar 7, dan Gambar 8.
Copyright A 2025 The Author.
Page 882 This Journal is licensed under a Creative Commons Attribution 4.
0 International License BULLETIN OF COMPUTER SCIENCE RESEARCH ISSN 2774-3659 (Media Onlin.
Vol 5.
No 5.
August 2025 | Hal 876-885 https://hostjournals.
com/bulletincsr DOI: 10.
47065/bulletincsr.
Gambar 6.
Visualisasi dashboard Halaman dashboard ini menyajikan kata-kata yang paling sering muncul pada masing-masing kelas.
Berdasarkan Gambar 6, terlihat bahwa kata AusemesterAy merupakan salah satu kata yang umum muncul di kedua kelas.
Namun, terdapat perbedaan yang mencolok dalam konteks penggunaannya: kata-kata yang dominan pada kelas AubidangAy umumnya berkaitan dengan lingkungan kampus, sedangkan kata-kata yang sering muncul pada kelas Aunon-bidangAy lebih banyak mencerminkan aspek kehidupan mahasiswa secara umum.
Gambar 7.
Visualisasi text checker Halaman yang ditampilkan pada Gambar 7 memperlihatkan simulasi pemrosesan teks yang menyerupai tampilan aplikasi X.
Pada halaman ini terdapat beberapa elemen, yaitu kolom input untuk memasukkan teks, tombol untuk memulai proses analisis, serta output yang menampilkan hasil dari pemrosesan teks tersebut.
Gambar 8.
Visualisasi hasil evaluasi Gambar 8 menyajikan visualisasi dari hasil evaluasi model yang telah dilakukan sebelumnya.
Visualisasi ini mencakup hasil evaluasi dari keempat rasio pembagian data, yaitu 65:35, 70:30, 80:20, dan 90:10.
Selain metrik evaluasi, gambar tersebut juga menampilkan confusion matrix untuk masing-masing rasio tersebut.
Copyright A 2025 The Author.
Page 883 This Journal is licensed under a Creative Commons Attribution 4.
0 International License BULLETIN OF COMPUTER SCIENCE RESEARCH ISSN 2774-3659 (Media Onlin.
Vol 5.
No 5.
August 2025 | Hal 876-885 https://hostjournals.
com/bulletincsr DOI: 10.
47065/bulletincsr.
Penerapan metode SMOTE berhasil menyamakan distribusi data antara kelas AubidangAy .
ebagai kelas minorita.
dan Aunon-bidangAy, sehingga model tidak bias terhadap kelas mayoritas.
Penambahan data sintetis dari proses oversampling turut berkontribusi dalam peningkatan akurasi, meskipun berisiko menimbulkan noise karena tidak sepenuhnya mencerminkan pola data yang sebenarnya.
Oleh karena itu, pada penelitian selanjutnya disarankan untuk menggunakan teknik validasi silang .
ross-validatio.
atau metode regularisasi guna meminimalkan kemungkinan overfitting akibat penggunaan data sintetis.
Analisis terhadap nilai True Positive (TP).
True Negative (TN).
False Positive (FP), dan False Negative (FN) memberikan wawasan yang lebih komprehensif mengenai performa model.
False Positive (FP), yaitu ketika tweet AunonbidangAy keliru diklasifikasikan sebagai AubidangAy, dapat menyebabkan pihak rektorat memfokuskan perhatian pada keluhan yang tidak relevan dengan layanan kampus.
Sebaliknya.
False Negative (FN), yakni tweet AubidangAy yang salah terklasifikasi sebagai Aunon-bidangAy, berdampak lebih serius karena dapat menyebabkan keluhan penting dari mahasiswa yang berkaitan dengan layanan rektorat terlewatkan.
Oleh sebab itu, strategi pengoptimalan model di masa mendatang sebaiknya diarahkan untuk meminimalkan nilai FN agar keluhan yang krusial tetap dapat terdeteksi dengan baik.
Hasil penelitian menunjukkan bahwa rasio 90:10 memberikan akurasi tertinggi sebesar 87,27%, disertai dengan metrik evaluasi lainnya seperti precision, recall, dan F1-score yang relatif stabil.
Capaian ini dipengaruhi oleh besarnya jumlah data pelatihan, yang memungkinkan model untuk mengenali lebih banyak pola.
Namun, kondisi ini juga memunculkan trade-off berupa potensi overfitting .
itandai dengan akurasi data latih yang melebihi 99%) serta waktu pelatihan yang lebih lama.
Oleh karena itu, disarankan untuk menerapkan metode seperti cross-validation guna memastikan performa generalisasi model tetap optimal.
Berdasarkan visualisasi yang ditampilkan pada dashboard (Gambar .
, kata AuyaAy merupakan kata yang paling sering muncul karena berfungsi sebagai transisi atau respons dalam interaksi, bukan sebagai kata yang memiliki makna Pada kelas AubidangAy, kata-kata yang dominan umumnya berkaitan dengan layanan akademik, keuangan, serta fasilitas kampus, mencerminkan fokus keluhan yang melibatkan unit-unit di bawah rektorat.
Sebaliknya, kata-kata yang sering muncul pada kelas Aunon-bidangAy lebih merepresentasikan aspek sosial dalam kehidupan mahasiswa.
Temuan ini dapat dimanfaatkan oleh Telkom University untuk menetapkan prioritas peningkatan layanan, khususnya dalam hal akademik dan fasilitas kampus pada kelas AubidangAy, serta untuk memahami dinamika sosial mahasiswa melalui analisis kelas Aunon-bidangAy.
KESIMPULAN
Hasil penelitian ini menunjukkan bahwa algoritma Nayve Bayes mampu mengklasifikasikan tweet dari akun Telyufess ke dalam kategori AubidangAy dan Aunon-bidangAy dengan tingkat akurasi yang bervariasi, bergantung pada rasio pembagian Akurasi tertinggi dicapai pada rasio 90:10 dengan nilai 87,27%, diikuti oleh 81,74% .
, 78,35% .
, dan 76,96% .
Temuan ini mengindikasikan bahwa semakin besar proporsi data pelatihan, maka kinerja model pada data uji cenderung semakin baik.
Namun demikian, penelitian juga menemukan adanya indikasi overfitting, ditunjukkan oleh performa model pada data latih yang rata-rata melebihi 99%, sementara performa pada data uji mengalami penurunan yang cukup signifikan.
Hal ini mengisyaratkan bahwa model terlalu menyesuaikan diri dengan data pelatihan dan berisiko kurang efektif saat diterapkan pada data baru.
Untuk mengatasi permasalahan tersebut, disarankan agar penelitian selanjutnya menerapkan teknik regularisasi, cross-validation, atau pendekatan ensemble learning seperti Random Forest dan XGBoost.
Selain itu, pengujian dengan dataset tambahan dari periode waktu yang berbeda juga direkomendasikan untuk mengukur kemampuan generalisasi model di luar data pelatihan REFERENCES