JURNAL FOURIER | April 2025.
Vol.
No.
1, 29-44
DOI: 10.
14421/fourier.
ISSN 2252-763X
E-ISSN 2541-5239
Performa Nayve Bayes.
SVM, dan IndoBERT pada Analisis Sentimen Twitter IndiHome dengan Strategi Penanganan Data Tidak Seimbang Adinda Anas Qolbu1.
Nina Fitriyati2*.
Nur Inayah3 Program Studi Matematika.
Fakultas Sains dan Matematika.
Universitas Islam Negeri Syarif Hidayatullah.
Jl.
Ir.
Djuanda No.
95 Ciputat.
Kota Tangerang Selatan 15412.
Indonesia Korespondensi.
Nina Fitriyati.
Email: nina.
fitriyati@uinjkt.
Abstrak Penelitian ini bertujuan untuk membandingkan performa tiga pendekatan analisis sentimen, yaitu Nayve Bayes.
Support Vector Machine (SVM), dan Indonesian Bidirectional Encoder Representations from Transformers (IndoBERT), pada layanan IndiHome menggunakan data Twitter.
Keterbatasan model tradisional melatarbelakangi penelitian ini dalam mengenali opini positif dan tantangan ketidakseimbangan data yang sering muncul dalam analisis berbasis media sosial.
Data penelitian berupa 7393 tweet (Januari 2019AeAgustus 2.
yang dilabeli secara manual menjadi sentimen positif dan negatif.
Model dievaluasi menggunakan stratified 10-fold cross validation dan data uji, dengan penerapan teknik penanganan ketidakseimbangan berupa Synthetic Minority Oversampling Technique (SMOTE) dan pembobotan kelas .
lass weightin.
Hasil menunjukkan IndoBERT unggul dengan akurasi 0,96 dan F1-score makro 0,95 tanpa penanganan khusus, sedangkan SVM mencapai akurasi 0,95 dengan pembobotan kelas, dan Nayve Bayes meningkat dari akurasi 0,89 menjadi 0,92 setelah SMOTE.
Analisis tren sentimen menunjukkan opini negatif mendominasi, terutama terkait kecepatan dan kestabilan layanan.
Temuan ini menegaskan bahwa IndoBERT lebih efektif dalam memahami konteks bahasa Indonesia, sementara teknik penanganan data tetap relevan untuk meningkatkan performa model tradisional.
Hasil penelitian ini penting karena memberikan dasar empiris dalam pemilihan model analisis sentimen yang lebih akurat, adaptif terhadap bahasa Indonesia, dan bermanfaat dalam meningkatkan kualitas layanan.
Kata Kunci: Analisis Sentimen.
Stratified 10-Fold Cross Validation.
SMOTE.
Pembobotan Kelas.
Abstract This study aims to compare the performance of three sentiment analysis approaches, namely Nayve Bayes.
Support Vector Machine (SVM), and Indonesian Bidirectional Encoder Representations from Transformers (IndoBERT), on IndiHome services using Twitter data.
The limitations of traditional models underlie this study in recognizing positive opinions and the challenge of data imbalance that often arises in social media based analysis.
The research data consist of 7,393 tweets (January 2019AeAugust 2.
manually labeled into positive and negative sentiments.
Models were evaluated using stratified 10-fold cross validation and test data, with the application of imbalance handling techniques such as Synthetic Minority Oversampling Technique (SMOTE) and class weighting.
Results show IndoBERT excels with 0.
96 accuracy and 95 macro F1-score without special handling, while SVM reaches 0.
95 accuracy with class weighting, and Nayve Bayes improves from 0.
89 to 0.
92 accuracy after SMOTE.
Sentiment trend analysis indicates negative opinions dominate, mainly regarding speed and service stability.
These findings confirm IndoBERT is more effective in understanding Indonesian context, while data handling remains relevant for improving traditional models.
This studyAos results are important because they offer an empirical foundation for choosing sentiment analysis models that are more accurate, adaptive to Indonesian language, and useful for improving service quality.
Keywords: Sentiment Analysis.
Stratified 10-Fold Cross Validation.
SMOTE.
Class Weighting.
A 2025 JURNAL FOURIER
Versi online via w.
Adinda Anas Qolbu.
Nina Fitriyati.
Nur Inayah Pendahuluan Penggunaan internet di Indonesia terus meningkat dalam satu dekade terakhir, dengan jumlah pengguna mencapai 185 juta pada awal 2024 .
Seiring dengan meningkatnya kebutuhan internet, kualitas layanan penyedia jaringan menjadi faktor penting yang menentukan kepuasan pengguna.
IndiHome, sebagai penyedia layanan internet terbesar dengan pangsa pasar 67,54% pada 2022 .
, menghadapi banyak keluhan terkait kecepatan, kestabilan koneksi, dan biaya layanan .
Opini publik tersebut terekspresi secara masif di media sosial, khususnya Twitter, sehingga analisis sentimen dapat menjadi sarana strategis untuk mengevaluasi persepsi pelanggan dan mendukung perbaikan layanan.
Dalam penelitian ini.
Twitter dipilih karena merupakan salah satu media sosial yang berfungsi sebagai wadah untuk menampung dan mengekspresikan berbagai opini publik .
Selain itu.
Format unggahannya yang berbasis teks memungkinkan proses pengumpulan dan analisis opini publik secara lebih terstruktur.
Beberapa penelitian di Indonesia juga telah mengkaji penerapan analisis sentimen pada berbagai layanan publik dan perusahaan nasional dengan data yang bersumber dari media sosial Twitter, seperti studi terhadap layanan Gojek .
BMKG Nasional .
, dan Tokopedia .
Penelitian-penelitian ini menunjukkan penerapan analisis sentimen yang luas pada berbagai sektor layanan digital di Indonesia.
Hal ini sejalan dengan fokus penelitian ini yang menelaah persepsi pengguna terhadap layanan IndiHome.
Analisis sentimen berbasis machine learning telah banyak dilakukan dengan algoritma tradisional seperti Nayve Bayes dan SVM .
Namun, penelitian sebelumnya terhadap layanan IndiHome menunjukkan kelemahan pada nilai recall kelas positif yang rendah, masing-masing hanya 57% untuk Nayve Bayes dan 64% untuk SVM .
Hal ini mengindikasikan keterbatasan model tradisional dalam menangkap opini positif.
Di sisi lain, munculnya model berbasis transformer seperti IndoBERT membuka peluang baru, karena mampu memahami konteks bahasa Indonesia secara lebih mendalam dan telah terbukti unggul dalam berbagai tugas Natural Language Processing .
Selain pemilihan model, tantangan lain yang sering muncul adalah ketidakseimbangan kelas data, di mana opini negatif cenderung lebih dominan dibanding positif .
Kondisi ini dapat menyebabkan bias model terhadap kelas mayoritas.
Oleh karena itu, diperlukan penerapan strategi penanganan data tidak seimbang, seperti Synthetic Minority Oversampling Technique (SMOTE) atau pembobotan kelas .
lass weightin.
, agar model mampu mengenali distribusi kelas secara lebih adil.
Dengan mempertimbangkan keterbatasan model tradisional dan tantangan distribusi data yang tidak seimbang tersebut, diperlukan penelitian yang secara komprehensif membandingkan berbagai pendekatan untuk menemukan metode analisis sentimen yang paling efektif.
Oleh karena itu, penelitian ini bertujuan untuk membandingkan performa Nayve Bayes.
SVM, dan IndoBERT dalam analisis sentimen terhadap layanan IndiHome.
serta menganalisis pengaruh penanganan ketidakseimbangan data terhadap kinerja masing-masing model.
Dengan melibatkan pendekatan dari model sederhana hingga model berbasis transformer, penelitian ini diharapkan memberikan gambaran komprehensif terhadap efektivitas berbagai metode analisis sentimen pada konteks layanan internet Indonesia, sekaligus menawarkan rekomendasi pemilihan model yang lebih tepat bagi studi maupun praktik industri.
Landasan Teori Multinomial Nayve Bayes merupakan algoritma klasifikasi berbasis probabilistik yang sering digunakan untuk data teks.
Model ini mengasumsikan bahwa fitur saling independen satu sama lain, dan menghitung probabilitas setiap kelas berdasarkan frekuensi fitur dalam dokumen.
Prinsip utamanya berdasarkan Teorema Bayes, yang dinyatakan sebagai berikut:
= JURNAL FOURIER .
14 29-44 ycE.
ayco )OoycE.
ayco ) ycE.
Performa Nayve Bayes.
SVM, dan IndoBERT.
dengan ycE.
adalah probabilitas posterior dari suatu kelas yayco diberikan vektor fitur ycu, ycE.
yayco ) adalah likelihood, yaitu probabilitas kemunculan fitur ycu jika diketahui kelasnya yayco atau dikenal sebagai probabilitas kondisional, ycE.
ayco ) adalah probabilitas awal .
dari kelas yayco , dan ycE.
adalah likelihood marginal dari fitur ycu .
SVM adalah metode klasifikasi yang bekerja dengan mencari hyperplane optimal yang memisahkan kelas-kelas data dengan margin maksimum.
Model SVM bekerja dengan membangun fungsi keputusan f yce.
, yang dirumuskan sebagai berikut:
= ycycnyciycu(OcycA ycn=1 ycaycn ycycn ya.
cuycn , yc.
, .
dengan yce.
adalah fungsi keputusan untuk menentukan kelas dari input ycu, ycuycn adalah data latih, ycycn adalah label kelas .
ositif atau negati.
, ycaycn adalah koefisien hasil pelatihan, ya.
cuycn , yc.
Adalah fungsi kernel yang mengukur kemiripan antara ycu dan ycuycn , dan yca adalah bias atau konstanta dalam fungsi keputusan .
Transformers adalah arsitektur neural network yang kuat untuk tugas NLP seperti text classification, language translation, dan language modelling.
Berbeda dari neural network tradisional, transformers memproses data sebagai urutan token dan dapat menangani sequence panjang serta memahami hubungan antar-token yang berjauhan .
Mekanisme attention yang merupakan inti dari transformer, membuat model bisa memberi perhatian pada bagian-bagian tertentu dari urutan input saat menghasilkan output.
Dengan kata lain, model tidak melihat semua kata secara sama rata, namun menyesuaikan fokusnya pada kata-kata yang lebih penting sesuai kebutuhan.
Jika diketahui query .
, key .
, dan value .
, maka attention dihitung menggunakan rumus:
c, yco, y.
= ycycuyceycycoycaycu ( ycOoyco ycN Ooyccyco ) yc, .
dengan yccyco adalah ukuran .
dari key .
IndoBERT adalah model transformer berbasis BERT yang dilatih menggunakan dataset Indo4B.
IndoBERT adalah model kontekstual Bahasa Indonesia yang cocok untuk tugas Natural Language Processing seperti analisis sentimen .
BERT (Bidirectional Encoder Representations from Transformer.
diAcpreActrain pada korpus besar (BooksCorpus & Wikipedi.
menggunakan dua unsupervised tasks: Masked Language Modeling (MLM), di mana 15 % token acak diAcmask dan diprediksi ulang, serta Next Sentence Prediction (NSP), yang melatih model memahami hubungan antarAckalimat dengan membedakan kalimat berurutan atau tidak .
Setelah preActraining, model kemudian diAcfineActune .
elanjutkan trainin.
secara endActoAcend dengan menambahkan satu output layer untuk berbagai downstream tasks seperti sentiment classification tanpa mengubah arsitektur inti, sehingga mampu mencapai performa unggul pada berbagai evaluasi NLP.
Penelitian dengan IndoBERT ini diawali dengan memanfaatkan model pre-train indobenchmark/indobert-base-p1 sebagai basis untuk fine-tuning.
Bahan dan Metode Data yang digunakan dalam penelitian ini berupa tweet yang dikumpulkan dari periode Januari 2019 hingga Oktober 2024 dengan kata kunci "indihome" untuk memastikan relevansi topik.
Proses pengumpulan data memperhatikan aspek etika penelitian, termasuk menjaga kerahasiaan identitas pengguna dan mematuhi kebijakan privasi Twitter.
Data mentah kemudian disimpan untuk diproses lebih lanjut, dengan total sebanyak 7393 data.
Berikut adalah langkah-langkah yang digunakan untuk pengolahan data.
Preprocessing Data Tahap ini dilakukan untuk mempersiapkan teks agar dapat diolah secara optimal oleh model klasifikasi.
Langkah pertama adalah pembersihan teks, yaitu menghapus elemen-elemen yang tidak relevan seperti JURNAL FOURIER .
14 29-44 Adinda Anas Qolbu.
Nina Fitriyati.
Nur Inayah URL, hashtag, mention, angka, simbol, dan emotikon.
Selanjutnya, dilakukan case folding untuk mengonversi seluruh teks menjadi huruf kecil.
Proses berikutnya adalah slang normalization, yaitu mengganti kata tidak baku atau singkatan ke bentuk baku.
Setelah itu, stopword removal dilakukan untuk menghapus kata-kata umum yang tidak memiliki makna signifikan dalam analisis.
Tahap terakhir adalah stemming dan lemmatization, yaitu mengembalikan kata ke bentuk dasarnya.
Seluruh proses ini bertujuan untuk menyederhanakan dan menstandarkan data teks sebelum masuk ke tahap klasifikasi.
Pelabelan Data Pelabelan data dilakukan secara manual untuk memastikan akurasi dalam klasifikasi sentimen.
Penelitian ini hanya menggunakan dua kategori sentimen, yaitu positif dan negative.
Sentimen netral tidak disertakan karena sering kali sulit diinterpretasikan secara konsisten.
Tweet dengan sentimen netral umumnya bersifat informatif atau ambigu, sehingga tidak secara tegas mencerminkan sikap pengguna terhadap layanan, baik berupa kepuasan maupun ketidakpuasan.
Kondisi tersebut dapat menurunkan reliabilitas pelabelan.
Oleh karena itu, pembatasan analisis pada dua kelas utama memungkinkan proses klasifikasi yang lebih efisien serta menghasilkan interpretasi hasil yang lebih reliabel.
Proses pelabelan ini dilakukan dengan menganalisis setiap komentar berdasarkan konteksnya, tanpa menggunakan metode otomatis, sehingga menghasilkan data yang lebih sesuai untuk analisis sentimen.
Hasil dari pelabelan manual menunjukan bahwa data terdiri dari 5319 sentimen negatif dan 2074 sentimen positif.
Beberapa contoh tweet dapat dilihat pada Tabel 1.
Tabel 1.
Data Contoh Tweet dan Label Sentimen.
Tweet indihome jelek banget indihome sampah bahagia banget pakai indihome selalu lancar indihome lancar alhamdulillah Sentimen Pembagian Data dan Ekstraksi Fitur Data yang telah melalui tahapan preprocessing dan pelabelan dibagi menjadi dua bagian, yaitu 90% sebagai data latih dan 10% sebagai data uji.
Pembagian ini dilakukan secara konsisten pada semua model.
Dari total 7393 data tweet, sebanyak 6653 data digunakan sebagai data latih, dan 740 data sisanya digunakan sebagai data uji.
Data teks kemudian diubah menjadi fitur numerik menggunakan metode Term Frequency-Inverse Document Frequency (TF-IDF) untuk model machine learning tradisional.
TF-IDF digunakan untuk merepresentasikan seberapa penting suatu kata dalam sebuah dokumen relatif terhadap seluruh korpus, sehingga menghasilkan vektor fitur yang dapat digunakan dalam proses pelatihan model.
Sementara itu, untuk model IndoBERT, proses tokenisasi dilakukan menggunakan tokenizer dari IndoBERT-base-p1.
Tokenizer ini mengubah teks mentah menjadi representasi numerik melalui subword tokenization dengan metode WordPiece.
Setiap teks dikonversi menjadi token sesuai dengan vocabulary IndoBERT, dengan penambahan token khusus [CLS] dan [SEP], lalu diubah menjadi ID numerik.
Untuk menjaga keseragaman panjang input, teks yang lebih pendek akan diberi padding dan yang lebih panjang akan dipotong .
Attention mask juga dihasilkan untuk membedakan token bermakna dari token Penanganan Ketidakseimbangan Data Strategi penanganan ketidakseimbangan data disesuaikan dengan karakteristik masing-masing model.
Pada model Nayve Bayes, yang berbasis pada representasi numerik TF-IDF, digunakan teknik oversampling berupa SMOTE yang mengatasi ketidakseimbangan dengan membuat sampel sintetis dari JURNAL FOURIER .
14 29-44 Performa Nayve Bayes.
SVM, dan IndoBERT.
kelas minoritas .
Untuk model SVM, diterapkan dua pendekatan, yaitu SMOTE dan pembobotan kelas melalui parameter class_weight='balanced'.
Parameter class_weight='balanced' secara otomatis menghitung bobot masing-masing kelas berdasarkan kebalikan dari frekuensi kemunculannya dalam dataset, sehingga kelas dengan frekuensi yang lebih rendah mendapatkan bobot yang lebih tinggi .
Adapun pada model IndoBERT, ketidakseimbangan kelas ditangani dengan pendekatan serupa, yakni pembobotan kelas yang diterapkan pada fungsi loss selama proses pelatihan.
Pemodelan dan Klasifikasi Terdapat tiga model yang digunakan dalam menganalisis sentimen, yaitu dua model machine learning tradisional yaitu Nayve Bayes dan SVM serta satu model berbasis transformer, yaitu IndoBERT.
Untuk model Naive Bayes dan SVM, konfigurasi awal digunakan secara default.
Sementara itu, model IndoBERT yang memiliki arsitektur lebih kompleks dan performa yang lebih sensitif terhadap perubahan hyperparameter, dilakukan proses tuning ringan guna menyesuaikan dengan karakteristik data.
Proses ini tetap dijaga agar tidak terlalu agresif, demi menjaga keadilan dalam perbandingan antar model.
Adapun hyperparameter pada masing-masing model.
Nayve Bayes menggunakan alpha sebagai penghalusan .
untuk menghindari pembagian dengan nol dan menjaga stabilitas ketika menghadapi fitur yang jarang.
SVM menggunakan C untuk mengatur margin dan kesalahan, kernel untuk memetakan data non-linear, dan gamma untuk mengontrol pengaruh tiap titik data.
IndoBERT menggunakan learning rate untuk pembaruan bobot, batch size untuk jumlah data per pembaruan, dropout rate sebagi persentase neuron yang dinonaktifkan secara acak selama pelatihan untuk mencegah overfitting, dan epochs sebagai jumlah siklus pelatihan.
Tabel 2.
Hyperparameter Model.
Model Nayve Bayes SVM IndoBERT Hyperparameter Nilai Learning rate Batch size Dropout rate Epochs Pelatihan dan Evaluasi Model Untuk mengukur ketangguhan dan kestabilan performa model, digunakan metode stratified 10-fold cross validation pada data latih.
Model dilatih dan divalidasi sebanyak sepuluh kali pada fold berbeda, dan rata-rata akurasi dari seluruh fold digunakan sebagai indikator awal performa model.
Setelah validasi, model akhir dilatih ulang dengan seluruh data latih, lalu dievaluasi pada data uji.
Evaluasi performa dilakukan menggunakan sejumlah metrik, yaitu akurasi, precision, recall, dan F1score.
Akurasi mengukur persentase data yang diprediksi dengan benar dari seluruh data, precision menunjukkan seberapa banyak data yang diprediksi positif memang benar-benar positif, recall menunjukkan seberapa banyak data positif yang berhasil dikenali dengan benar, sedangkan F1-score merupakan rata-rata harmonik dari precision dan recall .
Rumus dari masing-masing metrik dapat dituliskan sebagai berikut:
ycNycE ycNycA yaycoycycycaycycn = ycNycE ycNycA yaycE yaycA, .
JURNAL FOURIER .
14 29-44 Adinda Anas Qolbu.
Nina Fitriyati.
Nur Inayah ycEycyceycaycnycycnycuycu = ycIyceycaycaycoyco = ycNycE ycNycE yaycE ycNycE ycNycE yaycA ycEycyceycaycnycycnycuycuyycIyceycaycaycoyco ya1 Oe ycIycaycuycyce = 2 y ycEycyceycaycnycycnycuycu ycIyceycaycaycoyco, .
dengan TP (True Positiv.
: jumlah prediksi positif yang benar.
TN (True Negativ.
: jumlah prediksi negatif yang benar.
FP (False Positiv.
: jumlah prediksi positif yang salah, dan FN (False Negativ.
jumlah prediksi negatif yang salah.
Selain itu, digunakan juga F1-score macro yang dirumuskan sebagai rata-rata aritmatika dari F1-score tiap kelas .
ycAycaycaycycu Oe ya1 = yco Ocycoycn=1 ya1ycn Metrik F1-score macro dipilih pada tabel perbandingan antar model karena metrik ini memberikan penilaian rata-rata terhadap seluruh kelas secara seimbang, sehingga cocok digunakan dalam kondisi data yang tidak seimbang.
Secara garis besar, pengolahan data yang dilakukan pada penelitian ini terangkum pada Gambar 3.
Gambar 1.
Alur Penelitian Analisis Sentimen IndiHome.
JURNAL FOURIER .
14 29-44
Performa Nayve Bayes.
SVM, dan IndoBERT.
Hasil dan Pembahasan Berdasarkan data, hasil pelabelan pada data Twitter diperoleh distribusi kelas untuk sentimen positif dan negatif adalah sebagai berikut:
Tabel 3.
Distribusi Awal Data Sentimen Twitter terhadap IndiHome.
Sentimen Negatif Positif Total Jumlah Data Berdasarkan Tabel 3, terdapat ketidakseimbangan distribusi kelas.
Dari total 7393 tweet, kelas sentimen negatif mendominasi dengan jumlah 5319 data, diikuti oleh kelas positif sebanyak 2074.
Ketidakseimbangan ini berpotensi memengaruhi kinerja model, khususnya dalam mengenali sentimen minoritas .
Evaluasi Model Tanpa Penanganan Ketidakseimbangan Data Bagian ini menyajikan hasil evaluasi model klasifikasi sentimen tanpa penanganan terhadap ketidakseimbangan data.
Tujuan dari analisis ini adalah untuk mengetahui performa awal dari masingmasing model terhadap distribusi data yang tidak seimbang.
Untuk melihat stabilitas model, dilakukan 1 Ae 10 fold cross validation pada data latih untuk model Nayve Bayes.
SVM, dan IndoBERT.
Hasil akurasi tertera pada Tabel 4.
Berdasarkan tabel ini, model Nayve Bayes memiliki akurasi yang stabil, berkisar 89 hingga 0.
92, dengan rata-rata sebesar 0.
Model SVM tampil konsisten dengan akurasi 92 hingga 0.
95, menghasilkan rata-rata 0.
Sementara itu.
IndoBERT mencatatkan akurasi tertinggi di antara ketiganya, yaitu antara 0.
94 hingga 0.
97, dengan rata-rata 0.
Hasil validasi ini menunjukkan bahwa, pada tahap pelatihan.
IndoBERT menunjukkan potensi kinerja yang lebih unggul dibandingkan dua model tradisional lainnya.
Namun, performa akhir model tetap perlu dikonfirmasi melalui evaluasi pada data uji terpisah.
Tabel 4.
Hasil Akurasi Stratified 10-Fold Cross Validation.
Fold Nayve Bayes SVM IndoBERT Rata-rata Setelah dilakukan evaluasi melalui cross-validation, model akhir diujikan pada data uji untuk mengukur performa generalisasi.
Performa klasifikasi menggunakan model Nayve Bayes tertera pada Tabel 5.
Pada model ini, terlihat bahwa kelas negatif menunjukkan performa yang sangat baik dengan nilai recall sebesar 0.
99 dan precision sebesar 0.
88, yang berarti model mampu mengenali hampir seluruh JURNAL FOURIER .
14 29-44 Adinda Anas Qolbu.
Nina Fitriyati.
Nur Inayah data Negatif dengan cukup akurat.
Di sisi lain, performa pada kelas positif menunjukkan ketidakseimbangan, dengan precision yang sangat tinggi 0.
97 namun recall yang rendah 0.
Hal ini mengindikasikan bahwa meskipun prediksi positif yang dihasilkan sangat tepat, model hanya mampu mengenali sebagian kecil dari seluruh data positif yang ada.
Akurasi keseluruhan model mencapai 0.
yang tergolong baik, tetapi adanya perbedaan performa yang mencolok antar kelas menjadi perhatian dalam evaluasi model ini.
Tabel 5.
Performa Klasifikasi Naive Bayes.
Sentimen F1-score Negatif Positif Akurasi Performa klasifikasi menggunakan model SVM tertera pada Tabel 6.
Kinerja menggunakan model SVM lebih seimbang dibandingkan model Naive Bayes.
Kelas negatif mencapai nilai precision sebesar 95 dan recall sebesar 0.
98, menghasilkan F1-score yang sangat tinggi, yaitu 0.
Hal ini menunjukkan bahwa model sangat andal dalam mengenali sentimen negatif tanpa banyak kesalahan.
Sementara itu, kelas positif juga memperoleh precision yang tinggi sebesar 0.
93, namun recall-nya sedikit lebih rendah, 84, menghasilkan F1-score sebesar 0.
Secara keseluruhan, akurasi model SVM mencapai 0.
menunjukkan peningkatan signifikan dibandingkan dengan Nayve Bayes.
Hasil ini sejalan dengan temuan dalam .
, bahwa SVM lebih mampu menangani kompleksitas data sentimen berbasis media sosial dibandingkan Naive Bayes.
Tabel 6.
Performa Klasifikasi SVM.
Sentimen Precision Recall F1-score Negatif Positif Akurasi Performa klasifikasi menggunakan model IndoBERT tertera pada Tabel 7.
Model IndoBERT memberikan performa tertinggi di antara ketiga model yang diuji.
Pada kelas negatif, precision dan recall 97, menghasilkan F1-score yang sangat tinggi sebesar 0.
Artinya, model sangat andal dalam mendeteksi dan mengklasifikasikan data negatif secara akurat dan konsisten.
Sementara itu, kelas positif memperoleh precision dan recall sebesar 0.
92, dengan F1-score yang sama 0.
92, yang juga tergolong sangat baik dan menunjukkan bahwa model mampu mengenali sebagian besar data positif dengan tingkat kesalahan yang relatif rendah.
Akurasi total sebesar 0.
96 mengindikasikan bahwa IndoBERT adalah model dengan performa terbaik dalam klasifikasi sentimen pada dataset ini, dengan keseimbangan antara precision dan recall yang tinggi untuk kedua kelas.
Tabel 7.
Performa Klasifikasi IndoBERT.
Sentimen Precision Recall F1-score Negatif Positif Akurasi Untuk memperkuat klaim keunggulan model, dilakukan pengujian statistik terhadap hasil akurasi dari ketiga model berdasarkan hasil Stratified 10-Fold Cross Validation (Tabel .
Berdasarkan hasil perhitungan confidence interval .
%), model Nayve Bayes memperoleh rata-rata akurasi sebesar 0.
JURNAL FOURIER .
14 29-44
Performa Nayve Bayes.
SVM, dan IndoBERT.
A 0.
SVM sebesar 0.
9360 A 0.
0060, dan IndoBERT sebesar 0.
9610 A 0.
Nilai ini menunjukkan bahwa IndoBERT memiliki rata-rata akurasi tertinggi dengan rentang ketidakpastian yang relatif kecil, menandakan performa yang stabil di berbagai fold.
Selanjutnya, untuk memastikan bahwa perbedaan performa antar model bersifat signifikan secara statistik, dilakukan uji Wilcoxon Signed-Rank Test terhadap hasil akurasi tiap fold.
Hasil pengujian menunjukkan bahwa perbedaan antara setiap pasangan model signifikan dengan nilai p-value sebesar 002 .
< 0.
, baik antara Nayve Bayes dan SVM.
Nayve Bayes dan IndoBERT, maupun SVM dan IndoBERT.
Dengan demikian, dapat disimpulkan bahwa IndoBERT secara signifikan mengungguli Nayve Bayes dan SVM dalam performa klasifikasi sentimen pada dataset ini.
Temuan dalam penelitian ini yang menunjukkan keunggulan IndoBERT dibandingkan Nayve Bayes dan SVM sejalan dengan studi sebelumnya.
Misalnya, .
menyatakan bahwa dalam analisis sentimen terhadap tweet terkait bencana alam.
IndoBERT mencapai akurasi sebesar 91%, jauh lebih tinggi dibandingkan dengan Nayve Bayes yang hanya mencapai 74%.
Selain itu, .
juga menunjukkan bahwa sebagian besar model deep learning, termasuk IndoBERT, mampu mengungguli baseline SVM.
Hasilhasil tersebut memperkuat temuan bahwa model berbasis transformer seperti IndoBERT memiliki kapabilitas yang lebih tinggi dalam memahami konteks teks dan menangani kompleksitas bahasa alami dibandingkan model pembelajaran mesin tradisional.
Evaluasi Model Dengan Penanganan Ketidakseimbangan Data Pada bagian ini akan disajikan hasil evaluasi model klasifikasi sentimen setelah dilakukan penanganan terhadap ketidakseimbangan data.
Tujuan dari evaluasi ini adalah untuk menilai sejauh mana teknik penanganan ketidakseimbangan mampu meningkatkan performa masing-masing model, baik dari segi kestabilan saat pelatihan .
ross-validatio.
maupun akurasi pada data uji.
Tabel 8 menunjukkan distribusi kelas pada data pelatihan sebelum dan sesudah dilakukan oversampling menggunakan SMOTE.
Tabel 8.
Perbandingan Distribusi Sentimen Sebelum dan Sesudah SMOTE.
Sentimen Negatif Positif Jumlah Tanpa SMOTE Dengan SMOTE Setelah dilakukan penanganan data, hasil akurasi 1 Ae 10 fold cross validation untuk model Nayve Bayes.
SVM, dan IndoBERT ditampilkan pada Tabel 9.
Berdasarkan tabel ini, model Nayve Bayes mengalami peningkatan rata-rata akurasi dari 0.
90 menjadi 0.
92 setelah diterapkannya SMOTE.
Hal ini menunjukkan bahwa penyeimbangan data melalui oversampling memberikan dampak positif pada model Pada model SVM menunjukkan rata-rata akurasi yang sama antara pendekatan SMOTE dan pembobotan kelas, yaitu sebesar 0.
Namun pendekatan menggunakan pembobotan kelas menghasilkan sedikit peningkatan pada beberapa fold dan cenderung mempertahankan akurasi yang lebih tinggi.
Sementara itu, model IndoBERT menunjukkan hasil yang konsisten pada setiap fold, dengan rata-rata akurasi sebesar 0.
96 baik sebelum maupun sesudah penerapan pembobotan kelas pada fungsi loss, sehingga dapat disimpulkan bahwa pembobotan kelas tidak memberikan pengaruh signifikan terhadap performa model ini.
Tabel 9.
Hasil Akurasi Stratified 1-10 Fold Cross Validation dengan Penanganan Data Tidak Seimbang.
Fold
Nayve Bayes (SMOTE) SVM
(SMOTE)
SVM
(Pembobotan Kela.
IndoBERT (Pembobotan Kela.
JURNAL FOURIER .
14 29-44 Adinda Anas Qolbu.
Nina Fitriyati.
Nur Inayah Rata-rata Ketiga model yang dihasilkan pada data latih kemudian diujikan pada data uji dan performa klasifikasi tertera pada Tabel 10 - 13.
Performa klasifikasi tertera menggunkan Naive Bayes (SMOTE) disajikan pada Tabel 10.
Model ini mengalami peningkatan performa yang cukup signifikan setelah diterapkan SMOTE.
Recall pada kelas positif meningkat dari 0.
61 menjadi 0.
88, yang menandakan bahwa model kini mampu mengenali lebih banyak data positif.
F1-score kelas positif juga meningkat dari 0.
74 menjadi Akurasi keseluruhan model naik menjadi 0.
Tabel 10.
Performa Klasifikasi Naive Bayes (SMOTE).
Sentimen Precision Recall F1-score Negatif Positif Akurasi Performa klasifikasi tertera menggunkan SVM (SMOTE) disajikan pada Tabel 11.
Pada model SVM.
SMOTE hanya memberikan dampak yang sangat kecil, dengan sedikit peningkatan pada F1-score kelas positif dari 0.
88 menjadi 0.
89, namun tidak mempengaruhi akurasi secara keseluruhan.
Hal ini menunjukkan bahwa SMOTE hanya memberi dampak kecil pada keseimbangan klasifikasi SVM.
Selain itu.
SVM diuji menggunakan pembobotan kelas otomatis melalui parameter class_weight='balanced'.
Penerapan pembobotan kelas pada SVM meningkatkan akurasi menjadi 0.
95, dengan F1-score kelas positif naik menjadi 0.
90 dan kelas negatif menjadi 0.
ihat Tabel .
Hal ini menunjukkan bahwa pembobotan kelas lebih efektif daripada SMOTE dalam meningkatkan performa SVM pada data tidak Tabel 11.
Performa Klasifikasi SVM (SMOTE).
Sentimen Precision Recall F1-score Negatif Positif Sentimen Precision Recall F1-score Negatif Positif Akurasi Tabel 12.
Performa Klasifikasi SVM .
embobotan kela.
Akurasi Untuk model IndoBERT .
lass wightin.
, performa ditunjukkan pada Tabel 13.
Berdasarkan Tabel 13, klasifikasi menggunakan model IndoBERT .
lass wightin.
menunjukkan performa terbaik, dengan keseimbangan precision dan recall yang tinggi pada kedua kelas.
F1-score untuk kelas Positif naik dari JURNAL FOURIER .
14 29-44 Performa Nayve Bayes.
SVM, dan IndoBERT.
anpa pembobota.
Meskipun kenaikannya relatif kecil, hasil ini menunjukkan bahwa pembobotan kelas tetap memberikan dampak positif.
Penemuan ini konsisten dengan studi sebelumnya seperti yang dilakukan oleh .
yang menerapkan teknik pembobotan kelas untuk penaganan ketidakseimbangan data dan menyatakan bahwa pendekatan tersebut meningkatkan F1-score dengan mengurangi underprediction terhadap kelas minoritas.
Tabel 13.
Performa Klasifikasi IndoBERT .
embobotan kela.
Sentimen Precision Recall F1-score Negatif Positif Akurasi Dengan demikian, dapat dilihat bahwa teknik penanganan ketidakseimbangan data memberikan dampak yang bervariasi terhadap performa model.
Nayve Bayes menunjukkan peningkatan signifikan setelah penerapan SMOTE, sedangkan SMOTE dan pembobotan kelas memberikan sedikit peningkatan pada SVM.
Model IndoBERT relatif stabil dan menunjukkan performa tinggi bahkan tanpa penanganan Pnerapan pembobotan kelas memberikan peningkatan yang sangat kecil, namun secara keseluruhan tidak cukup signifikan untuk dianggap meningkatkan performa model secara substansial.
Ringkasan performa akhir model pada data uji ditampilkan pada Tabel 14.
Tabel 14.
Perbandingan Performa Seluruh Model pada Data Uji.
Model Nayve Bayes SVM IndoBERT Penanganan Akurasi F1-score Macro Tidak Ada SMOTE Tidak Ada SMOTE Pembobotan kelas Tidak Ada Pembobotan kelas Berdasarkan Tabel 14, peningkatan performa yang paling mencolok terlihat pada model Nayve Bayes setelah penerapan SMOTE, dengan kenaikan pada akurasi dari 0.
89 menjadi 0.
92 dan F1-score macro 84 menjadi 0.
Hal ini menunjukkan bahwa SMOTE efektif meningkatkan performa model, terutama dalam menangani ketidakseimbangan data dan mengenali kelas minoritas.
Hasil ini diperkuat oleh temuan dalam penelitian oleh .
melaporkan bahwa akurasi Naive Bayes meningkat dari 78.
90% setelah penerapan SMOTE.
Pada model SVM.
SMOTE tidak memberikan perubahan yang berarti, sementara pembobotan kelas justru meningkatkan akurasi dan F1-score macro, menjadikannya strategi yang lebih sesuai untuk model Temuan ini sejalan dengan penelitian oleh .
, yang menyatakan bahwa pembobotan kelas secara seimbang .
eperti class_weight = 'balanced' untuk SVM dan Regresi Logistik, dan bobot serupa untuk model XGBoost dan Random Fores.
mampu meningkatkan kinerja model terhadap kelas minoritas tanpa menyebabkan overfitting, berbeda dengan metode oversampling seperti SMOTE yang justru menyebabkan overfitting pada beberapa model.
IndoBERT tetap menjadi model dengan performa tertinggi di antara seluruh model yang diuji.
Tanpa penanganan khusus pun model ini sudah mencapai Namun penerapan pembobotan kelas pada model IndoBERT tidak memberikan peningkatan performa yang signifikan.
Akurasi model tetap berada pada angka 0.
96, dan F1-score macro juga tetap berada di angka 0.
JURNAL FOURIER .
14 29-44
Adinda Anas Qolbu.
Nina Fitriyati.
Nur Inayah Meskipun data tidak seimbang, penerapan penanganan ketidakseimbangan data pada SVM dan IndoBERT tidak memberikan peningkatan performa yang signifikan.
Hal ini diduga karena performa awal model sudah tergolong tinggi, sehingga ruang perbaikannya terbatas.
Selain itu, jumlah data kelas minoritas secara absolut masih cukup besar dan representatif, serta model memiliki kemampuan representasi fitur yang kuat yaitu TF-IDF pada SVM dan contextual embedding pada IndoBERT.
IndoBERT sendiri dikenal cukup robust terhadap ketidakseimbangan data karena dilatih secara luas pada beragam korpus.
Di sisi lain.
Nayve Bayes menunjukkan peningkatan setelah penerapan SMOTE karena meskipun performa awal Nayve Bayes cukup tinggi secara akurasi, ketidakseimbangan performa antar kelas sangat terlihat, sehingga masih terdapat ruang perbaikannya.
Selain itu, algoritma Nayve Bayes sangat bergantung pada estimasi probabilitas fitur terhadap kelas, sehingga penambahan data sintetis membantu mengurangi bias pada kelas minoritas.
Secara keseluruhan, hasil penelitian ini menunjukkan bahwa pada penelitian ini SMOTE paling efektif diterapkan pada Nayve Bayes untuk meningkatkan sensitivitas terhadap kelas minoritas.
Sementara itu, pembobotan kelas lebih sesuai digunakan pada SVM.
IndoBERT, sebagai model berbasis pretrained language model, telah menunjukkan performa tinggi tanpa penanganan khusus, dan hanya mengalami peningkatan kecil setelah pembobotan kelas.
Temuan ini menegaskan bahwa efektivitas teknik penanganan ketidakseimbangan data sangat bergantung pada jenis model yang digunakan serta konteks data yang dianalisis.
Word Cloud dan Tren Sentimen Untuk melengkapi analisis hasil model, dilakukan proses prediksi terhadap seluruh data yang tersedia.
Langkah ini tidak bertujuan untuk mengevaluasi performa model seperti akurasi atau metrik lainnya, melainkan untuk memahami kecenderungan model dalam memetakan distribusi sentimen.
Informasi ini dimanfaatkan lebih lanjut dalam visualisasi word cloud dan analisis tren sentimen berdasarkan distribusi sentimen yang diprediksi oleh model terbaik.
Distribusi hasil prediksi model terbaik, yaitu IndoBERT dengan pembobotan kelas dibandingkan dengan distribusi data asli ditampilkan pada Tabel 15.
Tabel 15.
Distribusi Sentimen Asli vs Prediksi IndoBERT .
embobotan kela.
Sentimen Negatif Positif Distribusi Asli Prediksi IndoBERT Dari Tabel 15, terlihat bahwa distribusi prediksi sangat mendekati distribusi sentimen asli.
Perbedaan jumlah antara distribusi asli dan hasil prediksi hanya berselisih 6 data pada masing-masing kelas, yang menunjukkan bahwa model memiliki kecenderungan prediksi yang sangat seimbang terhadap dua kelas Kelas negatif sedikit lebih banyak diprediksi daripada jumlah aslinya, namun selisih tersebut relatif kecil dan tidak menunjukkan adanya bias signifikan terhadap salah satu kelas.
Keseimbangan prediksi ini menunjukkan bahwa IndoBERT mampu menangkap pola distribusi sentimen dalam data secara menyeluruh.
Oleh karena itu, hasil prediksi ini dianggap representatif dan dapat digunakan sebagai dasar untuk analisis lanjut dalam visualisasi word cloud dan analisis tren sentimen.
Untuk memberikan gambaran visual mengenai sentimen yang terkandung dalam data, berikut ditampilkan word cloud yang menggambarkan kata-kata yang paling sering muncul dalam sentimen positif dan negatif.
JURNAL FOURIER .
14 29-44
Performa Nayve Bayes.
SVM, dan IndoBERT.
Gambar 2.
Word Cloud Sentimen Positif.
Visualisasi word cloud untuk sentimen positif memperlihatkan kata-kata yang paling sering muncul dalam tweet bernada positif terhadap layanan.
Kata-kata yang paling dominan adalah "pelanggan", "cepat", "terima kasih", "lancar", "layanan", dan "paket".
Keberadaan kata "cepat" dan "lancar" menunjukkan bahwa kecepatan dan kestabilan layanan merupakan aspek yang paling diapresiasi oleh pengguna, sedangkan frasa "terima kasih" mengindikasikan adanya kepuasan dan penghargaan terhadap pelayanan yang diterima.
Selain itu, munculnya kata seperti AupaketAy.
AupromoAy, dan AuchannelAy menunjukkan perhatian pengguna terhadap berbagai penawaran menarik dan variasi layanan hiburan yang tersedia.
Secara keseluruhan, word cloud ini menunjukkan bahwa sentimen positif didominasi oleh apresiasi terhadap kecepatan, kestabilan layanan, dan penawaran menarik.
Beberapa tweet yang mewakili word cloud sentimen positif ini antara lain.
AuSuka deh IndiHome cepat giniAy.
AuBahagia banget pakai IndiHome selalu lancarAy, dan AuTerima kasih IndiHome cepat respons sekaliAy.
Apresiasi terhadap penawaran hiburan juga terlihat pada tweet seperti AuMalam minggu nonton film action menarik di UseeTV IndiHome selagi promonya masih panjangAy.
Temuan dari visualisasi word cloud ini, konsisten dengan hasil penelitian sebelumnya yang menyoroti pentingnya keandalan dan empati layanan.
Sebagai contoh, dalam konteks layanan IndiHome, penelitian oleh .
menemukan bahwa tingkat reliabilitas dan empati sangat berperan dalam meningkatkan kepuasan pelanggan.
Temuan ini dapat menjadi masukan bagi IndiHome untuk terus mempertahankan dan meningkatkan aspek kecepatan serta kestabilan koneksi, yang menjadi kekuatan utama di mata pengguna.
Selain itu, strategi promosi yang relevan dan transparan mengenai paket dan channel layanan dapat diperkuat untuk meningkatkan kepuasan dan loyalitas pelanggan.
Gambar 3.
Word Cloud Sentimen Negatif.
Visualisasi word cloud untuk sentimen negatif menunjukkan bahwa kata "lambat" merupakan kata yang paling dominan, ini mencerminkan keluhan utama pengguna terhadap kecepatan internet yang tidak Kata-kata seperti AugangguAy.
AuerorAy, dan AumasalahAy menunjukkan berbagai kendala teknis yang sering dialami pelanggan.
Istilah AutagihAy.
AulagAy.
AumatiAy, dan AuputusAy mengindikasikan adanya ketidakpuasan terhadap layanan, terutama dalam aspek kestabilan koneksi dan sistem penagihan.
Selain itu, penggunaan kata-kata dengan konotasi emosional yang kuat seperti AuanjingAy.
AujelekAy, dan AukesalAy menggambarkan tingkat frustrasi tinggi yang dirasakan oleh pelanggan terhadap layanan IndiHome.
Word cloud sentimen negatif ini secara keseluruhan mencerminkan tingginya tingkat ketidakpuasan dan frustrasi pengguna terhadap berbagai aspek layanan IndiHome, khususnya terkait kecepatan, kestabilan koneksi, dan sistem penagihan.
JURNAL FOURIER .
14 29-44
Adinda Anas Qolbu.
Nina Fitriyati.
Nur Inayah Beberapa tweet yang mewakili word cloud sentimen negatif ini antara lain.
AuKacau lambat IndiHome anjingAy.
AuIndiHome eror terus sih, bikin kesal lagi banyak deadline gituAy.
AuAnjing ngeselin memang IndiHome, tiba-tiba WiFi matiAy, dan AuTagihan Telkom IndiHome mendadak naikAy.
Kutipan-kutipan ini memperkuat hasil visualisasi word cloud tersebut.
Temuan ini menjadi bahan evaluasi penting bagi IndiHome untuk memprioritaskan perbaikan pada aspek kecepatan internet, kestabilan koneksi, dan sistem penagihan.
Selain itu, peningkatan kualitas layanan pelanggan dan mekanisme penanganan keluhan yang responsif juga diperlukan, mengingat tingginya ekspresi frustrasi dalam tweet pelanggan.
Gambar 4.
Tren Sentimen IndiHome per Tahun.
Grafik menunjukkan bahwa sepanjang periode 2019Ae2024, sentimen negatif secara konsisten mendominasi dibandingkan sentimen positif.
Puncak keluhan terjadi pada tahun 2020, di mana jumlah tweet negatif mencapai titik tertinggi.
Hal ini kemungkinan berkaitan dengan peningkatan penggunaan internet selama masa pandemi COVID-19, hal ini sejalan dengan temuan penelitian bahwa pandemi tersebut menyebabkan peningkatan lalu lintas internet sebesar 15-20% hanya dalam waktu satu minggu .
Setelah 2020, jumlah sentimen negatif menurun pada 2021 dan relatif stabil hingga 2024, meskipun tetap berada pada angka yang tinggi.
Sementara itu, sentimen positif mengalami fluktuasi, dengan kenaikan tertinggi pada tahun 2022, yang kemungkinan mengindikasikan adanya perbaikan layanan atau strategi promosi yang berhasil pada tahun tersebut.
Namun, tren positif ini tidak bertahan lama, karena terjadi penurunan kembali pada 2023 dan terus menurun hingga 2024.
Secara keseluruhan, tren ini menunjukkan bahwa meskipun terdapat upaya perbaikan, persepsi negatif terhadap layanan IndiHome masih cukup dominan.
Tren ini menunjukkan perlunya peningkatan kualitas layanan secara berkelanjutan dan respons yang lebih cepat terhadap keluhan pelanggan.
IndiHome juga dapat melakukan evaluasi mendalam terhadap strategi yang diterapkan pada tahun 2022, yang tampaknya berhasil meningkatkan sentimen positif, untuk diterapkan kembali secara lebih konsisten di tahun-tahun berikutnya.
Analisis lebih lanjut terhadap penyebab naik turunnya persepsi pengguna dapat menjadi dasar untuk pengambilan keputusan strategis berbasis data.
Kesimpulan Penelitian ini membandingkan performa tiga model dalam analisis sentimen Twitter terkait layanan IndiHome, yaitu Nayve Bayes.
Support Vector Machine (SVM), dan IndoBERT.
Hasil menunjukkan bahwa IndoBERT memberikan performa terbaik dengan akurasi 0,96 dan F1-score makro 0,95, menegaskan keunggulan model berbasis transformer dalam memahami konteks bahasa Indonesia.
SVM
menunjukkan kinerja lebih baik daripada Nayve Bayes, terutama dengan penerapan pembobotan kelas yang meningkatkan akurasi hingga 0,95.
Sementara itu.
Nayve Bayes memperoleh peningkatan signifikan JURNAL FOURIER .
14 29-44 Performa Nayve Bayes.
SVM, dan IndoBERT.
setelah penerapan SMOTE, dari akurasi 0,89 menjadi 0,92 dan F1-score makro dari 0,84 menjadi 0,90.
Temuan ini menunjukkan bahwa strategi penanganan data tidak seimbang lebih berdampak pada model tradisional, sedangkan IndoBERT relatif stabil bahkan tanpa penanganan tambahan.
Selain evaluasi kuantitatif, analisis word cloud dan tren sentimen mengonfirmasi bahwa opini negatif masih mendominasi persepsi publik terhadap IndiHome, terutama terkait kecepatan dan kestabilan layanan, dengan puncak keluhan terjadi pada masa pandemi tahun 2020.
Kontribusi utama penelitian ini adalah memberikan bukti empiris bahwa IndoBERT lebih unggul dalam klasifikasi sentimen berbahasa Indonesia dibandingkan model tradisional, sekaligus menunjukkan relevansi teknik penyeimbangan data untuk meningkatkan kinerja algoritma sederhana seperti Nayve Bayes.
Namun, penelitian ini memiliki keterbatasan, antara lain data hanya bersumber dari Twitter dan fokus pada dua kelas sentimen .
ositif dan negati.
Penelitian selanjutnya dapat memperluas analisis ke platform media sosial lain, menambahkan kategori sentimen netral, serta mengeksplorasi model transformer lain seperti IndoRoBERTa atau IndoGPT untuk melihat perbandingan performa yang lebih luas.
Referensi