Jurnal Informatika dan Teknologi Pendidikan Vol.
No.
1 - Juni 2026.
Hal.
DOI: 10.
59395/jitp.
Analisis Sentimen Berbasis Aspek Ulasan Aplikasi Roblox Berbahasa Indonesia Menggunakan IndoBERT dengan Augmentasi Data Berbasis LLM Yolanda Gloria1.
Dedi Saputra2.
Siti Nurdiani3.
Eva Meilinda4 Program Studi Informatika.
Universitas Bina Sarana Informatika.
Pontianak.
Kalimantan Barat.
Indonesia e-mail: 15220466@bsi.
id1, dedi.
dst@bsi.
id2, siti.
sxd@bsi.
id3, eva.
emd@bsi.
Received:
Revised:
Accepted:
Available online:
Abstract: Roblox stands out as one of the most widely adopted online gaming platforms in Indonesia, generating a large and continuously growing volume of Indonesian-language reviews on Google Play Store.
Earlier studies typically assigned a single sentiment label per review, leaving specific aspectss users praise or criticize unidentified.
This study implements Aspect-Based Sentiment Analysis (ABSA) using IndoBERT fine-tuned independently for four aspects: technical, system, content, and social.
The dataset consists of 3,619 cleaned and labeled reviews annotated through a hybrid strategy combining the Llama-4-Scout-17B model with manual verification.
Neutral-class scarcity was resolved by generating 550 synthetic samples via Llama 3 70B.
Results show average F1-Macro improved substantially from 0.
5739 to 0.
8550 after augmentation, with all aspects surpassing the 0.
80 threshold and outperforming the XLM-RoBERTa baseline .
ablation study confirms data augmentation as the most critical pipeline component, statistically validated through McNemarAos Test .
< 0.
LIME-based interpretability reveals contextual linguistic patterns, while error analysis identifies vulnerabilities in underrepresented classes.
Sentiment distribution shows the System aspect is the most negatively reviewed .
8%), while Content receives the most positive feedback .
3%).
This study validates the effectiveness of combining IndoBERT with LLM-based augmentation for multidimensional sentiment analysis of informal and imbalanced Indonesian-language game reviews.
Keywords: Aspect-Based Sentiment Analysis.
IndoBERT.
Transformer.
Game Application Reviews.
Data Augmentation.
Roblox.
Abstrak: Roblox merupakan salah satu platform permainan daring yang paling banyak digunakan di Indonesia, menghasilkan volume ulasan berbahasa Indonesia yang besar dan terus bertambah di Google Play Store.
Kajian terdahulu umumnya hanya menetapkan satu label sentimen tunggal per ulasan tanpa diferensiasi Penelitian ini mengimplementasikan Aspect-Based Sentiment Analysis (ABSA) menggunakan model IndoBERT yang di-fine-tune secara independen untuk empat aspek: teknis, sistem, konten, dan sosial.
Dataset terdiri dari 3.
619 ulasan berlabel menggunakan strategi anotasi hibrida antara model Llama-4-Scout-17B dan verifikasi manual.
Kelangkaan kelas netral diatasi dengan membangkitkan 550 sampel sintetis melalui Llama 3 70B.
Hasil eksperimen menunjukkan rata-rata F1-Macro meningkat dari 0,5739 menjadi 0,8550 pascaaugmentasi, seluruh aspek melampaui ambang 0,80 dan mengungguli baseline XLM-RoBERTa .
,8.
Ablation study mengkonfirmasi augmentasi data sebagai komponen terpenting, terkonfirmasi secara statistik melalui McNemarAos Test .
< 0,.
Analisis LIME mengungkap pola kebahasaan kontekstual, sedangkan analisis error mengidentifikasi kelemahan pada kelas minoritas.
Aspek Sistem paling banyak mendapat ulasan negatif .
,8%), sementara aspek Konten paling banyak mendapat apresiasi positif .
,3%).
Penelitian ini memvalidasi efektivitas kombinasi IndoBERT dengan augmentasi berbasis LLM untuk analisis sentimen multidimensi pada ulasan game berbahasa Indonesia.
Kata kunci: Analisis Sentimen Berbasis Aspek.
IndoBERT.
Transformer.
Ulasan Aplikasi Game.
Augmentasi Data.
Roblox.
PENDAHULUAN
Pertumbuhan ekosistem permainan daring di Indonesia berlangsung dengan laju yang sangat pesat, seiring semakin meluasnya penetrasi smartphone di berbagai kalangan masyarakat.
Di tengah persaingan platform yang semakin ketat.
Roblox berhasil menorehkan tingkat popularitas yang sangat tinggi, khususnya di tengah komunitas generasi muda.
Besarnya basis pengguna aktif tersebut secara otomatis menghasilkan volume ulasan baru yang besar di Google Play Store ulasan yang menyimpan pendapat otentik terkait pengalaman bermain, penilaian terhadap fitur-fitur yang tersedia, maupun berbagai permasalahan yang dihadapi pengguna.
Sitorus et al.
menegaskan bahwa data ulasan pengguna game di Google Play Store dapat dimanfaatkan sebagai sumber yang andal untuk mengukur kualitas layanan dan pengalaman pengguna secara lebih terstruktur dan berbasis data.
Persoalan mendasar yang muncul adalah ketika volume ulasan telah mencapai puluhan ribu (Rafianto et al.
, 2.
, analisis yang dilakukan secara konvensional menjadi sesuatu yang tidak memungkinkan untuk dijalankan.
Pendekatan berbasis komputasi pun menjadi suatu keharusan yang tidak dapat dielakkan.
Sayangnya, sebagian besar penelitian yang telah ada masih bertumpu pada E-ISSN: 2777-0680 Jurnal Informatika dan Teknologi Pendidikan Vol.
No.
1 - Juni 2026.
Hal.
DOI: 10.
59395/jitp.
metode machine learning konvensional seperti SVM.
Naive Bayes, atau Logistic Regression yang seluruhnya hanya mampu menghasilkan satu label sentimen tunggal tanpa mampu membedakan aspek tertentu yang dibicarakan (Setiawan et al.
, 2.
Seorang pengguna yang memuji kekayaan konten sekaligus mengeluhkan masalah lag dalam satu ulasan yang sama hanya akan mendapatkan satu label tunggal, sehingga kandungan informasi berharga di dalamnya menjadi tidak tergali.
Aspect-Based Sentiment Analysis (ABSA) muncul sebagai solusi yang tepat atas keterbatasan pendekatan konvensional tersebut.
Dengan kapasitasnya dalam memetakan sentimen secara terpisah untuk setiap dimensi atau aspek yang terdapat dalam satu ulasan yang sama.
ABSA mampu menghasilkan wawasan yang jauh lebih mendalam dan dapat langsung diaplikasikan untuk pengambilan keputusan (Zhu et al.
, 2.
Untuk konteks bahasa Indonesia yang kaya akan ragam informal, akronim, serta fenomena alih kode, model transformer IndoBERT yang dibangun dari korpus empat miliar kata berbahasa Indonesia terbukti melampaui performa pendekatan TF-IDF maupun model transformer multibahasa (Wilie et al.
, 2.
Sejumlah penelitian terdahulu telah mengeksplorasi analisis sentimen pada ulasan Roblox, namun dengan pendekatan yang masih terbatas.
Setiawan et al.
mengklasifikasikan sentimen 000 ulasan Roblox menggunakan SVM dan memperoleh akurasi 82,51%, meskipun hanya mencakup dua kelas sentimen tanpa diferensiasi aspek.
Rafianto et al.
mengintegrasikan LDA dan SVM pada 40.
089 ulasan Roblox dan berhasil mencapai akurasi 85,22%, namun analisisnya masih berupa sentimen umum per topik dan belum menyentuh level ABSA yang sesungguhnya.
Pada ranah permainan yang berbeda.
Bachtiar et al.
membandingkan Naive Bayes dan Logistic Regression untuk ulasan Free Fire, di mana Logistic Regression meraih hasil terbaik 81,63% juga tanpa pembedaan aspek.
Maulana et al.
meningkatkan akurasi analisis sentimen ulasan film menggunakan SVM berbasis Information Gain dan memperoleh akurasi 85,65%, namun juga masih terbatas pada dua kelas sentimen tanpa diferensiasi aspek.
Di sisi penelitian ABSA yang memanfaatkan IndoBERT.
Jazuli et al.
berhasil menerapkannya pada ulasan mahasiswa dengan F1-score 97,4%, sementara Alfiana et al.
mengaplikasikannya pada ulasan aplikasi transportasi dengan F1-score 78,5% pada dua kelas Kesenjangan yang belum terisi adalah penerapan ABSA berbasis IndoBERT dengan tiga kelas sentimen khusus pada ulasan game Roblox berbahasa Indonesia yang penuh dengan ekspresi informal, termasuk penanganan terhadap ketimpangan distribusi kelas netral.
Strategi augmentasi berbasis LLM diusulkan sebagai solusi atas permasalahan ketimpangan distribusi tersebut.
Bahri et al.
telah menunjukkan bahwa ABSA berbasis transfer learning, termasuk IndoBERT, unggul dibanding metode machine learning konvensional dalam konteks ulasan berbahasa Indonesia.
Penelitian ini mengimplementasikan ABSA berbasis IndoBERT pada 3.
619 ulasan Roblox berbahasa Indonesia yang diperoleh dari Google Play Store, dengan cakupan empat aspek utama:
teknis, sistem, konten, dan sosial.
Tantangan ketimpangan distribusi kelas netral diatasi melalui strategi augmentasi data berbasis LLM.
Untuk memvalidasi keunggulan model domain-spesifik terhadap model transformer multibahasa modern, penelitian ini juga menggunakan XLM-RoBERTa sebagai model baseline pembanding, mengacu pada efektivitasnya yang telah terbukti dalam berbagai tugas NLP lintas bahasa (Wilie et al.
, 2.
Kontribusi utama penelitian ini meliputi: .
perancangan pipeline ABSA yang komprehensif mencakup augmentasi berbasis LLM dan evaluasi komparatif terhadap baseline XLM-RoBERTa untuk domain ulasan game berbahasa Indonesia, .
penggabungan augmentasi berbasis LLM dengan fine-tuning IndoBERT secara per-aspek, serta .
pemetaan distribusi sentimen per aspek yang dapat menjadi rujukan konkret bagi pengembang dalam menetapkan prioritas perbaikan produk.
Lebih dari itu, penelitian ini turut membuktikan bahwa perbedaan performa antara IndoBERT dan XLM-RoBERTa bukan sekadar kebetulan, melainkan terkonfirmasi secara statistik melalui McNemar's Test.
Untuk membuka jendela ke dalam logika prediksi model, analisis LIME diterapkan guna mengidentifikasi kata-kata yang paling berpengaruh dalam setiap keputusan klasifikasi sehingga hasil penelitian dapat dipertanggungjawabkan secara METODE Penelitian ini merancang dua skenario paralel yang berjalan secara bersamaan skenario tanpa augmentasi dan dengan augmentasi agar pengaruh augmentasi terhadap kinerja model dapat diukur E-ISSN: 2777-0680 Jurnal Informatika dan Teknologi Pendidikan Vol.
No.
1 - Juni 2026.
Hal.
DOI: 10.
59395/jitp.
secara langsung dan terukur.
Keseluruhan alur kerja penelitian tersusun atas lima tahap utama sebagaimana diilustrasikan pada Gambar 1.
Gambar 1.
Alur Penelitian 1 Pengumpulan dan Preprocessing Data Pengumpulan data dilaksanakan dari halaman resmi aplikasi Roblox di Google Play Store dengan menggunakan pustaka google-play-scraper yang dikonfigurasi dengan parameter lang='id' dan country='id', sebagaimana direkomendasikan oleh Yasin et al.
untuk pengumpulan ulasan dari Google Play Store.
Proses scraping berhasil menghimpun 6.
000 ulasan mentah sebagai bahan baku Tahapan preprocessing terdiri dari delapan langkah berurutan yang diterapkan secara sistematis:
konversi seluruh karakter menjadi huruf kecil, .
penghapusan tautan atau URL, .
eliminasi emoji dan karakter non-ASCII, .
pembuangan semua karakter numerik, .
penghilangan simbol yang bukan merupakan huruf, .
pemotongan pengulangan karakter yang berlebihan, .
normalisasi kata tidak baku menggunakan kamus yang berisi 97 entri hasil kurasi secara manual, dan .
normalisasi spasi antar kata.
Proses penyaringan data diterapkan dengan empat kriteria seleksi: ulasan yang tersusun dari kurang dari 5 kata langsung dibuang, data duplikat dieliminasi, ulasan yang melampaui 100 kata disisihkan, dan deteksi bahasa menggunakan pustaka langdetect memastikan hanya ulasan dalam bahasa Indonesia yang lolos seleksi.
Dari total 6.
000 ulasan awal, serangkaian proses tersebut 631 ulasan yang bersih dan siap digunakan .
kuivalen dengan 60,5% dari keseluruhan data awa.
, yang kemudian menjadi 3.
619 ulasan setelah tahap pelabelan mengeliminasi 12 ulasan yang tidak relevan dengan aspek mana pun.
Tabel 1 menyajikan contoh ulasan yang berhasil dikumpulkan dan lolos proses penyaringan.
E-ISSN: 2777-0680
Vol.
No.
1 - Juni 2026.
Hal.
DOI: 10.
59395/jitp.
Jurnal Informatika dan Teknologi Pendidikan Tabel 1.
Dataset
Nama User
Bintang
Tanggal Sanur Oke
25/04/2026
seru banget 25/04/2026 Game ini sangat bagus aku suka dengan gamenya karena ad , menara, tower, story.
bisa mabar juga rekomend buat kalian jdi mainin game nya sekarang jugaa
>Loveroblox< Janitra Dwi
Ulasan Sukianto
25/04/2026
tidak seimbangnya penyesuaian harga robux di item marketplace, untuk akun yang lama rata rata lebih mahal.
sedangkan akun akun yang baru dibuat rata rata diberi harga
syaa corbella
25/04/2026
ga habis pikir sama ni Roblox.
SETIAP MAU VERIFIKASI GA BISA TERUS.
harga itemnya pilih kasih, celana klasik gua di hapus tapi robux ga dibalikin.
Sabrina
Anugrah
25/04/2026
gem nya bagus dan seru untuk di mainkan dan aku menyukainya gem Roblox dan kalo di situ aku paling suka main 2 Pelabelan Data Setiap ulasan dalam dataset diberikan label sentimen untuk keempat aspek secara simultan Teknis.
Sistem.
Konten, dan Sosial dengan tiga pilihan polaritas yang tersedia: negatif, netral, atau positif (Wilie et al.
, 2.
Proses pelabelan menerapkan pendekatan anotasi hibrida yang mengombinasikan otomatisasi berbasis LLM dengan verifikasi manual, sejalan dengan temuan (Pangestu et al.
, 2.
yang membuktikan bahwa metode ini mampu memproses volume data yang besar dengan mempertahankan konsistensi yang terjaga dengan baik.
Model Llama-4-Scout-17B diakses melalui API Groq dalam kelompok sepuluh ulasan per permintaan.
Dari 3.
631 ulasan yang tersedia, sebanyak 3.
180 ulasan dengan tingkat kepercayaan tinggi dan sedang langsung diterima, sedangkan 444 ulasan berconfidence rendah diverifikasi secara manual oleh peneliti sendiri sebagai satu-satunya annotator manual dalam penelitian ini, dan 12 ulasan yang tidak relevan dieliminasi, menghasilkan dataset final sebanyak 3.
619 entri berlabel.
(R.
Nugroho et al.
, 2.
menerapkan strategi anotasi berbantuan model bahasa yang serupa pada ulasan Mobile JKN dan memperoleh konsistensi pelabelan yang tinggi.
Konsistensi hasil anotasi divalidasi melalui pengujian intra-rater reliability menggunakan Cohen's Kappa.
Nilai rata-rata kappa yang diperoleh sebesar 0,378 .
ermasuk dalam kategori Sedan.
dengan akurasi anotasi rata-rata mencapai 88,2%.
Nilai kappa yang relatif rendah pada aspek Teknis dan Sistem turut dipengaruhi oleh dominasi kelas negatif dalam subset yang diuji, sebagaimana dibuktikan oleh akurasi aspek Sistem yang justru tertinggi .
,8%) meskipun demikian, nilai kappa pada kategori Sedang ini tetap diakui sebagai keterbatasan dalam konsistensi pelabelan yang perlu menjadi perhatian pada penelitian selanjutnya.
Tabel 2 menyajikan contoh-contoh hasil pelabelan yang Tabel 2.
Contoh Hasil Pelabelan Sentimen Per Aspek pada Dataset
Ulasan Bersih
Teknis Sistem
Konten
Sosial
Keyakinan game ini sangat bagus aku suka dengan gamenya karena ad rp brookheaven menara tower story bisa mabar juga rekomend buat kalian loveroblox
game nya bagus dan okelah cuman kadang itu suka ngelag gitu kayak pas main agak keganggu sedikit it s okay
hapus saja ini aplikasi game anak anak
E-ISSN: 2777-0680
Jurnal Informatika dan Teknologi Pendidikan Vol.
No.
1 - Juni 2026.
Hal.
DOI: 10.
59395/jitp.
3 Augmentasi Data Augmentasi difokuskan secara spesifik pada kelas netral yang menempati posisi sebagai kelas minoritas di seluruh aspek.
Pendekatan berbasis LLM dipilih karena terbukti mampu menghasilkan teks sintetis dengan kualitas yang lebih koheren dan keragaman linguistik yang lebih baik dibandingkan teknik konvensional lainnya Zidan et al.
Sebanyak 550 ulasan sintetis berhasil dibangkitkan menggunakan model Llama 3.
3 70B melalui OpenRouter API dengan distribusi berikut:
150 untuk aspek Teknis, 150 untuk aspek Sistem, 100 untuk aspek Konten, dan 150 untuk aspek Sosial.
Data sintetis yang dihasilkan hanya disisipkan ke dalam data training data validasi dan data pengujian tidak dimodifikasi sama sekali guna menjaga integritas proses evaluasi.
4 Fine-Tuning IndoBERT Proses fine-tuning dilaksanakan secara terpisah untuk setiap aspek, menggunakan model dasar indobenchmark/indobert-base-p1 yang diunduh dari Hugging Face (Lin et al.
, 2.
dengan lapisan klasifikasi tiga kelas yang ditambahkan di atasnya, mengikuti pendekatan fine-tuning BERT untuk ulasan aplikasi mobile Indonesia sebagaimana dilakukan (K.
Nugroho et al.
, 2.
Arsitektur model yang digunakan dapat diamati pada Gambar 2.
Pendekatan serupa telah diterapkan oleh Jayadianti et al.
yang mengombinasikan IndoBERT dengan R-CNN untuk analisis sentimen ulasan berbahasa Indonesia dan memperoleh akurasi 95,16%.
Gambar 2.
Arsitektur Model IndoBERT untuk Klasifikasi Sentimen Berbasis Aspek Pembagian dataset dilakukan dengan stratified split 80:10:10 .
raining:validasi:testin.
untuk memastikan proporsi setiap kelas terjaga secara merata di ketiga subset, sebagaimana direkomendasikan (Pranatawijaya et al.
, 2.
dalam konteks dataset ABSA yang tidak seimbang.
Pangestu et al.
mengonfirmasi bahwa pembagian data dengan stratified split pada tugas ABSA multikelas berbahasa Indonesia menghasilkan distribusi kelas yang lebih stabil dan evaluasi yang lebih Konfigurasi hyperparameter yang diterapkan meliputi: maksimum 10 epoch, ukuran batch 16 .
dan 32 .
, learning rate 2e-5, warmup ratio 0,1, dan weight decay 0,01.
Ketidakseimbangan compute_class_weight='balanced' dari pustaka scikit-learn.
Mekanisme early stopping dengan patience 3 epoch diterapkan untuk memantau F1-Macro pada data validasi dan menghentikan pelatihan secara otomatis jika tidak ada peningkatan.
Simanjuntak et al.
menunjukkan bahwa penyesuaian hyperparameter IndoBERT secara sistematik memberikan dampak signifikan terhadap performa klasifikasi teks berbahasa Indonesia.
5 Fine-Tuning XLM-RoBERTa sebagai Baseline Sebagai model baseline pembanding, eksperimen paralel dilaksanakan menggunakan XLMRoBERTa .
lm-roberta-bas.
yang diakses melalui Hugging Face (Wilie et al.
, 2.
Model ini dipilih sebagai representasi transformer multibahasa modern yang telah terbukti kompetitif pada berbagai tugas NLP lintas bahasa.
Konfigurasi fine-tuning yang diterapkan sepenuhnya identik dengan IndoBERT, dan eksperimen dijalankan pada kedua skenario baik tanpa maupun dengan augmentasi sehingga perbandingan berlangsung secara langsung dan adil.
E-ISSN: 2777-0680
Vol.
No.
1 - Juni 2026.
Hal.
DOI: 10.
59395/jitp.
Jurnal Informatika dan Teknologi Pendidikan 6 Evaluasi Model Evaluasi kinerja model menggunakan F1-Macro sebagai metrik primer, mengingat metrik ini memberikan bobot yang setara kepada setiap kelas tanpa dipengaruhi oleh dominasi kelas mayoritas sebuah pilihan yang sangat tepat untuk konteks dataset yang tidak seimbang.
Ambang nilai F1-Macro sebesar 0,80 ditetapkan sebagai standar kinerja yang dianggap baik, mengacu pada penelitian ABSA IndoBERT sebelumnya (Rafianto et al.
, 2.
Metrik pelengkap yang turut dihitung mencakup accuracy.
F1-Weighted, serta precision dan recall untuk masing-masing kelas.
Adi et al.
juga menegaskan bahwa pemilihan metrik F1-Macro sangat krusial pada dataset tidak seimbang agar evaluasi tidak bias terhadap kelas mayoritas.
Linawati et al.
juga menerapkan Confusion Matrix untuk mengevaluasi model klasifikasi Random Forest dan C4.
5 dalam prediksi prestasi akademik mahasiswa dan memperoleh akurasi tertinggi 92,4% pada metode Random Forest.
Perbandingan kinerja antara IndoBERT dan XLM-RoBERTa dilakukan pada kondisi yang sepenuhnya identik untuk memastikan validitas komparatif.
HASIL DAN PEMBAHASAN
7 Performa Model Tanpa Augmentasi Tabel 3 merangkum hasil evaluasi pada kondisi tanpa augmentasi.
Kontradiksi yang sangat mencolok terlihat pada data ini: accuracy rata-rata mencapai angka 91,44% namun F1-Macro rata-rata hanya berada di 0,5739.
Kesenjangan yang signifikan ini merupakan tanda klasik dari bias model model cenderung mengandalkan prediksi kelas mayoritas secara dominan dan gagal dalam mengenali kelas yang memiliki jumlah sampel lebih sedikit.
Tabel 3.
Metrik Evaluasi Model IndoBERT Tanpa Augmentasi
Aspek
Accuracy F1-Macro
F1-Weighted F1-Neg
F1-Net
F1-Pos
Teknis 0,9000 0,7001 0,8943 0,94 0,31 0,86 Sistem
0,9340
0,4330
0,9175
0,97
0,00
0,33
Konten
0,8776
0,5289
0,8741
0,65
0,00
0,93
Sosial
0,9459
0,6335
0,9373
0,96
0,00
0,94
Rata-rata 0,9144 0,5739 0,9058 0,88 0,08 0,77 Akar permasalahan menjadi gamblang ketika kinerja per kelas ditelaah lebih dalam: F1-score kelas netral pada aspek Sistem.
Konten, dan Sosial masing-masing mencatat nilai 0,00 yang berarti model benar-benar tidak mampu mengidentifikasi satu pun ulasan netral pada ketiga aspek tersebut.
Penyebab utamanya adalah sedikitnya jumlah sampel netral dalam data training .
sampel untuk aspek Sistem, 15 untuk aspek Sosia.
Kondisi ini menegaskan bahwa penanganan distribusi kelas netral merupakan prasyarat yang mutlak diperlukan agar model dapat berfungsi secara menyeluruh dan efektif.
8 Performa Model Dengan Augmentasi Setelah 550 ulasan sintetis kelas netral disisipkan ke dalam data training, hasilnya menunjukkan perubahan yang sangat berarti.
Tabel 4 memperlihatkan bahwa untuk pertama kalinya, seluruh aspek secara bersamaan berhasil melampaui nilai F1-Macro 0,80.
Tabel 4.
Metrik Evaluasi Model IndoBERT Dengan Augmentasi
Aspek
Accuracy F1-Macro
F1-Weighted F1-Neg
F1-Net
F1-Pos
Teknis 0,8884 0,8319 0,8884 0,93 0,74 0,83 Sistem
0,9421
0,8123
0,9404
0,97
0,87
0,60
Konten
0,9098
0,8124
0,9106
0,73
0,76
0,95
Sosial
0,9603
0,9635
0,9601
0,97
1,00
0,92
Rata-rata 0,9252 0,8550 0,9249 0,90 0,84 0,83 E-ISSN: 2777-0680 Vol.
No.
1 - Juni 2026.
Hal.
DOI: 10.
59395/jitp.
Jurnal Informatika dan Teknologi Pendidikan Kelas netral yang sebelumnya tidak terdeteksi pada tiga aspek kini memperoleh F1-score bermakna yaitu 0,74 (Tekni.
, 0,87 (Siste.
, 0,76 (Konte.
, dan 1,00 untuk aspek Sosial.
Aspek Sosial tampil sebagai yang terbaik secara keseluruhan dengan F1-Macro mencapai 0,9635, di mana seluruh 17 sampel netral berhasil diklasifikasikan dengan benar.
Pencapaian ini memvalidasi bahwa teks sintetis yang dibangkitkan oleh LLM mengandung pola kebahasaan yang cukup representatif dan (Yulianti & Nissa, 2.
turut membuktikan kemampuan IndoBERT dalam menangkap nuansa sentimen ulasan berbahasa Indonesia (Zidan et al.
, 2.
9 Dampak Augmentasi: Perbandingan Dua Skenario Tabel 5 merangkum selisih F1-Macro yang dihasilkan dari kedua skenario perbandingan.
Pola yang muncul bersifat konsisten: semakin parah ketimpangan kelas pada kondisi awal, semakin besar lonjakan performa yang diperoleh melalui augmentasi.
Tabel 5.
Perbandingan F1-Macro Sebelum dan Sesudah Augmentasi
Aspek
F1-Macro Tanpa Aug
F1-Macro Dg
Aug
Delta
Keterangan Teknis 0,7001 0,8319 0,1318 Meningkat Sistem
0,4330
0,8123
0,3793
Meningkat signifikan Konten
0,5289
0,8124
0,2835
Meningkat signifikan Sosial
0,6335
0,9635
0,3300
Meningkat signifikan Rata-rata 0,5739 0,8550 0,2811 Meningkat Aspek Sistem mencatat kenaikan terbesar ( 0,3.
, diikuti aspek Sosial ( 0,3.
keduanya merupakan aspek yang sebelumnya hanya memiliki 19 dan 15 sampel netral dalam data training.
Secara agregat, rata-rata F1-Macro bergerak dari 0,5739 ke 0,8550, setara dengan kenaikan relatif mendekati 49%.
10 Baseline Transformer Modern: XLM-RoBERTa Guna memperkuat validitas temuan penelitian, dilakukan eksperimen tambahan menggunakan XLM-RoBERTa .
lm-roberta-bas.
sebagai representasi model transformer multibahasa modern.
Eksperimen ini dilaksanakan pada kondisi yang sepenuhnya identik baik tanpa maupun dengan augmentasi sehingga perbandingan dengan IndoBERT berlangsung secara langsung dan adil.
Tabel 6.
Hasil Evaluasi Model XLM Tanpa Augmentasi
Aspek
Accuracy F1-Macro
F1-Neg
F1-Net
F1-Pos
Teknis 0,8750 0,6307 0,9236 0,1250 0,8434 Sistem
0,9340
0,3220
0,9659
0,0000
0,0000
Konten
0,8898
0,5466
0,6939
0,0000
0,9459
Sosial
0,9640
0,6477
0,9744
0,0000
0,9688
Rata-rata 0,9157 0,5367 0,8895 0,0313 0,6895 Tabel 7.
Hasil Evaluasi Model XLM dengan Augmentasi
Aspek
Accuracy F1-Macro
F1-Neg
F1-Net
F1-Pos
Teknis 0,8884 0,8331 0,9246 0,7391 0,8354 Sistem
0,9256
0,6077
0,9565
0,8667
0,0000
Konten
0,9137
0,8174
0,7458
0,7586
0,9479
Sosial
0,9524
0,9558
0,9610
1,0000
0,9062
Rata-rata 0,9200 0,8035 0,8970 0,8411 0,6724 E-ISSN: 2777-0680 Vol.
No.
1 - Juni 2026.
Hal.
DOI: 10.
59395/jitp.
Jurnal Informatika dan Teknologi Pendidikan Setelah augmentasi diterapkan, rata-rata F1-Macro XLM-RoBERTa meningkat menjadi 0,8035.
Jika dibandingkan secara langsung.
IndoBERT dengan augmentasi tetap mempertahankan keunggulannya .
,8550 vs 0,8.
Perbedaan ini secara nyata mencerminkan keunggulan model yang sejak tahap pelatihan awal difokuskan secara khusus pada teks berbahasa Indonesia, terutama dalam menangkap nuansa bahasa gaul dan berbagai ekspresi informal yang mendominasi ulasan game.
Dhendra & Gayuh Utomo .
memperkuat temuan ini melalui benchmarking komprehensif yang membuktikan bahwa IndoBERT secara konsisten mengungguli model multibahasa pada tugas klasifikasi sentimen layanan berbahasa Indonesia (Lin et al.
, 2.
11 Distribusi Sentimen per Aspek Distribusi sentimen yang terpetakan dalam dataset berlabel menghasilkan informasi yang dapat langsung dimanfaatkan oleh tim pengembang Roblox, sebagaimana tersaji pada Tabel 8 berikut.
Tabel 8.
Distribusi Sentimen pada Dataset Berlabel per Aspek Aspek Negatif Netral Positif Total Teknis 514 .
,8%) 77 .
,9%) 406 .
,3%) Sistem
,8%)
,8%)
,4%)
Konten
,6%)
,1%)
,3%)
Sosial
,8%)
,4%)
,8%)
Sentimen negatif 93,8% pada aspek Sistem mencerminkan ketidakpuasan pengguna terhadap kebijakan verifikasi usia dan monetisasi Robux.
Aspek Teknis juga didominasi keluhan .
,8%) terkait lag, crash, dan ketidakstabilan koneksi.
Sebaliknya, aspek Konten menjadi kekuatan platform dengan 86,3% ulasan positif.
Aspek Sistem menjadi prioritas paling mendesak bagi pengembang, sementara aspek Konten perlu dipertahankan.
12 Ablation Study Untuk memahami seberapa besar kontribusi masing-masing komponen terhadap kinerja akhir model, penelitian ini merancang empat skenario eksperimen yang berbeda sebagaimana dirangkum pada Tabel 9 berikut.
Tabel 9.
Ablation Study Kontribusi Komponen Model
Konfigurasi
Model
Aug
Teknis Sistem
Konten
Sosial
Ratarata
Ablasi 1
IndoBERT
Tidak 0,8263 0,8362 0,8090 0,9699 0,8604 Ablasi 2
IndoBERT
Tidak 0,7001 0,4330 0,5289 0,6335 0,5739 Ablasi 3
XLM-R
0,8420
0,6077
0,7916
0,9549
0,7991
Full Model
IndoBERT
0,8319
0,8123
0,8124
0,9635
0,8550
Dampak paling dramatis tampak ketika komponen augmentasi dieliminasi.
Ablasi 2 hanya sanggup menghasilkan rata-rata F1-Macro sebesar 0,5739 terpaut 0,2811 poin di bawah full model.
antara seluruh komponen yang diuji, augmentasi data terbukti sebagai elemen yang paling tidak dapat ditinggalkan (Zidan et al.
, 2.
Ablasi 3 dengan XLM-RoBERTa menghasilkan rata-rata F1-Macro 0,7991, sejalan dengan argumentasi (Wilie et al.
, 2.
bahwa model yang dilatih secara spesifik pada korpus bahasa Indonesia jauh lebih efektif dalam menangani bahasa informal, singkatan, dan gejala alih kode.
Merdiansah & Ridha .
mengonfirmasi keunggulan IndoBERT untuk analisis sentimen teks informal berbahasa Indonesia.
13 Uji Signifikansi Statistik (McNemarAos Tes.
Untuk memastikan bahwa perbedaan kinerja antar konfigurasi bukan sekadar variasi acak yang terjadi secara kebetulan, penelitian ini menerapkan uji signifikansi statistik menggunakan E-ISSN: 2777-0680 Vol.
No.
1 - Juni 2026.
Hal.
DOI: 10.
59395/jitp.
Jurnal Informatika dan Teknologi Pendidikan McNemarAos Test pada tingkat kepercayaan 95% ( = 0,.
Tabel 10 menyajikan hasil pengujian secara lengkap.
Tabel 10.
Hasil McNemarAos Test Antar Konfigurasi Perbandingan Aspek p-value Metode Signifikan? Fullue Ablu Fullu Ablue Full vs Ablasi 1 fek Class Weigh.
Teknis 1,0000 Exact
Tidak Sistem
1,0000
Exact
Tidak Konten
1,0000
Exact
Tidak Sosial
1,0000
Exact
Tidak Teknis 0,0000 ChiA
Sistem
0,0010
Exact
Konten
0,0000
ChiA
Sosial
0,0000
ChiA
Teknis 1,0000 Exact
Tidak Sistem
0,6250
Exact
Tidak Konten
1,0000
Exact
Tidak Sosial
1,0000
Exact Tidak Full vs Ablasi 2 .
fek Augmentas.
Full vs Ablasi 3 .
fek Arsitektu.
Hanya perbandingan Full vs Ablasi 2 yang secara konsisten menghasilkan p < 0,05 pada seluruh aspek, membuktikan peningkatan kinerja augmentasi memiliki landasan statistik yang kuat.
Efek pembobotan kelas dan arsitektur model tidak mencapai signifikansi statistik, meskipun tetap berkontribusi positif secara praktis.
14 Interpretabilitas Model: Analisis LIME Guna menelusuri lebih jauh alasan di balik setiap prediksi yang dihasilkan model, penelitian ini melengkapi evaluasi kuantitatif dengan analisis interpretabilitas menggunakan LIME (Local Interpretable Model-agnostic Explanation.
(Perikos & Diamantopoulos, 2.
LIME bekerja dengan menjelaskan mengapa model menghasilkan prediksi tertentu pada level kalimat individual, melalui identifikasi kata-kata yang paling mendorong atau menolak suatu label klasifikasi.
Gambar 3.
LIME Explainability Aspek Teknis E-ISSN: 2777-0680 Jurnal Informatika dan Teknologi Pendidikan Vol.
No.
1 - Juni 2026.
Hal.
DOI: 10.
59395/jitp.
Pada aspek Teknis (Gambar .
, kata-kata seperti 'bug', 'tolong', dan 'perbaikalah' berperan sebagai sinyal negatif yang sangat kuat, sementara 'bagus', 'bisa', dan 'banget' mendominasi prediksi Hal yang menarik ditemukan pada kelas netral kata-kata berbahasa Inggris seperti 'but' dan 'favorite' tampil sebagai fitur paling berpengaruh, mengindikasikan bahwa ulasan yang mengandung fenomena alih kode cenderung memiliki orientasi netral.
Gambar 4.
LIME Explainability Aspek Sistem Pada aspek Sistem (Gambar .
, kata 'tolong' muncul sebagai sinyal negatif terkuat dengan bobot 0,091.
Untuk kelas positif, kata 'ini' ( 0,.
yang secara leksikal tidak bermuatan sentimen apapun justru tampil sebagai fitur paling dominan sebuah indikasi bahwa model mampu menangkap konteks keseluruhan kalimat secara holistik.
Gambar 5.
LIME Explainability Aspek Konten
E-ISSN: 2777-0680
Jurnal Informatika dan Teknologi Pendidikan Vol.
No.
1 - Juni 2026.
Hal.
DOI: 10.
59395/jitp.
Pada aspek Konten (Gambar .
, kata 'jelek' memperoleh bobot 0,791 pada kelas negatif jauh melampaui kontribusi fitur-fitur lainnya.
Pada kelas netral, kata 'ada' ( 0,.
dan 'tambahin' ( 0,.
menjadi pendorong terkuat karena ulasan yang berisi permintaan penambahan fitur secara alami memiliki orientasi yang netral.
Gambar 6.
LIME Explainability Aspek Sosial Pada aspek Sosial (Gambar .
, kata 'chatan' ( 0,.
dan 'tidak' ( 0,.
berfungsi sebagai penanda negatif yang dominan.
Temuan paling menarik pada kelas positif adalah kata 'tolong' yang mencatat bobot negatif yang cukup besar (Oe0,.
, yang sebagian menjelaskan pola False Negative yang diamati pada aspek Sosial (Wilie et al.
, 2.
15 Analisis Error Tabel 11 merangkum pola kesalahan yang paling sering terjadi per aspek, sementara distribusi keseluruhan error divisualisasikan pada Gambar 7.
Gambar 7.
Distribusi Error Tabel 11.
Ringkasan Pola Kesalahan Aspek
Total Error
Error Rate
Pola Dominan Jumlah Teknis 20/200 10,0% positif Ie negatif
8 kasus Sistem
7/106
6,6%
positif Ie negatif
4 kasus Konten
30/245
12,2%
negatif Ie positif
10 kasus Sosial
6/111
5,4%
Merata .
2 kasus/pola E-ISSN: 2777-0680 Vol.
No.
1 - Juni 2026.
Hal.
DOI: 10.
59395/jitp.
Jurnal Informatika dan Teknologi Pendidikan Pada seluruh aspek, model memperlihatkan kecenderungan untuk terdorong ke arah kelas yang memiliki keterwakilan paling besar dalam data.
Meskipun augmentasi berhasil memperbaiki keterwakilan kelas netral secara signifikan, kelas minoritas lain seperti positif pada aspek Sistem dan negatif pada aspek Konten masih belum mendapat penanganan yang memadai (Zidan et al.
, 2.
Perluasan cakupan augmentasi ke seluruh kelas yang kurang terwakili dapat menjadi langkah perbaikan paling konkret dan terukur untuk penelitian selanjutnya.
Fadilah & Priyanta .
memperlihatkan bahwa augmentasi data berbasis generasi teks terbukti efektif mengatasi keterbatasan sampel pada tugas klasifikasi berbahasa Indonesia.
16 Perbandingan dengan Penelitian Sebelumnya Tabel 12.
Perbandingan dengan Penelitian Terdahulu Peneliti Metode Domain Bahasa Kelas Akurasi (Setiawan et al.
SVM TF-IDF
Ulasan Roblox
Indonesia
82,51%
(Rafianto et al.
LDA SVM
Ulasan Roblox
Indonesia
85,22%
(Bachtiar et al.
LR TF-IDF
Ulasan Free
Fire
Indonesia
81,63%
87,91%
(Jazuli et al.
ABSA IndoBERT
Ulasan Mahasiswa
Indonesia
97,9%
97,4%
(Alfiana et al.
ABSA IndoBERT
Ulasan KAI
Indonesia
92,8%
78,5%
(Rahman et al.
LDA BERT
Ulasan Gojek
Inggris
97,27%
96,67%
Penelitian ini ABSA IndoBERT LLM
Ulasan Roblox
Indonesia
92,52%
85,50%
Penelitian ini berhasil meraih F1-Macro sebesar 85,50% dengan cakupan tiga kelas sentimen melampaui Alfiana et al.
yang menerapkan ABSA IndoBERT meskipun hanya pada dua kelas Selisih dengan Jazuli et al.
dan Rahman et al.
yang mencatat F1-score di atas 96% lebih tepat dipahami sebagai perbedaan karakteristik data yang dihadapi: ulasan game Roblox sarat dengan sarkasme, bahasa gaul, dan fenomena alih kode yang menjadikannya jauh lebih menantang untuk diklasifikasikan secara akurat.
Putri & Ardiansyah .
juga menunjukkan bahwa model berbasis BERT konsisten mengungguli pendekatan machine learning konvensional untuk analisis sentimen teks berbahasa Indonesia pada berbagai domain.
KESIMPULAN
Penelitian ini memvalidasi bahwa IndoBERT yang di-fine-tune per aspek, dikombinasikan dengan augmentasi data berbasis LLM, merupakan pendekatan yang sangat efektif untuk menjalankan ABSA pada ulasan game berbahasa Indonesia.
Hasil ini selaras dengan temuan Kono et al.
yang membuktikan bahwa fine-tuning IndoBERT secara domain-spesifik konsisten menghasilkan kinerja tertinggi dibandingkan metode klasifikasi lainnya.
Tiga temuan pokok yang layak untuk mendapat perhatian khusus dapat diuraikan sebagai berikut.
Pertama, augmentasi data kelas netral berbasis LLM memberikan dampak yang sangat signifikan terhadap kinerja model.
Rata-rata F1-Macro meningkat hampir 49% secara relatif dari 0,5739 menjadi 0,8550 dan seluruh aspek untuk pertama kalinya berhasil melampaui ambang nilai 0,80 secara bersamaan.
Kelas netral yang sebelumnya tidak dapat terdeteksi sama sekali pada tiga aspek kini berhasil dikenali dengan F1-score yang bermakna.
Signifikansi statistik dari temuan ini dikonfirmasi secara kuat melalui McNemarAos Test .
< 0,.
pada seluruh aspek.
Kedua, pemetaan distribusi sentimen per aspek menghasilkan wawasan yang dapat langsung dioperasionalkan oleh tim pengembang.
Aspek Sistem merupakan prioritas paling kritis yang E-ISSN: 2777-0680 Jurnal Informatika dan Teknologi Pendidikan Vol.
No.
1 - Juni 2026.
Hal.
DOI: 10.
59395/jitp.
memerlukan perhatian segera .
,8% negati.
, khususnya terkait kebijakan verifikasi dan mekanisme monetisasi, sedangkan aspek Konten merupakan kekuatan inti platform .
,3% positi.
yang wajib dipertahankan dan terus dikembangkan ke depannya.
Ketiga.
IndoBERT terbukti kompetitif dan unggul untuk domain ulasan game informal berbahasa Indonesia dengan tiga kelas sentimen dan empat aspek sekaligus, melampaui F1-score penelitian ABSA IndoBERT sebelumnya pada konteks yang lebih terstruktur sebesar 78,5% (Alfiana et al.
, 2.
, dan mengungguli baseline XLM-RoBERTa .
,8.
Hierarki kepentingan komponen yang berhasil diidentifikasi augmentasi > arsitektur > pembobotan kelas dapat dijadikan panduan praktis yang berharga bagi peneliti yang menghadapi tantangan serupa di masa mendatang.
Penelitian lanjutan dapat mengeksplorasi arsitektur yang lebih besar (IndoBERT-large.
XLM-R-larg.
, memperluas cakupan augmentasi ke seluruh kelas yang kurang terwakili, serta merancang sistem pemantauan sentimen secara real-time yang responsif terhadap setiap pembaruan aplikasi (Reddy et , 2.
Penelitian ini juga memiliki keterbatasan pada proses verifikasi manual yang hanya dilakukan oleh satu annotator .
eneliti sendir.
serta nilai Cohen's Kappa yang masih berada pada kategori Sedang ( = 0,.
, sehingga penelitian lanjutan disarankan melibatkan annotator tambahan untuk memungkinkan pengujian inter-rater reliability yang lebih komprehensif dan meningkatkan konsistensi pelabelan.
DAFTAR PUSTAKA