Jurnal Informatika dan Teknologi Pendidikan Vol.
No.
1 - Juni 2026.
Hal.
DOI: 10.
59395/jitp.
Aspect-Based Sentiment Analysis Ulasan VGA RTX 5060 Berbasis LLM dan Naive Bayes Ikhsan Fahruliazmi*1.
Dedi Saputra2.
Siti Nurdiani3 .
Juniato Sidauruk4
1,2,3,4
Program Studi Informatika.
Universitas Bina Sarana Informatika.
Pontianak.
Kalimantan Barat.
Indonesia *e-mail: 15220470@bsi.
id1, dedi.
dst@bsi.
id 2, siti.
sxd@bsi.
id 3, juniato.
jnd@bsi.
Received:
Revised:
Accepted:
Available online:
Abstract: Consumer reviews on e-commerce platforms contain valuable information about market perception of technology products.
This study proposes an Aspect-Based Sentiment Analysis (ABSA) system for NVIDIA GeForce RTX 5060 GPU reviews from Tokopedia.
Shopee, and YouTube using Complement Naive Bayes (CNB) with TF-IDF bigram feature representation.
Main contributions include: .
a multi-platform data collection pipeline yielding 4,675 original reviews, expanded to 4,982 reviews through data augmentation.
label quality improvement using Llama 3.
1 LLM via Groq API achieving a 79.
9% agreement rate (Cohen's Kappa = 0.
with the keyword-based labels, with 20.
1% of labels differing between the two .
Easy Data Augmentation (EDA) for balanced class distribution (Positive 33.
Neutral Negative 33.
8%).
identification of five review aspects: Price.
Product Quality.
Performance.
Delivery, and Store Service.
The global CNB model achieves 77.
4% accuracy with 77.
3% weighted F1-Score.
Average ABSA accuracy per aspect reaches 91.
9% with 92.
5% average F1-Score, with highest performance on Price .
4%) and lowest on Performance .
7%).
These results demonstrate the effectiveness of LLM integration in data labeling to enhance Naive Bayes-based ABSA systems.
Keywords : Aspect-Based Sentiment Analysis.
Complement Naive Bayes.
Large Language Model.
TF-IDF.
Easy Data Augmentation.
VGA RTX 5060.
Abstrak: Ulasan konsumen di platform e-commerce mengandung informasi berharga mengenai persepsi pasar terhadap produk teknologi.
Penelitian ini mengusulkan sistem Aspect-Based Sentiment Analysis (ABSA) pada ulasan VGA NVIDIA GeForce RTX 5060 dari platform Tokopedia.
Shopee, dan YouTube menggunakan metode Complement Naive Bayes (CNB) dengan representasi fitur TF-IDF bigram.
Kontribusi utama meliputi: .
pipeline pengumpulan data multi-platform yang menghasilkan 4.
675 ulasan asli, diperkaya melalui augmentasi data menjadi 4.
982 ulasan.
peningkatan kualitas label menggunakan Large Language Model Llama 3.
1 melalui Groq API yang mencapai agreement rate 79,9% (Cohen's Kappa = 0,.
, dengan 20,1% label berbeda dari pendekatan keyword-based.
augmentasi data menggunakan Easy Data Augmentation (EDA) untuk menyeimbangkan distribusi kelas menjadi hampir merata (Positif 33,5%.
Netral 32,7%.
Negatif 33,8%).
identifikasi lima aspek ulasan: Harga.
Kualitas Produk.
Performa.
Pengiriman, dan Pelayanan Toko.
Model CNB global mencapai akurasi 77,4% dengan F1-Score weighted 77,3%.
Rata-rata akurasi ABSA per aspek mencapai 91,9% dengan rata-rata F1-Score 92,5%, dengan performa tertinggi pada aspek Harga .
,4%) dan terendah pada aspek Performa .
,7%).
Hasil ini menunjukkan efektivitas integrasi LLM dalam proses pelabelan data untuk meningkatkan kualitas sistem ABSA berbasis Naive Bayes.
Kata kunci : Aspect-Based Sentiment Analysis.
Complement Naive Bayes.
Large Language Model.
TFIDF.
Easy Data Augmentation.
VGA RTX 5060.
PENDAHULUAN
Platform e-commerce di Indonesia mengalami pertumbuhan signifikan dengan jumlah pengguna internet mencapai 215 juta jiwa pada tahun 2023 (APJII, 2.
Ulasan konsumen merupakan sumber informasi kritis yang memengaruhi keputusan pembelian.
penelitian menunjukkan produk dengan ulasan daring memiliki kemungkinan 270% lebih tinggi untuk dibeli (Chen et al.
, 2.
NVIDIA
GeForce RTX 5060 merupakan kartu grafis berbasis arsitektur Blackwell yang diluncurkan tahun 2025 dengan 3.
840 CUDA Cores.
VRAM 8GB GDDR7, dan TDP 145W (NVIDIA Corporation, 2.
, sehingga relevan untuk dianalisis sentimennya mengingat tingginya volume diskusi konsumen terhadap produk teknologi sejenis di platform e-commerce Indonesia.
Analisis sentimen konvensional mengklasifikasikan sentimen secara keseluruhan tanpa memisahkan aspek spesifik yang dibahas.
Aspect-Based Sentiment Analysis (ABSA) mengatasi keterbatasan ini dengan mengidentifikasi aspek dan menentukan polaritas sentimen per aspek secara independen (Wankhade et al.
, 2.
Tantangan utama dalam membangun sistem ABSA Bahasa Indonesia meliputi keterbatasan data berlabel berkualitas tinggi, karakteristik bahasa informal, dan ketidakseimbangan distribusi kelas.
Penelitian ini mengusulkan pipeline yang mengintegrasikan Large Language Model (LLM) untuk meningkatkan kualitas pelabelan data secara signifikan.
Model Llama 3.
1-8b-instant melalui Groq API digunakan sebagai pengganti pendekatan keyword-based yang terbukti memiliki keterbatasan dalam menangkap nuansa sentimen.
Complement Naive Bayes dipilih sebagai classifier E-ISSN: 2777-0680 Jurnal Informatika dan Teknologi Pendidikan Vol.
No.
1 - Juni 2026.
Hal.
DOI: 10.
59395/jitp.
karena efisiensi komputasi, interpretabilitas tinggi, dan ketahanan terhadap ketidakseimbangan kelas (Dewi & Chen, 2.
Kontribusi penelitian ini mencakup: .
dataset ulasan VGA RTX 5060 berlabel LLM dari tiga platform dengan distribusi kelas seimbang.
evaluasi perbandingan kualitas label keyword-based versus LLM menggunakan Cohen's Kappa.
penerapan EDA untuk penyeimbangan kelas secara serta .
evaluasi ABSA komprehensif pada lima aspek ulasan produk GPU di Indonesia.
1 Aspect-Based Sentiment Analysis ABSA merupakan pendekatan yang mengidentifikasi aspek dan menentukan polaritas sentimen per aspek dalam teks (Wankhade et al.
, 2.
Tinjauan analisis sentimen di era LLM (W.
Zhang et , 2.
mendefinisikan dua sub-tugas utama: identifikasi aspek dan klasifikasi sentimen per aspek.
Berbeda dari sentiment analysis tingkat dokumen.
ABSA memberikan informasi granular yang lebih bermanfaat bagi konsumen dan produsen.
Penelitian ini menggunakan pendekatan berbasis kata kunci untuk identifikasi aspek dan Complement Naive Bayes untuk klasifikasi sentimen per aspek.
Tinjauan komprehensif oleh Poria et al.
serta studi penerapan teknik klasifikasi oleh Danyal et al.
meletakkan dasar metodologis bagi pengembangan teknik ABSA, termasuk ekstraksi fitur eksplisit dan penentuan orientasi sentimen pada tingkat kalimat.
Brauwers dan Frasincar (Brauwers & Frasincar, 2.
lebih lanjut mengklasifikasikan pendekatan opinion mining menjadi tiga level analisis: dokumen, kalimat, dan aspek, dengan level aspek memberikan informasi paling granular bagi pengambilan keputusan bisnis.
2 Complement Naive Bayes dan TF-IDF Naive Bayes merupakan algoritma klasifikasi probabilistik berbasis Teorema Bayes.
Complement Naive Bayes (CNB) (Dewi & Chen, 2.
mengestimasi parameter dari data komplemen kelas, sehingga lebih robust terhadap ketidakseimbangan distribusi kelas.
TF-IDF adalah metode pembobotan kata yang mempertimbangkan frekuensi kemunculan kata dalam dokumen dan kelangkaannya dalam koleksi (Xiao et al.
, 2.
Penelitian ini menggunakan kombinasi unigrambigram dengan sublinear TF untuk merepresentasikan frasa bermakna seperti "performa bagus" sebagai fitur tunggal.
Kausar et al.
pertama kali menunjukkan efektivitas Naive Bayes untuk klasifikasi sentimen dibandingkan pendekatan berbasis aturan.
Pada domain ulasan film.
Maulana et al.
menunjukkan bahwa Support Vector Machine yang dikombinasikan dengan seleksi fitur Information Gain meningkatkan akurasi klasifikasi sentimen dibandingkan SVM tanpa seleksi fitur, mengindikasikan pentingnya pemilihan fitur yang relevan dalam klasifikasi teks.
Wang et al.
menunjukkan bahwa performa Naive Bayes pada data tidak seimbang dapat ditingkatkan melalui rekayasa fitur berbasis transformasi koordinat tanpa mengubah distribusi data asli, sebuah pendekatan yang relevan mengingat Complement Naive Bayes dirancang khusus untuk menangani ketidakseimbangan kelas pada dataset dengan ukuran vocabulary besar.
Skema pembobotan TF-IDF yang digunakan dalam penelitian ini mengacu pada tinjauan information retrieval oleh Hambarde dan Proenya .
yang menyeimbangkan frekuensi lokal dengan kelangkaan global suatu term.
3 Large Language Model untuk Pelabelan Data Penggunaan LLM untuk anotasi data telah menunjukkan hasil yang menjanjikan sebagai alternatif anotasi manual yang mahal dan memakan waktu (S.
Wang et al.
, 2.
LLM berbasis transformer mampu memahami konteks dan nuansa bahasa yang kompleks, termasuk sarkasme dan kritik halus yang sering terlewat oleh pendekatan berbasis kata kunci.
Penelitian ini menggunakan Llama 3.
1-8b-instant melalui Groq API dengan teknik batch prompting untuk efisiensi penggunaan kuota API.
Kemampuan LLM dalam memahami konteks bahasa berakar pada arsitektur Transformer yang ditinjau secara komprehensif oleh H.
Zhang dan Shafiq .
, yang menggantikan mekanisme rekurensi dengan self-attention untuk menangkap dependensi jarak jauh secara lebih efisien.
Model BERT (Gardazi et al.
, 2.
memperluas arsitektur ini dengan pre-training bidirectional, sementara representasi vektor kata seperti word2vec (Touvron et al.
, 2.
menjadi fondasi awal bagi representasi semantik sebelum era Transformer.
Untuk konteks Bahasa Indonesia, model IndoBERT (Ahmadian et al.
, 2.
menunjukkan performa kompetitif pada berbagai tugas NLP berbahasa Indonesia dan menjadi kandidat potensial untuk pengembangan lebih lanjut penelitian ini.
E-ISSN: 2777-0680
Jurnal Informatika dan Teknologi Pendidikan Vol.
No.
1 - Juni 2026.
Hal.
DOI: 10.
59395/jitp.
4 Easy Data Augmentation Easy Data Augmentation (EDA), salah satu teknik augmentasi teks yang ditinjau dalam survei komprehensif oleh Bayer et al.
mencakup empat operasi: penggantian sinonim, insersi acak, pertukaran acak, dan penghapusan acak.
EDA terbukti meningkatkan performa model klasifikasi teks khususnya pada dataset kecil.
Penelitian ini menerapkan EDA secara stratifikasi per kelas untuk mencapai distribusi yang seimbang tanpa kehilangan karakteristik linguistik data asli.
5 Penelitian Terkait Beberapa penelitian telah menerapkan ABSA pada ulasan produk berbahasa Indonesia.
Rahman et al.
menerapkan ABSA pada ulasan produk e-commerce menggunakan metode SVM dan mencapai akurasi 82,51%.
Bachtiar et al.
menganalisis sentimen ulasan Free Fire menggunakan Naive Bayes Logistic dan melaporkan F1-Score 83,7%.
Pangestu et al.
menerapkan ABSA pada ulasan aplikasi dan menunjukkan pentingnya kualitas label dalam meningkatkan performa model.
Penelitian ini memperbarui pendekatan tersebut dengan mengintegrasikan LLM untuk peningkatan kualitas label yang lebih sistematis.
METODE
1 Pengumpulan Data Data dikumpulkan dari tiga platform menggunakan metode berbeda.
Tokopedia .
093 ulasa.
menggunakan web scraping dengan Selenium dan undetected-chromedriver tanpa autentikasi.
Shopee .
menggunakan teknik anchor-based dengan tombol "Laporkan Penyalahgunaan" sebagai penanda elemen ulasan asli.
YouTube .
344 komenta.
menggunakan YouTube Data API v3 dengan empat lapis filter validasi video review RTX 5060 berbahasa Indonesia.
Total data original yang terkumpul adalah 4.
675 ulasan dari ketiga platform, sebelum augmentasi data.
2 Preprocessing Teks Preprocessing dilakukan melalui enam tahap: .
case folding yaitu konversi ke huruf kecil.
pembersihan yaitu menghapus URL, simbol, dan karakter non-alfabet.
normalisasi yaitu mengganti 87 pasang kata tidak baku menggunakan kamus yang dikurasi secara manual .
ontoh: "gak" Ie "tidak", "mantul" Ie "mantap").
tokenisasi menggunakan NLTK word_tokenize.
penghapusan stopword menggunakan PySastrawi dengan 342 kata dasar ditambah 42 stopword domain-spesifik.
stemming menggunakan Sastrawi Stemmer.
Proses stemming Bahasa Indonesia menggunakan algoritma Confix Stripping yang ditinjau dan disempurnakan dalam kajian terbaru oleh Saputra et al.
, dengan penyempurnaan berdasarkan studi efektivitas stemming oleh Gyksel et al.
yang menunjukkan bahwa penerapan stemming secara selektif dapat meningkatkan recall pencarian informasi tanpa mengorbankan presisi.
Tokenisasi dan pemrosesan teks lanjutan memanfaatkan pustaka NLTK (Mufti et al.
, 2.
, sementara implementasi model klasifikasi menggunakan scikit-learn (Semary et al.
, 2.
yang menyediakan implementasi efisien untuk algoritma TF-IDF dan Complement Naive Bayes.
3 Pelabelan dengan Large Language Model Pelabelan sentimen global dan per aspek dilakukan secara serentak menggunakan model llama3.
1-8b-instant melalui Groq API dengan teknik batch prompting .
ulasan per reques.
Setiap ulasan diklasifikasikan ke Positif.
Netral, atau Negatif untuk sentimen global, serta "Positif", "Netral", "Negatif", atau "N/A" untuk lima aspek (Harga.
Kualitas Produk.
Performa.
Pengiriman.
Pelayanan Tok.
Kualitas pelabelan dievaluasi menggunakan Cohen's Kappa untuk mengukur tingkat kesepakatan antara metode keyword-based dan LLM.
Pemanggilan API menggunakan parameter temperature = 0 untuk meminimalkan variasi acak dalam output .
dan max_tokens = 1000 per request batch.
parameter top-p tidak diatur secara eksplisit sehingga mengikuti nilai bawaan Groq API.
Struktur prompt yang digunakan adalah sebagai berikut:
Kamu adalah sistem analisis sentimen Bahasa Indonesia untuk ulasan produk VGA .
artu grafi.
Analisis .
ulasan berikut dan kembalikan hasil dalam format JSON array.
Untuk setiap ulasan tentukan:
- sentimen_global: "Positif", "Netral", atau "Negatif" E-ISSN: 2777-0680 Jurnal Informatika dan Teknologi Pendidikan Vol.
No.
1 - Juni 2026.
Hal.
DOI: 10.
59395/jitp.
- Setiap aspek: "Positif", "Netral", "Negatif", atau "N/A" .
idak disebutka.
Aspek: Harga.
Kualitas Produk.
Performa.
Pengiriman.
Pelayanan Toko Ulasan: .
Jawab HANYA dengan JSON array .
anpa teks lain, tanpa markdown backtic.
[{"id":1,"sentimen_global":".
","Harga":".
","Kualitas Produk":".
","Performa":".
","Pengiriman":".
","Pelayanan Toko":".
"},.
Variabel .
disubstitusi secara dinamis dengan jumlah ulasan dalam batch .
dan teks ulasan yang sedang diproses.
4 Augmentasi Data (EDA) Augmentasi dilakukan secara stratifikasi per kelas menggunakan teknik EDA (Bayer et al.
untuk mencapai distribusi kelas yang seimbang mendekati 5.
000 data.
Tiga operasi EDA diterapkan: .
penggantian sinonim, yaitu mengganti kata dengan sinonimnya menggunakan kamus sinonim Bahasa Indonesia yang dikurasi.
penghapusan kata acak, yaitu menghapus 15% kata secara acak.
pertukaran kata acak, yaitu menukar posisi dua kata secara acak.
Setiap data augmentasi mewarisi label sentimen dan aspek dari data sumber aslinya.
Pendekatan EDA dipilih dibandingkan teknik oversampling sintetis seperti SMOTE (Avela & Ilmonen, 2.
karena EDA bekerja langsung pada level teks tanpa memerlukan representasi vektor berdimensi tetap, sehingga lebih sesuai untuk data tekstual dengan panjang bervariasi.
5 Model Klasifikasi dan Evaluasi Model utama menggunakan pipeline scikit-learn: TF-IDF .
gram_range=.
, max_features=5.
000, sublinear_tf=True, min_df=.
Ie Complement Naive Bayes .
lpha=0,.
Data dibagi dengan rasio 80:20 stratified split.
Model ABSA dibangun terpisah untuk setiap aspek menggunakan subset data yang mengandung aspek tersebut.
Evaluasi menggunakan akurasi, presisi, recall, dan F1-Score weighted average, dengan Stratified K-Fold .
untuk validasi silang.
HASIL DAN PEMBAHASAN
1 Statistik Dataset Dataset final terdiri dari 4.
982 ulasan dari empat sumber data.
Distribusi platform dan sentimen disajikan pada Tabel 1 dan Tabel 2.
Platform Tokopedia Shopee YouTube Augmentasi EDA Total Sentimen Positif Netral Negatif Total Tabel 1.
Distribusi Dataset per Sumber Jumlah Persentase (%) Metode Pengumpulan Web Scraping (Seleniu.
Web Scraping (Anchor-Base.
YouTube Data API v3 Easy Data Augmentation Tabel 2.
Perbandingan Distribusi Sentimen Keyword vs LLM Groq LLM Keyword-Based Gambar 1.
Eksplorasi Dataset Review VGA RTX 5060 (Distribusi Platform dan Sentime.
E-ISSN: 2777-0680 Jurnal Informatika dan Teknologi Pendidikan Vol.
No.
1 - Juni 2026.
Hal.
DOI: 10.
59395/jitp.
2 Perbandingan Kualitas Pelabelan Perbandingan antara pelabelan keyword-based dan Groq LLM menunjukkan perbedaan distribusi yang signifikan.
Metode keyword cenderung menghasilkan distribusi tidak seimbang dengan dominasi kelas Netral .
,6%), sedangkan LLM menghasilkan distribusi yang lebih merata.
Cohen's Kappa sebesar 0,699 menunjukkan tingkat kesepakatan yang substansial antara kedua metode (Vach & Gerke, 2.
, dengan LLM menghasilkan label berbeda pada 20,1% data keyword-based.
Perbaikan paling signifikan terjadi pada pemisahan kelas Positif dan Negatif yang sebelumnya tumpang tindih pada kelas Netral oleh metode keyword.
Untuk memberikan gambaran kualitatif terhadap 1.
001 kasus perbedaan label, dilakukan inspeksi terhadap sampel acak kasus disagreement.
Dua pola utama teridentifikasi: pertama, sekitar 10,6% kasus perbedaan melibatkan ulasan berbahasa Inggris .
mumnya komentar YouTub.
, di mana metode keyword-based yang berbasis kamus kata kunci Bahasa Indonesia gagal mendeteksi sentimen eksplisit .
isalnya "The best price per frame gpu on the market" diklasifikasikan Netral oleh keyword-based namun Positif oleh LLM).
Kedua, sejumlah kasus menunjukkan kegagalan metode keyword-based dalam menangani negasi, seperti pada ulasan "Ga worth it udah tahun 2025 minimal 12 gb.
" yang mengandung kata kunci positif ("worth it") namun didahului negasi ("Ga"), sehingga keyword-based salah mengklasifikasikan Positif sedangkan LLM benar mengklasifikasikan Negatif.
Pola-pola ini memberikan indikasi kualitatif bahwa sebagian perbedaan label mencerminkan kelemahan metode keyword-based yang telah diketahui dalam literatur, bukan kesalahan acak.
Meskipun demikian, inspeksi ini bersifat ilustratif dan dilakukan oleh peneliti, bukan oleh anotator validasi yang lebih rigorus menggunakan beberapa anotator manusia independen dan pengukuran inter-rater reliability tetap diperlukan sebagai penelitian lanjutan untuk memastikan superioritas label LLM secara definitif.
Interpretasi nilai Kappa mengacu pada skala interpretasi yang dibahas dalam kajian metrik evaluasi terkini oleh Rainio et al.
, di mana nilai 0,699 yang diperoleh penelitian ini berada pada kategori "substansial" .
,61Ae0,.
, mengindikasikan tingkat kesepakatan yang baik meskipun belum mencapai kategori "hampir sempurna".
Dari confusion matrix perbandingan, 67,5% data yang diberi label Positif oleh LLM sesuai dengan hasil keyword, sedangkan 28,9% sebelumnya berlabel Netral.
Untuk kelas Negatif, 83,9% sesuai antara kedua metode, menunjukkan keyword cukup andal untuk kelas Negatif namun kurang akurat untuk membedakan Positif dan Netral.
Gambar 2.
Perbandingan Distribusi Sentimen dan Agreement Rate: Keyword-Based vs Groq LLM Gambar 3.
Confusion Matrix Perbandingan Metode Keyword-Based vs Groq LLM
E-ISSN: 2777-0680
Vol.
No.
1 - Juni 2026.
Hal.
DOI: 10.
59395/jitp.
Jurnal Informatika dan Teknologi Pendidikan 3 Evaluasi Model Complement Naive Bayes Global Tabel 3 menyajikan hasil evaluasi model CNB untuk klasifikasi sentimen global.
Model mencapai akurasi 77,4% dengan F1-Score weighted 77,3%.
Kelas Sentimen Positif Netral Negatif Weighted Avg Accuracy Tabel 3.
Evaluasi Model Complement Naive Bayes Global Presisi (%) Recall (%) F1-Score (%) 75,69 65,27 70,10 71,12 81,60 76,00 85,97 85,46 85,71 77,67 77,43 77,31 77,40 Support Kelas Negatif mencapai F1-Score tertinggi .
,71%) berkat distribusi data yang seimbang hasil augmentasi EDA dan kualitas label Groq yang akurat.
Kelas Positif memiliki F1-Score terendah .
,10%) karena terdapat tumpang tindih semantik dengan kelas Netral, khususnya pada ulasan yang bersifat deskriptif tanpa evaluasi eksplisit.
Kelas Netral menunjukkan recall tinggi .
,60%) namun presisi lebih rendah .
,12%), mengindikasikan model cenderung mengklasifikasikan ulasan ambigu ke kelas Netral.
Metrik evaluasi yang digunakan, yaitu presisi, recall, dan F1-Score, mengikuti kerangka kerja evaluasi klasifikasi yang dijelaskan Cabot dan Ross (Cabot & Ross, 2.
, di mana F1-Score sebagai rata-rata harmonik presisi dan recall memberikan gambaran tunggal yang menyeimbangkan kedua metrik tersebut, sangat relevan untuk dataset dengan distribusi kelas yang telah diseimbangkan.
Gambar 4.
Confusion Matrix Model Complement Naive Bayes (Akurasi Global 77,4%) 4 Hasil ABSA Per Aspek Model ABSA dibangun terpisah untuk setiap dari lima aspek yang diidentifikasi menggunakan kata kunci domain-spesifik.
Tabel 4 menyajikan hasil evaluasi model per aspek beserta distribusi data.
Aspek Harga Kualitas Produk Performa Pengiriman Pelayanan Toko Rata-rata N Data Tabel 4.
Hasil Evaluasi ABSA Per Aspek Positif Netral Negatif Acc (%) Prec (%) 95,36 95,44 94,31 92,77 86,67 90,60 92,31 91,85 Recall (%) 95,36 94,31 F1 (%) 95,36 93,51 87,08 96,40 98,29 86,67 90,60 92,31 86,39 92,58 94,57 94,00 91,85 92,48 Aspek Harga mencapai akurasi tertinggi .
,4%) dengan distribusi data yang nyaris biner antara Positif dan Negatif .
anya 4 data Netral dari .
, sehingga model lebih mudah melakukan klasifikasi.
Aspek Pengiriman mencapai presisi tertinggi .
,4%) menunjukkan model sangat akurat dalam memprediksi sentimen pengiriman meskipun datanya terbatas .
Aspek Performa memiliki akurasi terendah .
,7%) akibat ambiguitas tinggi: ulasan performa sering bersifat kontekstual dan E-ISSN: 2777-0680 Jurnal Informatika dan Teknologi Pendidikan Vol.
No.
1 - Juni 2026.
Hal.
DOI: 10.
59395/jitp.
bergantung pada kebutuhan pengguna .
aming 1080p vs 4K), serta adanya 102 data Netral yang sulit dibedakan dari Positif.
Secara keseluruhan, rata-rata akurasi ABSA sebesar 91,9% dan F1-Score 92,5% jauh melampaui akurasi klasifikasi global .
,4%), mengkonfirmasi bahwa pemisahan per aspek meningkatkan kemampuan klasifikasi model secara signifikan (Wankhade et al.
, 2.
Aspek Performa juga memiliki data terbanyak .
648 ulasan, 33,1% datase.
mengindikasikan bahwa performa GPU merupakan aspek yang paling banyak dibahas konsumen Indonesia dalam ulasan VGA RTX 5060.
Gambar 5.
Akurasi Naive Bayes dan Distribusi Sentimen per Aspek 5 Analisis Word Cloud Analisis word cloud per kelas sentimen mengungkapkan pola linguistik yang berbeda.
Pada sentimen Positif .
669 ulasa.
, kata dominan adalah "gpu", "fps", "beli", "vram", dan "gb", menunjukkan konsumen merasa puas dengan performa gaming dan keputusan pembelian.
Pada sentimen Netral .
631 ulasa.
, kata dominan "rtx", "kalo", "game", dan "worth" mengindikasikan ulasan yang bersifat komparatif dan pertanyaan kelayakan pembelian.
Pada sentimen Negatif .
, kata "vram", "gb", "mahal", dan "card" mendominasi, mencerminkan kekhawatiran konsumen terhadap kapasitas VRAM 8GB yang dianggap kurang memadai untuk gaming modern dan persepsi harga yang tidak sebanding dengan peningkatan performa dibandingkan generasi sebelumnya.
Gambar 6.
Word Cloud per Kelas Sentimen (Groq Label.
: Positif.
Netral.
Negatif 6 Validasi Lintas Domain dan Perbandingan Produk (RTX 4.
Validasi lintas domain bertujuan mengukur kemampuan generalisasi model ABSA yang dilatih pada data RTX 5060 ketika diterapkan pada data ulasan produk GPU generasi sebelumnya, yaitu NVIDIA GeForce RTX 4060.
Kedua produk berada pada segmen pasar yang sama .
elas menenga.
namun berbeda generasi arsitektur, sehingga perbandingan ini relevan untuk menilai stabilitas performa model di luar domain data pelatihan dan untuk memahami perbedaan persepsi konsumen terhadap kedua generasi produk.
1 Hasil Validasi Lintas Domain Pengujian cross-domain dilakukan dengan menerapkan model Complement Naive Bayes yang telah dilatih pada dataset RTX 5060 .
985 data training dari 4.
982 data, split 80:.
untuk mengklasifikasikan ulasan RTX 4060 .
814 dat.
yang dikumpulkan secara independen dari platform Tokopedia dan YouTube.
Dataset RTX 4060 diberi label menggunakan metode yang identik dengan E-ISSN: 2777-0680 Jurnal Informatika dan Teknologi Pendidikan Vol.
No.
1 - Juni 2026.
Hal.
DOI: 10.
59395/jitp.
RTX 5060, yaitu Groq LLM dengan model llama-3.
1-8b-instant, untuk memastikan konsistensi Tabel 5.
Perbandingan Akurasi Model: In-Domain vs Cross-Domain Evaluasi Accuracy (%) Precision (%) Recall (%) F1-Score (%) In-Domain (RTX 5.
77,43 77,61 77,43 77,28 Cross-Domain (RTX 4.
47,05 49,67 47,05 45,84 Hasil pengujian cross-domain pada Tabel 5 menunjukkan penurunan akurasi yang signifikan dari 77,43% .
n-domai.
menjadi 47,05% .
ross-domai.
, atau penurunan sebesar 30,38 poin Penurunan F1-Score juga serupa, dari 77,28% menjadi 45,84% .
elisih 31,44 poi.
Hasil ini mengindikasikan bahwa model global mengalami overfitting yang substansial terhadap karakteristik linguistik spesifik ulasan RTX 5060, sehingga kemampuan generalisasinya terhadap produk lain dalam kategori serupa masih terbatas.
Penurunan ini kemungkinan disebabkan oleh perbedaan vocabulary spesifik produk .
isalnya istilah yang merujuk pada arsitektur atau fitur khas RTX 5.
yang tidak ditemukan pada ulasan RTX 4060.
Gambar 7.
Confusion Matrix Cross-Domain: Model RTX 5060 Diuji pada Data RTX 4060 Gambar 8.
Perbandingan Performa Model: In-Domain vs Cross-Domain 2 Perbandingan Sentimen per Aspek RTX 5060 vs RTX 4060 Tabel 6.
Perbandingan Sentimen per Aspek: RTX 5060 vs RTX 4060
Aspek
RTX 5060
RTX 5060
RTX 4060
RTX 4060
Positif (%) Negatif (%) Positif (%) Negatif (%) Harga Kualitas Produk Performa Pengiriman Pelayanan Toko Tabel 6 menyajikan perbandingan distribusi sentimen per aspek antara kedua produk.
Aspek Harga menunjukkan perbedaan paling mencolok: RTX 5060 memiliki sentimen Negatif 49,5% sedangkan RTX 4060 lebih tinggi .
,3%), mengindikasikan konsumen menilai kedua produk relatif
E-ISSN: 2777-0680
Vol.
No.
1 - Juni 2026.
Hal.
DOI: 10.
59395/jitp.
Jurnal Informatika dan Teknologi Pendidikan kurang terjangkau, dengan RTX 4060 sedikit lebih banyak dikritik dari aspek harga meskipun merupakan produk generasi lebih lama.
Sebaliknya, aspek Performa pada RTX 4060 menunjukkan sentimen Positif lebih tinggi .
,7% berbanding 54,5% pada RTX 5.
, kemungkinan karena ekspektasi konsumen terhadap RTX 4060 yang lebih moderat dibandingkan RTX 5060 yang dipasarkan sebagai produk generasi terbaru.
Aspek Pelayanan Toko pada RTX 5060 .
,9% Positi.
jauh lebih baik dibandingkan RTX 4060 .
,7% Positi.
, yang dapat dipengaruhi oleh perbedaan reputasi penjual pada data yang dikumpulkan untuk masing-masing produk.
Gambar 9.
Perbandingan Distribusi Sentimen per Aspek: RTX 5060 vs RTX 4060 Aspek Harga Kualitas Produk Performa Pengiriman Pelayanan Toko Rata-rata Tabel 7.
Hasil Evaluasi ABSA Per Aspek: In-Domain vs Cross-Domain N .
Acc In Acc Cross
Prec Cross Rec Cross
(%)
(%)
(%)
(%)
96,69
53,02
55,01
53,02
93,50
68,06
60,19
68,06
F1 Cross
(%)
51,89
60,50
87,88
92,19
95,60
63,89
75,63
72,44
59,80
72,45
68,43
63,89
75,63
72,44
57,88
73,81
68,61
93,17
66,61
63,18
66,61
62,54
Evaluasi ABSA per aspek pada skema cross-domain (Tabel .
menunjukkan variasi penurunan performa yang berbeda antar aspek.
Aspek Pengiriman mempertahankan performa terbaik dengan akurasi cross-domain 75,63% (F1=73,81%), hanya turun 16,55 poin dari in-domain .
,19%), mengindikasikan bahwa kosakata terkait pengiriman bersifat umum dan tidak spesifik produk.
Sebaliknya, aspek Harga mengalami penurunan paling signifikan dari 96,69% menjadi 53,02% .
urun 43,67 poi.
, mencerminkan bahwa ekspresi terkait harga sangat bergantung pada konteks harga pasar aktual masing-masing produk, sehingga model yang dilatih pada rentang harga RTX 5060 kesulitan menggeneralisasi pada rentang harga RTX 4060 yang berbeda.
Rata-rata akurasi ABSA cross-domain across lima aspek adalah 66,61% dengan F1-Score 62,54%, masih lebih baik dibandingkan akurasi sentimen global cross-domain .
,05%), mengonfirmasi bahwa pemisahan klasifikasi per aspek tetap memberikan keunggulan meskipun pada skenario lintas domain.
7 Validasi Metodologis: Pengaruh Urutan Augmentasi terhadap Hasil Pipeline utama pada Sub-bab 2.
5 menerapkan augmentasi EDA sebelum pembagian data latihuji.
Urutan ini berpotensi menimbulkan kebocoran data .
ata leakag.
apabila data hasil augmentasi dan data sumber aslinya terpisah ke set latih dan uji yang berbeda, sehingga model berisiko menghasilkan estimasi performa yang terlalu optimis.
Untuk memvalidasi hal ini, dilakukan eksperimen ulang dengan urutan yang dikoreksi: pembagian data 80:20 dilakukan terlebih dahulu pada 675 data asli .
ebelum augmentas.
, kemudian augmentasi EDA hanya diterapkan pada subset data latih .
elas Negatif yang kurang representati.
untuk mencapai keseimbangan kelas, sedangkan data uji .
tidak pernah tersentuh proses augmentasi maupun proses pelatihan model.
Hasil
E-ISSN: 2777-0680
Jurnal Informatika dan Teknologi Pendidikan Vol.
No.
1 - Juni 2026.
Hal.
DOI: 10.
59395/jitp.
eksperimen dengan urutan terkoreksi ini menghasilkan akurasi 78,40% dengan F1-Score weighted 78,19%, dibandingkan 77,40% dan 77,31% pada eksperimen utama dengan urutan augmentasisebelum-split.
Selisih sebesar 1,00 poin persentase berada dalam rentang variasi normal akibat perbedaan komposisi set uji, dan tidak menunjukkan penurunan performa yang mengindikasikan kebocoran data signifikan.
Hasil ini mengindikasikan bahwa operasi augmentasi EDA yang digunakan .
enghapusan kata acak dan pertukaran kata aca.
menghasilkan variasi teks yang cukup berbeda dari data sumber sehingga tidak menyebabkan duplikasi mendekati identik antara set latih dan uji.
Meskipun demikian, untuk praktik terbaik pada penelitian selanjutnya, urutan pembagian data sebelum augmentasi tetap direkomendasikan sebagai pendekatan yang lebih konservatif dan metodologis lebih dapat dipertanggungjawabkan.
KESIMPULAN
Penelitian ini berhasil mengimplementasikan sistem Aspect-Based Sentiment Analysis pada ulasan VGA NVIDIA GeForce RTX 5060 menggunakan Complement Naive Bayes dengan peningkatan kualitas label berbasis Large Language Model.
Beberapa temuan utama yang dapat Pertama, integrasi LLM (Llama 3.
1 via Groq API) dalam proses pelabelan menghasilkan agreement rate 79,9% (Cohen's Kappa = 0,.
dengan metode keyword-based, dengan 20,1% label berbeda dari pendekatan keyword-based dan distribusi kelas yang lebih representatif.
Temuan ini mengindikasikan LLM berpotensi menangkap nuansa sentimen yang tidak tertangkap oleh pendekatan berbasis kata kunci, meskipun validasi lebih lanjut terhadap anotasi manusia diperlukan untuk memastikan keunggulan ini secara definitif.
Kedua, model CNB global mencapai akurasi 77,4% dengan F1-Score weighted 77,3%, dengan performa terbaik pada kelas Negatif (F1=85,7%) yang mendapat manfaat terbesar dari penyeimbangan kelas melalui augmentasi EDA.
Ketiga, rata-rata akurasi ABSA per aspek sebesar 91,9% melampaui akurasi global secara signifikan, dengan rentang dari 86,7% (Perform.
hingga 95,4% (Harg.
Aspek Performa merupakan topik paling banyak dibahas konsumen .
,1% dat.
dengan dominasi kekhawatiran terhadap VRAM 8GB.
Keempat, validasi lintas domain pada data RTX 4060 mengungkapkan penurunan performa signifikan .
kurasi global dari 77,43% menjadi 47,05%), mengindikasikan model mengalami overfitting terhadap karakteristik linguistik spesifik RTX 5060.
Namun demikian, pemisahan klasifikasi per aspek tetap mempertahankan keunggulan relatif pada skenario cross-domain .
ata-rata akurasi ABSA 66,61% dibandingkan akurasi global 47,05%), dengan aspek Pengiriman menunjukkan generalisasi terbaik .
,63%) dan aspek Harga menunjukkan generalisasi terlemah .
,02%) akibat ketergantungan tinggi terhadap konteks harga pasar spesifik produk.
Penelitian selanjutnya disarankan menerapkan model berbasis IndoBERT atau transformer untuk Bahasa Indonesia, memperluas jumlah aspek, serta menambahkan validasi lintas domain menggunakan data ulasan produk GPU generasi sebelumnya.
Algoritma klasifikasi berbasis pohon keputusan seperti Random Forest dan C4.
5 yang terbukti efektif pada domain data terstruktur lain (Linawati et al.
, 2.
juga dapat dieksplorasi sebagai pembanding performa terhadap Complement Naive Bayes pada penelitian mendatang.
DAFTAR PUSTAKA