JOISIE (Journal Of Information Systems And Informatics Engineerin.
Vol.
No.
Juni 2025.
Hlm 207-217 Received: 2 Mei 2025 Revised: 6 Mei 2025.
Accepted: 30 Juni 2025
p- ISSN: 2503-5304
e- ISSN: 2527-3116
KLASIFIKASI DAN PREDIKSI ULASAN E-COMMERCE MENGGUNAKAN
ALGORITMA NAyaVE BAYES Adjeng Putri Nuriza.
Tukino.
Elfina Novalia.
Bayu Priyatna.
Fakultas Ilmu Komputer.
Universitas Buana Perjuangan Karawang email: 1si21.
adjengnuriza@mhs.
Abstract This study aims to classify Tokopedia app user reviews into four main categories: app features, services, payments, and promotions.
A total of 1,500 reviews were collected through web scraping techniques from the Google Play Store and processed using preprocessing stages such as tokenization, stopword removal, and Classification was carried out using the Multinomial Naive Bayes algorithm.
From 458 test data, the model produced an accuracy of 83.
41%, with the highest precision value in the app features category of 89 and the highest recall in the payment and promotions category of 0.
These results indicate that the Naive Bayes algorithm is effective in automatically grouping reviews with an average macro performance of 84 .
, 0.
, and 0.
1-scor.
The main contribution of this study is the application of a text classification method that can help Tokopedia identify aspects of services that are most often discussed by users, so that it can support more targeted decision making.
Keywords: Naive Bayes, text classification, user reviews.
Tokopedia, e-commerce.
Abstract Penelitian ini bertujuan untuk mengklasifikasikan ulasan pengguna aplikasi Tokopedia ke dalam empat kategori utama: fitur aplikasi, layanan, pembayaran, dan promosi.
Sebanyak 1.
500 ulasan dikumpulkan melalui teknik web scraping dari Google Play Store dan diolah menggunakan tahapan preprocessing seperti tokenization, stopword removal, dan stemming.
Klasifikasi dilakukan dengan menggunakan algoritma Multinomial Naive Bayes.
Dari 458 data uji, model menghasilkan akurasi sebesar 83,41%, dengan nilai precision tertinggi pada kategori fitur aplikasi sebesar 0,89 dan recall tertinggi pada kategori pembayaran dan promosi sebesar 0,97.
Hasil tersebut menunjukkan bahwa algoritma Naive Bayes efektif dalam mengelompokkan ulasan secara otomatis dengan rata-rata kinerja makro sebesar 0,84 .
, 0,83 .
, dan 0,83 .
1-scor.
Kontribusi utama dari penelitian ini adalah penerapan metode klasifikasi teks yang dapat membantu Tokopedia mengidentifikasi aspek layanan yang paling sering dibicarakan oleh pengguna, sehingga dapat mendukung pengambilan keputusan yang lebih terarah.
Keywords: Naive Bayes.
Klasifikasi Teks.
Ulasan Pengguna.
Tokopedia.
E-Commerce.
PENDAHULUAN
Perkembangan teknologi informasi telah mendorong perubahan signifikan dalam perilaku konsumen, khususnya dalam berbelanja daring melalui platform e-commerce (Rachmawati, 2.
Teknologi informasi yang berkembang pesat memungkinkan data dapat diolah dengan cepat dan akurat sehingga dapat menghasilkan informasi yang sesuai dengan kebutuhan (Agneresa et al.
, 2.
Aktivitas jual beli daring di Indonesia menunjukkan peningkatan, didorong oleh kehadiran marketplace dengan platform yang mudah digunakan (Irawati & Prasetyo, 2.
Selain itu, belanja daring lebih hemat waktu dibandingkan berbelanja langsung di toko offline (I.
Kurniawan et al.
, 2.
Tokopedia, sebagai salah satu platform e-commerce terbesar di Indonesia, menyediakan berbagai layanan yang memudahkan pengguna dalam bertransaksi.
Seiring dengan tingginya jumlah pengguna, aplikasi ini menerima ribuan ulasan setiap harinya yang mencerminkan pengalaman dan kepuasan pengguna terhadap layanan yang diberikan (Sulistyawati & Munawir, 2.
Kebanyakan orang lebih sering mengungkapkan pikiran dan pendapatnya melalui ulasan media sosial dibandingkan berkomunikasi secara tatap muka (Sanjaya et al.
, 2.
Ulasan-ulasan ini tidak hanya berfungsi sebagai masukan, tetapi juga dapat digunakan sebagai sumber data yang kaya untuk dijelaskan lebih lanjut.
Dengan mengklasifikasikan ulasan pengguna, pengembang aplikasi dapat mengidentifikasi aspek-aspek yang https://doi.
org/10.
35145/joisie.
JOISIElicensed under a Creative Commons Attribution-ShareAlike 4.
0 International License (CC BY-SA 4.
208 | Jurnal JOISIE.
Volume 9.
Nomor 1.
Juni 2025 perlu ditingkatkan, seperti kualitas fitur, layanan pelanggan, sistem pembayaran, dan promosi yang ditawarkan (Seran, 2.
Namun, banyaknya ulasan data yang tidak terstruktur menjadi tantangan dalam proses analisis.
Untuk mengatasi tantangan tersebut, diperlukan pendekatan analisis data berbasis kecerdasan buatan, salah satunya dengan menggunakan algoritma Naive Bayes.
Naive Bayes adalah salah satu metode klasifikasi paling sederhana dan paling banyak digunakan dalam data mining (Mardiani et al.
, 2.
Algoritma ini mampu mendeskripsikan probabilitas suatu kelas berdasarkan prediksi dengan asumsi independensi antar fitur (Hananto et al.
, 2.
Algoritma ini dikenal efektif dalam menangani data teks dan telah banyak digunakan dalam berbagai penelitian terkait klasifikasi teks, termasuk analisis sentimen dan pemrosesan bahasa alami (Kurniawan et al.
, 2.
Metode Nayve Bayes ini merupakan pendekatan statistik yang digunakan untuk melakukan inferensi induktif dalam permasalahan klasifikasi.
Salah satu keunggulan dari metode ini adalah kemampuannya untuk bekerja dengan jumlah data pelatihan training data yang relatif sedikit dalam menghitung estimasi parameter yang dibutuhkan pada proses klasifikasi (Apriliyani & Salim, 2.
Penelitian sebelumnya yang dilakukan oleh Ernianti dan Elmo menemukan bahwa proses pengujian algoritma Nayve Bayes cocok untuk melakukan proses analisis sentimen pada aplikasi Amazon, dan menghasilkan akurasi rata-rata sebesar 82.
15% (Hasibuan & Heriyanto, 2.
Penelitian internasional sebelumnya menerapkan algoritma Naive Bayes untuk menyarankan komentar YouTube berdasarkan domain Dengan teknik penyempurnaan tertentu, metode ini mencapai akurasi 80%, menunjukkan kemampuan adaptasi yang baik untuk klasifikasi teks skala besar (Pirunthavi & Jayalath, 2.
Namun, sebagian besar penelitian sebelumnya masih terbatas pada klasifikasi sentimen umum dan belum secara khusus meneliti klasifikasi ulasan pengguna aplikasi e-commerce lokal seperti Tokopedia ke dalam kategori layanan tertentu.
Penelitian ini memberikan kontribusi yang unik dengan menggunakan dataset ulasan asli dari Tokopedia yang dikumpulkan melalui teknik web scraping dan diberi label secara manual ke dalam empat kategori utama, yaitu fitur aplikasi, layanan, pembayaran, dan promosi.
Selain itu, penelitian ini menerapkan tahap praproses teks yang lengkap dan sistematis, serta mengevaluasi kinerja model secara komprehensif menggunakan metrik precision, recall, dan F1-score untuk setiap kategori.
Dengan pendekatan ini, penelitian dapat memberikan wawasan yang lebih terarah bagi pengembang aplikasi dalam memahami fokus utama keluhan atau kebutuhan pengguna.
Dalam penelitian ini, ulasan pengguna Tokopedia diklasifikasikan ke dalam empat kategori utama, yaitu fitur aplikasi, layanan, pembayaran, dan promosi menggunakan algoritma Naive Bayes.
Hasil yang diperoleh menunjukkan bahwa metode ini mampu memberikan kinerja klasifikasi yang cukup baik dengan tingkat akurasi sebesar 83,41%.
Penelitian ini diharapkan dapat memberikan kontribusi terhadap pengembangan sistem analisis ulasan otomatis yang membantu perusahaan memahami kebutuhan dan meningkatkan pengalaman pengguna secara keseluruhan.
METODE PENELITIAN
Penelitian ini bertujuan untuk mengklasifikasikan dan memprediksi ulasan pengguna aplikasi Tokopedia ke dalam beberapa kategori menggunakan algoritma Naive Bayes.
Tahapan yang dilakukan dalam penelitian ini terdiri dari data scraping, data labeling, preprocessing.
TF-IDF, training models, dan model performance evaluation.
Tahapan tersebut dijelaskan secara rinci sebagai berikut:
Gambar 1.
Tahapan Penelitian https://doi.
org/10.
35145/joisie.
JOISIElicensed under a Creative Commons Attribution-ShareAlike 4.
0 International License (CC BY-SA 4.
Nuriza.
Klasifikasi Dan Prediksi Ulasan E-Commerce Menggunakan Algoritma Nayve Bayes, 207-.
209 Pengumpulan Data (Scrapin.
Data ulasan pengguna diperoleh dari aplikasi Tokopedia dalam kurun waktu lima bulan terakhir terhitung sejak 16 Oktober 2024 hingga 27 Maret 2025.
menggunakan teknik web scraping.
Ulasan yang dikumpulkan merupakan tanggapan pengguna terhadap aplikasi yang tersedia di platform Google Play Store (Nugraha & Gustian, 2.
Setelah proses pengumpulan data, dilakukan pemilihan ulasan yang relevan dan kontekstual (Ruslan et al.
, 2.
Selain itu, data yang terpilih diklasifikasikan ke dalam beberapa label tertentu.
Semua data disimpan dalam format teks dan disusun menjadi dataset yang digunakan pada tahap analisis selanjutnya.
Seleksi dan Pelabelan Data Data ulasan pengguna diperoleh dari aplikasi Tokopedia menggunakan teknik web scraping, dengan total data ulasan yang diambil sebanyak 1.
500 data.
Ulasan yang dikumpulkan merupakan respon pengguna terhadap aplikasi yang tersedia pada platform Google Play Store.
Setelah proses pengumpulan data dilakukan, dilakukan pemilihan ulasan yang relevan dan kontekstual.
Selain itu, data yang terpilih dikelompokkan menjadi 4 kategori, yaitu: Fitur Aplikasi.
Layanan.
Promosi, dan Pembayaran.
Seluruh data disimpan dalam format teks dan disusun menjadi dataset yang digunakan pada tahap analisis selanjutnya.
Setelah data ulasan berhasil dikumpulkan, dilakukan proses pelabelan manual menjadi empat kategori utama.
Dari total 1.
500 ulasan, sebanyak 1.
244 ulasan memenuhi kualifikasi, sedangkan sisanya tidak relevan atau tidak memiliki konteks yang jelas.
Hasil pelabelan menunjukkan bahwa kategori Fitur Aplikasi mendominasi dengan jumlah 572 ulasan .
,98%), diikuti oleh Layanan sebanyak 394 ulasan .
,67%).
Pembayaran sebanyak 79 ulasan .
,35%), dan Promo sebanyak 199 ulasan .
,00%).
Distribusi ini menunjukkan bahwa sebagian besar ulasan pengguna berfokus pada pengalaman mereka dalam menggunakan fitur aplikasi Tokopedia.
Tabel 1.
Pelabelan Data Content Category sudah langganan plus, pakai vocer yg katanya b.
Promo Gak jelas.
Daftar baru kata nya dapat promo, u.
Promo Tadinya saya dapat promo yang besar, tetapi se.
Promo Untuk tokopedia hilangkan saja fitur kurir rek.
Fitur aplikasi Tolong dikasih fitur ganti ekspedisi, saya mua.
Fitur aplikasi Pusing sama sistem kupon tokped, punya kupon t.
Fitur aplikasi Preprocessing Agar data teks dapat diproses oleh algoritma, maka dilakukan beberapa tahap preprocessing yaitu lower case, cleaning, tokenizing, stopwords, dan stemming sebagai berikut:
Case Folding Case folding merupakan tahapan dalam pengolahan teks yang bertujuan untuk mengubah semua huruf kapital menjadi huruf kecil (Annisa & Ulama, 2.
Langkah ini berguna untuk menyamakan format penulisan, sehingga proses pencarian dan analisis teks menjadi lebih efektif.
Hal https://doi.
org/10.
35145/joisie.
JOISIElicensed under a Creative Commons Attribution-ShareAlike 4.
0 International License (CC BY-SA 4.
210 | Jurnal JOISIE.
Volume 9.
Nomor 1.
Juni 2025 ini penting karena tidak semua dokumen menggunakan huruf kapital secara konsisten (Indriyani et , 2.
Pada tabel 2 kolom sebelah kiri, kita dapat melihat huruf kapital seperti "Tadinya", "Gopay", dan "Ada".
Setelah case folding, semua huruf kapital diubah menjadi huruf kecil, seperti "tadinya", "gopay", dan "ada".
Formulasi :
CF.
A) = lower.
A) .
Keterangan:
Fungsi lower() mengubah semua huruf kapital menjadi huruf kecil.
Tujuannya adalah menyamakan bentuk kata, misalnya Ada dan ada menjadi sama.
Tabel 2.
Hasil Case Folding Text Case Folding Tadinya saya dapat promo yang besar, tetapi setelah tadinya saya dapat promo yang besar, tetapi setelah saya top up saldo Gopay, promonya mendadak jadi saya top up saldo gopay, promonya mendadak jadi Ada juga kupon lain yang tersedia tetapi tidak kecil.
ada juga kupon lain yang tersedia tetapi tidak dapat digunakan padahal sudah memenuhi dapat digunakan padahal sudah memenuhi Cleaning Tanda Cleaning merupakan langkah awal dalam pengolahan data teks yang bertujuan untuk membuang unsur-unsur yang tidak diperlukan atau dianggap mengganggu, sehingga data menjadi lebih bersih dan siap untuk dilakukan analisis lebih lanjut (Ravil et al.
, 2.
Pada tabel 3 kolom pertama .
asil dari lipatan huru.
, teks masih mengandung tanda baca seperti koma (,), titik (.
), dan penghubung lainnya.
Setelah dibersihkan, tanda baca ini dihilangkan.
Hasilnya adalah teks yang lebih bersih dan siap untuk diproses lebih lanjut tanpa gangguan dari simbol yang tidak perlu.
Formulasi :
CL.
A) = dA - .
OO dA | c OO alfabet dan spas.
Keterangan:
Simbol, angka, dan karakter khusus dihapus dari teks.
Dapat menggunakan regex seperti [^a-zA-Z\.
Tabel 3.
Hasil Cleaning Case Folding Cleaning tadinya saya dapat promo yang besar, tetapi setelah tadinya saya dapat promo yang besar tetapi setelah saya top up saldo gopay, promonya mendadak jadi saya top up saldo gopay promonya mendadak jadi ada juga kupon lain yang tersedia tetapi tidak kecil ada juga kupon lain yang tersedia tetapi tidak dapat digunakan padahal sudah memenuhi dapat digunakan padahal sudah memenuhi Tokenizing Proses ini dilakukan dengan memecah teks dari bentuk kalimat menjadi kata-kata terpisah.
Tahap ini disebut tokenisasi dan bertujuan untuk memudahkan analisis dengan memecah kalimat menjadi unit kata (Prasetyo et al.
, 2.
Dari tabel 4, kita dapat melihat bahwa kalimat panjang dipecah menjadi 31 token yang mewakili setiap kata.
Token-token ini kemudian akan digunakan dalam proses lebih lanjut seperti stemming, penghapusan stopword, atau klasifikasi teks.
Formulasi :
A) = token(CL(CF.
A))) Keterangan:
Fungsi token() memecah kalimat berdasarkan spasi.
Output berupa list kata: T.
A) = .
CA, wCC, .
, wC.
https://doi.
org/10.
35145/joisie.
JOISIElicensed under a Creative Commons Attribution-ShareAlike 4.
0 International License (CC BY-SA 4.
Nuriza.
Klasifikasi Dan Prediksi Ulasan E-Commerce Menggunakan Algoritma Nayve Bayes, 207-.
211 Tabel 4.
Hasil Tokenizing Cleaning Tokenizing tadinya saya dapat promo yang besar tetapi setelah ['tadinya', 'saya', 'dapat', 'promo', 'yang', 'besar', 'tetapi', saya top up saldo gopay promonya mendadak jadi 'setelah', 'saya', 'top', 'up', 'saldo', 'gopay', 'promonya', kecil ada juga kupon lain yang tersedia tetapi tidak 'mendadak', 'jadi', 'kecil', 'ada', 'juga', 'kupon', 'lain', dapat digunakan padahal sudah memenuhi 'yang', 'tersedia', 'tetapi', 'tidak', 'dapat', 'digunakan', 'padahal', 'sudah', 'memenuhi', 'persyaratan'] Stopwords Pada tahap stop-word removal, kata-kata umum yang tidak memiliki makna signifikan terhadap konteks teks, atau disebut stop-word, dihilangkan dari daftar token yang telah melalui proses Penghapusan ini bertujuan untuk meningkatkan efisiensi dalam proses pelatihan model atau pengklasifikasian data teks (Sabrani et al.
, 2.
Dari tabel 5 kata-kata seperti "yang", "dan", "saya", "tidak", atau "ada" sering muncul dalam teks tetapi tidak memberikan nilai informasi yang Formulasi :
SR.
A) = .
OO T.
A) | w OO SW} .
SW adalah himpunan stopword bahasa Indonesia.
Kata-kata seperti "yang", "ada", "saya", "dapat", akan dihapus.
Tabel 5.
Hasil Stopwords Tokenizing Stopwords ['tadinya', 'saya', 'dapat', 'promo', 'yang', 'besar', 'tetapi', ['tadinya', 'promo', 'besar', 'top', 'up', 'saldo', 'gopay', 'setelah', 'saya', 'top', 'up', 'saldo', 'gopay', 'promonya', 'promonya', 'mendadak', 'jadi', 'kecil', 'kupon', 'mendadak', 'jadi', 'kecil', 'ada', 'juga', 'kupon', 'lain', 'tersedia', 'digunakan', 'padahal', 'memenuhi', 'yang', 'tersedia', 'tetapi', 'tidak', 'dapat', 'digunakan', 'persyaratan'] 'padahal', 'sudah', 'memenuhi', 'persyaratan'] Stemming Stemming merupakan proses untuk memetakan atau menyederhanakan sebuah kata ke bentuk Tujuan dari proses ini adalah untuk menghapus berbagai jenis imbuhan, seperti awalan .
, akhiran .
, maupun gabungan keduanya .
, yang terdapat pada setiap (Sari & Hayuningtyas, 2.
Tujuannya adalah agar kata-kata yang memiliki makna sama tetapi berbeda bentuk .
eperti AudigunakanAy.
AumenggunakanAy.
AupenggunaanA.
dianggap satu representasi: yaitu AugunaAy.
Dengan begitu, hasil analisis akan lebih konsisten dan tidak membedakan kata hanya karena variasi bentuknya.
Formulasi :
A) = .
| w OO SR.
A)} .
Keterangan:
Fungsi stem() mengubah kata ke bentuk dasar.
Misalnya, "tadinya" Ie "tadi", "digunakan" Ie "guna".
Tabel 6.
Hasil Stemming Stopwords ['tadinya', 'promo', 'besar', 'top', 'up', 'saldo', 'gopay', 'promonya', 'mendadak', 'jadi', 'kecil', 'kupon', 'tersedia', 'digunakan', 'padahal', 'memenuhi', 'persyaratan'] Stemming ['tadi', 'promo', 'besar', 'top', 'up', 'saldo', 'gopay', 'promonya', 'dadak', 'jadi', 'kecil', 'kupon', 'sedia', 'guna', 'padahal', 'penuh', 'syarat'] https://doi.
org/10.
35145/joisie.
JOISIElicensed under a Creative Commons Attribution-ShareAlike 4.
0 International License (CC BY-SA 4.
212 | Jurnal JOISIE.
Volume 9.
Nomor 1.
Juni 2025
TF-IDF
Metode Term Frequency-Inverse Document Frequency (TF-IDF) digunakan untuk mengekstrak fitur-fitur penting dari teks jawaban kuesioner.
TF-IDF mengukur tingkat kepentingan suatu kata dalam sebuah dokumen dibandingkan dengan keseluruhan kumpulan dokumen, dengan tujuan menghasilkan akurasi yang tinggi (Gautama, 2.
Term Frequency (TF) Mengukur seberapa sering sebuah term .
muncul dalam dokumen tertentu.
Formulasi :
TF.
, .
= f.
, .
/ max.
, .
| w OO .
Keterangan:
, .
: jumlah kemunculan term t dalam dokumen d.
, .
}: frekuensi maksimum dari semua term dalam dokumen d.
TF bernilai tinggi jika term sering muncul dalam dokumen.
Inverse Document Frequency (IDF) Mengukur seberapa penting sebuah term dalam seluruh korpus.
Formulasi :
IDF.
= log(N / df.
) Keterangan:
N: jumlah total dokumen dalam korpus.
: jumlah dokumen yang mengandung term t.
IDF tinggi jika term jarang muncul dalam dokumen.
Gabungan TF-IDF TF-IDF memberikan bobot tinggi untuk kata yang sering muncul di dokumen tertentu namun jarang di seluruh korpus.
Formulasi :
TF-IDF.
, .
= TF.
, .
y IDF.
Keterangan:
TF-IDF merupakan hasil perkalian antara nilai TF dan IDF dari sebuah term.
Makin tinggi nilai TF-IDF, makin penting kata tersebut untuk dokumen tersebut.
Desain Model Klasifikasi Model dikembangkan menggunakan algoritma Naive Bayes yang sesuai untuk klasifikasi Hasil klasifikasi yang diperoleh nantinya akan dievaluasi, dimana nilai evaluasi tersebut dapat digunakan untuk menilai sejauh mana keberhasilan metode yang diterapkan dalam pengujian.
Salah satu cara untuk melakukan evaluasi dalam analisis sentimen adalah dengan menggunakan Confusion Matrix (Grandis et al.
, 2.
Evaluasi dilakukan menggunakan recall sejauh mana model dapat menemukan semua kasus positif yang ada.
Precision berfokus pada keakuratan prediksi positif yang dibuat oleh model, mengurangi kesalahan dalam hasil positif.
Akurasi memberikan gambaran umum tentang berapa banyak prediksi yang benar dibandingkan dengan total data, sementara error rate menunjukkan seberapa sering model membuat kesalahan dalam klasifikasi.
Berikut merupakan formulasi Klasifikasi Nayve Bayes.
Formulasi :
= P.
y OaCsACUCACaAQA P.
https://doi.
org/10.
35145/joisie.
JOISIElicensed under a Creative Commons Attribution-ShareAlike 4.
0 International License (CC BY-SA 4.
Nuriza.
Klasifikasi Dan Prediksi Ulasan E-Commerce Menggunakan Algoritma Nayve Bayes, 207-.
: Posterior probability .
robabilitas hipotesis setelah melihat dat.
: Likelihood probability .
robabilitas fitur ke-i muncul dalam kelas .
: Prior probability .
robabilitas awal kelas .
Q : Jumlah fitur
HASIL DAN PEMBAHASAN
1 Pengumpulan Data Ulasan yang diambil disusun berdasarkan urutan terbaru berdasarkan waktu publikasinya.
Proses scraping dilakukan untuk mengumpulkan ulasan dalam kurun waktu lima bulan terakhir terhitung sejak 16 Oktober 2024 hingga 27 Maret 2025.
Dari proses scraping, diperoleh sekitar 1.
500 ulasan Selanjutnya, dilakukan proses pelabelan manual terhadap data ulasan ke dalam empat kategori utama, yaitu Fitur Aplikasi.
Layanan.
Pembayaran, dan Promo.
Setelah melalui proses verifikasi dan penyaringan, diperoleh 1.
244 data ulasan yang valid dan sesuai dengan kategori, sedangkan sisanya .
tidak dimasukkan karena tidak relevan atau tidak sesuai konteks 2 Preprocessing Data ulasan akhir yaitu yang diklasifikasikan kemudian diproses melalui tahap praproses sehingga siap digunakan dalam model pelatihan.
Pada tabel berikut, dapat dilihat bagaimana teks asli mengalami berbagai tahapan, dimulai dari case folding hingga stemming.
Contoh teks yang awalnya berisi 31 kata .
setelah stemming menjadi lebih ringkas dan terfokus, dengan hanya 17 token yang tersisa.
Tabel 8.
Hasil Akhir Preprocessing Text Learn Preprocessing Text Learn tadinya saya dapat promo 31 Stemming ['tadi', 'promo', 'besar', 17 yang besar, tetapi setelah saya 'top', 'up', 'saldo', 'gopay', top up saldo gopay, promonya 'promonya', 'dadak', 'jadi', mendadak jadi kecil.
ada juga 'kecil', 'kupon', 'sedia', kupon lain yang tersedia 'guna', 'padahal', 'penuh', tetapi tidak dapat digunakan 'syarat'] padahal sudah memenuhi Berdasarkan hasil preprocessing pada data ulasan, dapat disimpulkan bahwa tahapan seperti casefolding, cleaning, tokenizing, stopwords, dan stemming mampu meningkatkan teks mentah menjadi data yang lebih bersih dan terstruktur secara signifikan.
Dari contoh yang ditunjukkan tabel diatas, case folding yang terdiri dari 31 kata berhasil diringkas menjadi 17 kata inti setelah melalui proses ini.
Proses ini membantu mengurangi kata-kata yang tidak relevan dan menyatukan berbagai bentuk kata menjadi bentuk dasarnya.
Dengan demikian, hasil preprocessing ini sangat penting untuk meningkatkan efektivitas pada tahap analisis lanjutan, seperti klasifikasi sentimen atau pengelompokan topik ulasan.
3 TF-IDF
Secara umum, nilai TF-IDF yang tinggi menunjukkan bahwa kata-kata tersebut memiliki relevansi yang signifikan dalam konteks ulasan pengguna di platform Tokopedia.
Kata-kata dengan nilai TF-IDF yang lebih tinggi berarti sering muncul dalam ulasan yang memiliki informasi penting, baik itu dalam hal produk, layanan, maupun proses transaksi.
Berikut adalah 10 kata dengan rata-rata TF-IDF tertinggi, beserta penjelasan lebih lanjut:
https://doi.
org/10.
35145/joisie.
JOISIElicensed under a Creative Commons Attribution-ShareAlike 4.
0 International License (CC BY-SA 4.
214 | Jurnal JOISIE.
Volume 9.
Nomor 1.
Juni 2025 Tabel 9.
Hasil TF-IDF Kata Aplikasi Barang Kirim Belanja Bayar Kurir Lama Promo Guna Ongkir Rata-rata TF-IDF Kata-kata seperti "aplikasi", "promo", "barang", dan "belanja" mencerminkan perhatian pengguna terhadap fitur aplikasi, penawaran khusus, dan produk.
Sementara itu, kata-kata "kirim", "kurir", "ongkir" berfokus pada layanan pengiriman, dan "bayar" berkaitan dengan transaksi, dengan "lama" sering muncul dalam keluhan keterlambatan.
Data ini memberi wawasan penting bagi Tokopedia untuk memperbaiki fitur aplikasi, kualitas produk, layanan pengiriman, dan promosi.
4 Desain Model Klasifikasi Model klasifikasi yang digunakan dalam penelitian ini adalah Multinomial Naive Bayes.
Evaluasi dilakukan terhadap data uji menggunakan metrik akurasi, presisi, recall, dan f1-score, serta didukung oleh hasil laporan klasifikasi.
Model tersebut menghasilkan akurasi sebesar 83,41%, yang menunjukkan bahwa sebagian besar data uji berhasil diklasifikasikan ke dalam kategori yang sesuai.
Tabel 10.
Classificaton Report Kelas Precision Recall F1-Score Support Fitur Aplikasi 0.
Pelayanan Pembayaran 0.
Promo Accuracy Macro Avg 0.
Weighted Avg 0.
Berdasarkan classification report, model Naive Bayes mampu mengklasifikasikan ulasan.
Kategori pembayaran dan promo menunjukkan kinerja terbaik dengan recall tinggi, masing-masing sebesar 0,97, sedangkan fitur aplikasi memiliki recall rendah .
meskipun presisinya cukup tinggi .
Secara keseluruhan, nilai f1-score rata-rata sebesar 0,83 menunjukkan bahwa model cukup baik dalam membedakan keempat kategori ulasan.
Gambar.
2 Confussion Matrix https://doi.
org/10.
35145/joisie.
JOISIElicensed under a Creative Commons Attribution-ShareAlike 4.
0 International License (CC BY-SA 4.
Nuriza.
Klasifikasi Dan Prediksi Ulasan E-Commerce Menggunakan Algoritma Nayve Bayes, 207-.
215 Berdasarkan Confusion Matrix di atas, terlihat bahwa model mampu mengklasifikasikan ulasan dengan cukup baik.
Kategori pembayaran dan promo menunjukkan kinerja tertinggi dengan jumlah prediksi yang benar masing-masing 111 dan 109.
Akan tetapi, terdapat beberapa kesalahan klasifikasi, terutama pada kategori fitur aplikasi dan layanan, yang masing-masing memiliki beberapa prediksi yang salah diarahkan ke kategori lainnya.
Misalnya, 18 ulasan yang seharusnya masuk dalam fitur aplikasi malah diprediksi sebagai layanan.
Meskipun demikian, secara umum model menunjukkan kinerja yang cukup baik dalam membedakan keempat kategori tersebut.
Analisis hasil klasifikasi menunjukkan bahwa kinerja model bervariasi antar kelas ulasan.
Hal ini sebagian besar disebabkan oleh distribusi data yang tidak seimbang, di mana kelas seperti promo layanan atau memiliki data yang lebih sedikit daripada kelas fitur aplikasi.
Ketidakseimbangan ini menyebabkan model cenderung bias terhadap kelas mayoritas.
Selain itu, konten yang tumpang tindih antarkelas juga memengaruhi akurasi model.
Beberapa ulasan berisi informasi yang terkait dengan lebih dari satu kategori, sehingga menyulitkan model untuk mengidentifikasi kelas yang paling Misalnya, ulasan tentang proses pembayaran yang lambat juga dapat berisi kritik terhadap layanan, yang menyebabkan ambiguitas dalam klasifikasi.
5 Evaluasi Model Prediksi Teks Untuk melihat secara detail kemampuan model dalam mengklasifikasikan ulasan, berikut adalah 5 contoh hasil prediksi model Naive Bayes.
Setiap ulasan dibandingkan antara label manual .
abel sebenarny.
dan label prediksi model untuk menentukan apakah model berhasil mengklasifikasikan dengan benar atau tidak.
Tabel 11.
Hasil Prediksi Model Naive Bayes Ulasan Label pertama kali kecewa tokped ngasih promo bayar paylater abis satu Pelayanan metode bayar dipake lapor cs kata direspon menit nyata lama banget ampe tengah jam gratis ongkir naik minimal belanja, padahal sudah langganan.
Fitur semoga kembali ke syarat yang dulu, soalnya sekarang jadi boros.
Aplikasi bayar kartu tokped aplikasi tokped bayar cicil hampir jt lebih pas cek Fitur apk brimo ko bayar tagih muncul tgl hitung aneh banget cerah rugi Aplikasi dong kalo bayar g potong cicil promo nihapaan semua voucer tdkbisa guna tiba gakbisa belanja Promo pake vocer metode bayar blokir alas jelas issu langgar tentu padahal murni Pembayaran Prediksi Pembayaran Promo Pembayaran Promo Pembayaran Dari 5 sampel ulasan yang diuji, terdapat 2 ulasan yang berhasil diklasifikasikan dengan benar oleh model Naive Bayes, yaitu pada ulasan ke-4 .
dan ke-5 .
Sementara itu, 3 ulasan lainnya mengalami kesalahan klasifikasi.
Ulasan ke-1 yang seharusnya termasuk dalam kategori pelayanan diprediksi sebagai pembayaran, ulasan ke-2 yang seharusnya fitur aplikasi diprediksi sebagai promo, dan ulasan ke-3 juga mengalami kekeliruan dengan label fitur aplikasi diprediksi sebagai pembayaran.
Kesalahan ini menunjukkan bahwa model masih sulit membedakan ulasan yang konteksnya saling berkaitan, terutama antara fitur aplikasi, pembayaran, dan pelayanan.
SIMPULAN
Kesimpulan Model klasifikasi berhasil mencapai akurasi sebesar 83%, yang menunjukkan kinerja yang cukup baik dalam mengelompokkan ulasan pengguna ke dalam empat kategori.
Kinerja https://doi.
org/10.
35145/joisie.
JOISIElicensed under a Creative Commons Attribution-ShareAlike 4.
0 International License (CC BY-SA 4.
216 | Jurnal JOISIE.
Volume 9.
Nomor 1.
Juni 2025 terbaik ditunjukkan pada kategori pembayaran (F1-score: 0.
dan promo (F1-score: 0.
, di mana model mampu mengenali sebagian besar ulasan dengan tepat.
Kategori pelayanan juga menunjukkan hasil yang stabil (F1-score: 0.
, sementara performa terendah ada pada kategori fitur aplikasi (F1score: 0.
, menandakan masih adanya kebingungan model dalam mengenali ulasan terkait fitur.
Secara keseluruhan, nilai macro average dan weighted average F1-score yang sama-sama 0.
memperkuat bahwa model memiliki performa yang cukup merata, meskipun masih ada ruang perbaikan pada beberapa kelas.
Namun, penelitian ini memiliki beberapa keterbatasan, antara lain distribusi data yang tidak seimbang antarkategori, serta potensi hilangnya makna akibat tahapan praproses seperti penghilangan stopword atau stemming.
Untuk pengembangan selanjutnya, model dapat disempurnakan dengan algoritma eksplorasi lain seperti SVM atau deep learning, penerapan teknik penyeimbangan dan penyetelan hiperparameter.
Selain itu, representasi teks berbasis word embedding seperti Word2Vec atau BERT juga dapat dieksplorasi untuk meningkatkan akurasi.
Secara praktis, hasil penelitian ini dapat dimanfaatkan oleh platform e-commerce seperti Tokopedia untuk mengelompokkan ulasan pengguna secara otomatis, sehingga memudahkan analisis sentimen, meningkatkan layanan, dan membuat keputusan berbasis data secara lebih efisien.
DAFTAR PUSTAKA