Jurnal Sistem Informasi dan Sistem Komputer.
Vol.
No.
Juli 2025 ISSN: 2715-906X (Onlin.
51717/simkom.
NAIVE BAYES DAN DECISION TREE: STUDI KASUS
KLASIFIKASI KEPUASAN PELANGGAN E-COMMERCE
Ofirmince Tulak Bamba1.
Nur Vadila2.
Sri Fitrawati3.
Vilna Wati Tedang4.
Asrawati5 ofirmtb@gmail.
com, 2vadilanur27@gmail.
com, 3fitrawati.
1910@gmail.
vilnawatitedang28@gmail.
com, 5asrawati026@gmail.
1,2,3,4,5
Fakultas Teknik.
Program Studi Teknik Informatika.
Universitas Papua Abstrak Peningkatan belanja daring mendorong e-commerce untuk memahami kepuasan pelanggan melalui analisis ulasan otomatis.
Studi ini mengevaluasi dan membandingkan kemampuan algoritma Naive Bayes dan Decision Tree dalam mengklasifikasikan tingkat kepuasan berdasarkan 5.
000 ulasan dari platform Olist.
Ulasan dikategorikan ke dalam tiga kelas, yaitu Tidak Puas.
Netral, dan Puas.
Prapemrosesan meliputi pembersihan data, ekstraksi fitur dengan TF-IDF, dan pembagian data 80% latih dan 20% uji.
Evaluasi menggunakan metrik accuracy, precision, recall.
F1-score, dan AUC.
Naive Bayes menunjukkan akurasi lebih tinggi .
,70%) dibanding Decision Tree .
,90%) serta performa klasifikasi yang lebih stabil.
Dengan demikian.
Naive Bayes lebih efisien untuk klasifikasi kepuasan pelanggan berbasis teks pada ulasan e-commerce.
Kata kunci: Data Mining.
Klasifikasi.
Naive Bayes.
Decision Tree.
E-Commerce Abstract The rise in online shopping compels e-commerce platforms to understand customer satisfaction through automated review analysis.
This study evaluates and compares the performance of the Naive Bayes and Decision Tree algorithms in classifying customer satisfaction levels based on 5,000 reviews from the Olist platform.
The reviews are categorized into three classes: Dissatisfied.
Neutral, and Satisfied.
Preprocessing involves data cleaning, feature extraction using TF-IDF, and an 80/20 split for training and testing datasets.
Evaluation metrics include accuracy, precision, recall.
F1-score, and AUC.
Naive Bayes achieves higher accuracy .
70%) compared to Decision Tree .
90%) and demonstrates more consistent classification performance.
Thus.
Naive Bayes is more efficient for text-based customer satisfaction classification in e-commerce reviews.
Keywords: Data Mining.
Classification.
Naive Bayes.
Decision Tree.
E-Commerce Pendahuluan Peningkatan penggunaan perangkat digital mendorong pelaku bisnis untuk lebih responsif terhadap tingkat kepuasan pelanggan guna mempertahankan loyalitas konsumen dan meningkatkan daya Data ulasan dan respons pelanggan menjadi sumber informasi yang sangat penting dalam mengukur serta memprediksi tingkat kepuasan pelanggan.
Menurut .
, kepuasan pelanggan memainkan peran penting dalam menjamin keberlangsungan suatu bisnis, karena pelanggan yang puas cenderung menunjukkan loyalitas yang tinggi dan berkontribusi terhadap stabilitas serta pertumbuhan bisnis dalam jangka panjang.
Salah satu platform yang dianalisis dalam penelitian terkait kepuasan pelanggan berbasis data adalah Olist, sebuah e-commerce asal Brazil yang berperan sebagai penghubung antara penjual dan berbagai marketplace besar seperti Mercado Livre.
Americanas, dan platform lainnya.
Olist memfasilitasi penjual toko untuk memasarkan produk mereka secara online melalui sistem yang terintegrasi, sekaligus menghimpun ulasan serta penilaian dari pelanggan terhadap produk yang telah dibeli.
Penelitian yang dilakukan oleh .
menggunakan algoritma C4.
5, yang juga dikenal sebagai algoritma decision tree, untuk menganalisis tingkat kepuasan pelanggan pada aplikasi TikTok Shop.
Hasil penelitian menunjukkan bahwa tingkat kepuasan pelanggan berhasil diprediksi dengan akurasi sebesar http://e-jurnal.
id/simkom Jurnal Sistem Informasi dan Sistem Komputer.
Vol.
No.
Juli 2025 ISSN: 2715-906X (Onlin.
51717/simkom.
87,27%.
Penelitian lain yang ditulis oleh .
berjudul Perbandingan Klasifikasi Tingkat Penjualan Buah di Supermarket dengan Pendekatan Algoritma Decision Tree.
Naive Bayes dan K-Nearest Neighbor, ditemukan bahwa jalur yang ditemukan pada Decision Tree dapat digunakan untuk mengklasifikasikan data baru.
Hasil penelitian menunjukkan bahwa algoritma Decision Tree memiliki tingkat akurasi 92,31% dan nilai AUC yang mencapai 93,8%.
Studi yang ditulis oleh .
dengan judul "Analisis Sentimen pada Ulasan Produk di E-Commerce Menggunakan Metode Naive Bayes", menemukan bahwa algoritma Naive Bayes dapat secara otomatis memprediksi perasaan yang diberikan oleh ulasan produk, dengan nilai akurasi yang cukup memuaskan.
Studi tambahan yang dilakukan oleh .
dengan judul AuAnalisis Klasifikasi Ulasan Sentimen pada ECommerce Shopee Menggunakan Word Cloud berbasis Naive Bayes dan K-Nearest NeighborAy terbukti memberikan hasil yang lebih baik berdasarkan evaluasi akurasi, precision, recall, dan F1-score.
Sebaliknya.
Naive Bayes menunjukkan keunggukan pada aspek confusion matrix dalam memprediksi ulang sentimen negatif, tetapi tidak dalam memprediksi sentimen ulasan positif.
Berdasarkan studi terdahulu menunjukkan bahwa algoritma Decision Tree dan Naive Bayes keduanya memiliki keunggulan dalam tugas klasifikasi.
Karena kedua algoritma ini digunakan untuk menangani dataset Aoorder reviewAo Olist.
Penelitian tambahan diperlukan untuk membandingkan kedua algoritma ini dalam konteks yang lebih khusus.
Penelitian ini bertujuan membandingkan kinerja algoritma Naive Bayes dan Decision Tree dalam mengklasifikasikan tingkat kepuasan pelanggan pada platform ecommerce Olist asal Brasil.
Proses pengklasifikasian dilakukan menggunakan algoritma ini dengan metrik evaluasi yang meliputi accuracy, precision, recall, dan F1-score.
Metode Penelitian Studi ini menerapkan pendekatan kuantitatif komparatif dengan tujuan membandingkan performa dua algoritma klasifikasi, yaitu Naive Bayes dan Decision Tree dalam mengklasifikasikan tingkat kepuasan pelanggan berdasarkan metrik evaluasi berupa accuracy, precision, recall, dan F1-score.
Rangkaian tahapan penelitian disajikan pada Gambar 1.
Gambar 1.
Tahapan Penelitian Pengumpulan Data Data dalam studi ini merupakan data sekunder yang bersumber dari e-commerce Olist dan diakses melalui platform Kaggle.
Olist sendiri merupakan sebuah platform e-commerce asal Brazil.
Dari 224 entri data, sebanyak 5.
000 entri dianalisis dan telah diklasifikasikan dalam tiga kelas: skor 1 dan 2 sebagai pelanggan tidak puas, skor 3 sebagai pelanggan netral, skor 4 dan 5 sebagai pelanggan puas.
http://e-jurnal.
id/simkom Jurnal Sistem Informasi dan Sistem Komputer.
Vol.
No.
Juli 2025 ISSN: 2715-906X (Onlin.
51717/simkom.
Pra-proses Data Untuk meningkatkan kualitas data, proses pra-pemrosesan menjadi langkah awal yang esensial dalam pengelolaan data dan kebersihan data, sehingga hasil evaluasi menjadi lebih optimal.
Proses pembersihan data dilakukan melalui beberapa tahapan berikut.
Inisialisasi dan Import Library Langkah pertama pra-proses data dilakukan dengan menginisialisasi Jupyter Notebook menggunakan %matplotlib inline, sehingga visualisasi grafik dapat langsung ditampilkan.
Selanjutnya, dilakukan proses import library penting seperti pandas, numpy.
Matplotlib dan Seaborn digunakan sebagai alat untuk manipulasi dan visualisasi data.
Pandas berfungsi dalam pengelolaan dan menganalisis data terstruktur dalam bentuk Data Frame, sementara numpy menyediakan dukungan untuk komputasi numerik dan manipulasi array multidimensi.
Untuk visualisasi data, matplotlib digunakan dalam pembuatan grafik dasar seperti garis dan batang, sedangkan seaborn mempermudah pembuatan visualisasi statistik yang lebih informatif dan estetis.
Pemuatan dan Eksplorasi Dataset Dalam penelitian ini, dataset Order Reviews digunakan sebagai sumber data, yang berisi ulasan pelanggan pada platform e-commerce.
Untuk memahami struktur dan isi awal dataset, lima baris pertama data ditampilkan, dengan fokus utama pada kolom review_score dan review_comment_message yang menjadi objek analisis.
Pemeriksaan dan Pembersihan Data Data diperiksa terlebih dahulu untuk mengidentifikasi adanya data duplikat serta komentar Komentar kosong didefinisikan sebagai entri yang bernilai NaN atau hanya berisi spasi kosong.
Seluruh data duplikat kemudian dihapus menggunakan drop_duplicates(), dan hanya dua kolom yang dipertahankan, yaitu review_score dan review_comment_message.
Selanjutnya, semua baris yang mengandung komentar kosong juga dihapus dari dataset.
Proses ini dilakukan untuk memastikan data yang akan dianalisis dalam kondisi bersih dan relevan, sehingga dapat meningkatkan akurasi dan validitas model klasifikasi yang dibangun.
Pengambilan Sampel Data Dari data yang telah dibersihkan, diambil sampel acak sebanyak 5000 baris menggunakan fungsi sample().
Langkah ini bertujuan untuk mempercepat proses pelatihan model serta mempermudah pengolahan data dalam skala menengah, tanpa mengorbankan representasi distribusi data asli.
Kategorisasi Sentimen Kategorisasi sentimen ini dilakukan dengan menerapkan fungsi apply() pada kolom review_score.
Skor ulasan pelanggan kemudian diklasifikasikan ke dalam tiga kelas sentimen, yaitu: skor 1 dan 2 dikategorikan sebagai tidak puas, skor 3 sebagai netral, skor 4 dan 5 sebagai puas.
Ekstraksi Fitur Teks (TF-IDF) Dalam proses ini, teks ulasan pelanggan direpresentasikan secara numerik dengan menggunakan metode Term Frequency-Inverse Document Frequency (TF-IDF).
TF-IDF Vectorizer dari library scikitlearn digunakan untuk menghasilkan vektor yang menunjukkan tingkat relevansi setiap kata dalam kumpulan dokumen.
Pembagian Data Data yang telah dikonversi kemudian dipisahkan menjadi data latih dan data uji dengan rasio 80:20 menggunakan fungsi train_test_split() dari pustaka scikit-learn.
Model klasifikasi dilatih menggunakan data latih, sedangkan data uji dimanfaatkan untuk menilai kemampuan model dalam mengklasifikasikan data yang tidak termasuk dalam proses pelatihan.
http://e-jurnal.
id/simkom Jurnal Sistem Informasi dan Sistem Komputer.
Vol.
No.
Juli 2025 ISSN: 2715-906X (Onlin.
51717/simkom.
Pelatihan Model Dalam penelitian ini, diterapkan dua model klasifikasi, yaitu Naive Bayes dan Decision Tree.
Naive Bayes adalah metode klasifikasi yang didasarkan pada asumsi bahwa setiap atribut bersifat saling bebas secara kondisional jika nilai kelas .
diketahui, sehingga probabilitas gabungan dapat dihitung dari perkalian probailitas masing-masing atribut .
Algoritma Naive Bayes dipilih karena karakteristiknya yang sesuai untuk data teks serta kemampuannya dalam memberikan performa yang baik pada tugas klasifikasi dokumen.
Metode Decision Tree mengklasifikasikan data melalui struktur pohon, di mana setiap node menggambarkan sebuah atribut, cabang menunjukkan nilai atribut tersebut, dan daun menandakan kelas hasil klasifikasi .
Decision Tree digunakan untuk membangun struktur pohon keputusan berdasarkan fitur yang tersedia, dengan tujuan menghasilkan aturan klasifikasi yang mudah Evaluasi Model Kinerja dari kedua model dievaluasi menggunakan berbagai metrik evaluasi.
Metrik accuracy digunakan untuk mengukur proporsi prediksi yang benar secara keseluruhan.
Selain itu, metrik precision, recall, dan F1-score diterapkan untuk mengevaluasi performa model dalam konteks klasifikasi multikelas, terutama dalam menilai keseimbangan antara prediksi positif yang benar dan kesalahan klasifikasi.
Confusion Matrix digunakan untuk mengidentifikasi distribusi prediksi yang benar dan salah pada setiap Sementara itu.
Receiver Operating Characteristic (ROC) dan Area Under the Curve (AUC) digunakan sebagai metrik untuk menilai kemampuan model dalam membedakan antar kelas.
Hasil dan Pembahasan Hasil Tahap Pra-proses Data Distribusi Frekuensi Skor dan Kelas Tabel 1 menyajikan distribusi frekuensi skor ulasan .
eview_sko.
yang diberikan oleh pelanggan terhadap suatu produk atau layanan dalam Skala likert dengan rentang nilai 1 sampai 5, dimana skor 1 merepresentasikan tingkat ketidakpuasan yang sangat tinggi, sementara skor 5 menunjukkan tingkat kepuasan yang sangat tinggi.
Tabel 1.
Distribusi Frekuensi Skor dan Kelas review_score Skor Review (Awa.
Berdasarkan Tabel 1, skor ulasan dengan frekuensi tertinggi adalah skor 5, yaitu sebesar 57.
ulasan atau sekitar 55% dari total keseluruhan.
Skor 4 menempati urutan kedua dengan jumlah 19.
Jika digabungkan, skor 4 dan 5 mencakup lebih dari 70% total ulasan, yang mengindikasikan tingkat kepuasan pengguna yang relatif tinggi terhadap produk atau layanan yang ditinjau.
Sebaliknya, skor 2 menyumbang sebesar 3151 ulasan.
Dan skor 1 dengan frekuensi ketidakpuasan sangat tinggi menyumbang 11424 ulasan.
Ini menunjukkan bahwa hanya sebagian kecil pengguna yang memberikan penilaian negatif.
Sedangkan skor 3 merupakan frekuensi netral yang menyumbang 8179 ulasan.
http://e-jurnal.
id/simkom Jurnal Sistem Informasi dan Sistem Komputer.
Vol.
No.
Juli 2025 ISSN: 2715-906X (Onlin.
51717/simkom.
Tingginya frekuensi skor 4 dan 5 menunjukkan bahwa mayoritas pengguna memiliki persepsi yang positif terhadap produk atau layanan yang dievaluasi.
Temuan ini dapat diinterpretasikan sebagai indikasi bahwa produk atau layanan tersebut mampu memenuhi, bahkan melampaui, ekspektasi Sebaliknya, rendahnya frekuensi skor 1 dan 2 mencerminkan tingkat ketidakpuasan yang relatif rendah.
Pembersihan Data Tabel 2 menyajikan tahapan praproses data yang mencakup kegiatan pembersihan dan seleksi data ulasan sebelum dilakukan analisis lebih lanjut.
Tabel 2.
Dataset Uraian Jumlah data awal Duplikat Komentar kosong/null Jumlah data setelah bersih Jumlah Berdasarkan Tabel 2, jumlah data ulasan awal yang berhasil dikumpulkan adalah sebanyak 224 entri.
Dari jumlah tersebut, tidak ditemukan data duplikat, sehingga tidak diperlukan tindakan penghapusan entri ganda.
Namun demikian, terdapat sejumlah besar entri berupa komentar kosong atau bernilai null, yaitu sebanyak 58.
274 entri, yang kemudian dieliminasi dari dataset karena tidak memuat informasi yang dapat dianalisis.
Setelah proses pembersihan dilakukan, khususnya melalui penghapusan komentar kosong atau null, jumlah data yang dinyatakan valid dan layak untuk dianalisis menyusut menjadi 5.
000 entri.
Tujuan dari proses ini adalah memastikan bahwa hanya data yang signifikan dan bermakna yang digunakan dalam analisis lanjutan.
Langkah pembersihan data merupakan bagian krusial dalam memastikan kualitas hasil analisis.
Penghapusan entri yang tidak lengkap atau tidak relevan membantu meningkatkan validitas, reliabilitas, serta akurasi interpretasi terhadap ulasan pengguna, sehingga kesimpulan yang dihasilkan dapat lebih Klasifikasi Data Setelah melalui proses pembersihan, data ulasan kemudian diklasifikasikan ke dalam tiga kategori sentimen utama, yaitu tidak puas, netral, dan puas, sebagaimana ditampilkan pada Tabel 3.
Tabel 3.
Statement Statement Jumlah tidak_puas Berdasarkan Tabel 3, kelas puas merupakan kategori dengan jumlah tertinggi, yaitu sebanyak 209 entri.
Hal ini mencerminkan bahwa mayoritas pengguna memberikan ulasan dengan nada positif terhadap produk atau layanan yang ditinjau.
Kelas tidak puas menempati urutan kedua dengan jumlah 348 entri, yang mengindikasikan adanya sebagian pengguna yang menyampaikan ketidakpuasan.
Sementara itu, kelas netral memiliki jumlah paling sedikit, yakni hanya 442 entri, yang mempresentasikan ulasan tanpa kecenderungan emosional yang kuat, baik ke arah positif maupun negatif.
http://e-jurnal.
id/simkom Jurnal Sistem Informasi dan Sistem Komputer.
Vol.
No.
Juli 2025 ISSN: 2715-906X (Onlin.
51717/simkom.
Hasil Klasifikasi Tabel 4 menyajikan evaluasi performa model klasifikasi terhadap tiga kategori kepuasan, yaitu Tidak Puas.
Netral, dan Puas, berdasarkan metrik precision, recall.
F1-score, serta jumlah data .
pada masing-masing kelas.
Jumlah kemunculan kelas yang sebenarnya dalam dataset disebut sebagai Informasi ini sangat penting untuk memahami distribusi kelas secara keseluruhan, terutama dalam dataset yang tidak seimbang di mana ketidakseimbangan jumlah kelas dapat memengaruhi kinerja model klasifikasi .
Model yang diajukan berhasil mencapai precision sebesar 0.
85, recall sebesar 0.
dan F1-score sebesar 0.
825, yang mengindikasikan kinerja model yang seimbang pada ketiga metrik evaluasi tersebut .
Secara keseluruhan, model mencapai tingkat akurasi sebesar 73.
90% dari total 1000 data yang diuji.
Meskipun demikian, performa model menunjukkan variasi yang cukup signifikan di antara ketiga kelas tersebut.
Tabel 4.
Hasil Klasifikasi Algoritma Decision Tree Kelas Precision Recall F1-score Support Tidak Puas Netral Puas Akurasi Berdasarkan Tabel 4, pada kelas Tidak Puas, model memperlihatkan kinerja yang sangat rendah dengan tingkat precision sebesar, recall, dan F1-score yang diperoleh masing-masing adalah 0,075, 0,045, dan 0,057.
Temuan ini mengindikasikan bahwa model jarang mengklasifikasikan data ke dalam kelas Tidak Puas, dan ketika klasifikasi tersebut dilakukukan, tingkat ketepatannya sangat rendah.
Rendahnya nilai recall juga menunjukkan bahwa model gagal mengenali sebagian besar data yang sebenarnya termasuk dalam kategori ini, yang kemungkinan besar disebabkan oleh ketidakseimbangan jumlah data antar kelas.
Sebaliknya, pada kelas Puas, model menunjukkan precision 0.
0638, recall 0.
652, serta F1-score 645 dalam evaluasi performanya.
Meskipun performanya tidak sebaik pada kelas Netral, ketiga metrik tersebut menunjukkan kinerja yang cukup baik dan relatif seimbang antara kemampuan model dalam mengenali data dan menghasilkan prediksi yang akurat untuk kelas ini.
Tabel 5 menyajikan hasil evaluasi performa model klasifikasi terhadap tiga kategori kepuasan, yaitu Tidak Puas.
Netral, dan Puas, menggunakan metrik precision, recall, dan F1-score, serta jumlah data .
pada masing-masing kelas.
Secara keseluruhan, model mencapai tingkat akurasi sebesar 70% dari total 1000 data yang diuji.
Meskipun akurasi tergolong tinggi, terdapat ketimpangan performa yang cukup signifikan di antara kelas yang diuji.
Tabel 5.
Hasil Klasifikasi Algoritma Naive Bayes Kelas Precision Recall F1-score Support Tidak Puas Netral Puas Akurasi Berdasarkan Tabel 5, pada kelas Tidak Puas, model sama sekali tidak mampu mengenali atau memprediksi data yang termasuk dalam kategori ini.
Hal tersebut tercermin dari nilai precision, recall, dan F1-score yang semuanya bernilai 0.
Artinya, model tidak mengklasifikasikan satu pun data ke http://e-jurnal.
id/simkom Jurnal Sistem Informasi dan Sistem Komputer.
Vol.
No.
Juli 2025 ISSN: 2715-906X (Onlin.
51717/simkom.
dalam kelas Tidak Puas, sehingga tidak terdapat prediksi yang benar untuk kategori tersebut.
Kegagalan ini sangat mungkin disebabkan oleh distribusi data yang tidak seimbang, dimana jumlah data dalam kelas Tidak Puas .
jauh lebih sedikit dibandingkan kelas lainnya, sehingga model cenderung mengabaikannya selama proses pelatihan.
Sebaliknya, performa model pada kelas Netral sangat baik, yang memperoleh nilai precision 810, recall 0.
964, dan F1-score 0.
Nilai recall yang tinggi menunjukkan bahwa hampir seluruh data yang sebenarnya termasuk dalam kelas Netral berhasil dikenali oleh model, sedangkan nilai precision yang tinggi mengindikasikan bahwa sebagian besar prediksi untuk kelas ini benar.
Kinerja yang baik ini didukung oleh jumlah data yang besar dalam kategori ini, yaitu sebanyak 642 data.
Pada kelas Puas, model menunjukkan performa yang juga baik, meskipun tidak setinggi kelas Netral.
Dengan precision 0.
787 dan recall 0.
696, model mencapai F1-score sebesar 0.
Temuan ini mengindikasikan bahwa model mampu mengidentifikasi dan memprediksi data dengan tingkat efektivitas yang memadai.
Secara keseluruhan, hasil ini mengindikasikan bahwa meskipun model bekerja sangat baik pada dua kelas utama, yaitu Netral dan Puas, model masih mengalami kegagalan dalam menangani kelas minoritas seperti Tidak Puas.
Tabel 4 dan Tabel 5 masing-masing menyajikan hasil evaluasi performa algoritma Decision Tree dan Naive Bayes untuk mengklasifikasikan data kepuasan pelanggan.
Berdasarkan evaluasi yang dilakukan, algoritma Naive Bayes berhasil meraih akurasi sebesar.
807, lebih tinggi dibandingkan dengan algoritma Decision Tree yang mencatatkan akurasi sebesar 0.
Perbedaan tersebut mengindikasikan bahwa algoritma Naive Bayes memperlihatkan performa yang lebih baik secara keseluruhan dalam mengklasifikasikan data kepuasan pelanggan dibandingkan Decision Tree.
Analisis ROC dan AUC Gambar 2 memvisualisasikan kurva ROC (Receiver Operating Characteristi.
dari model klasifikasi Decision Tree dalam skenario multiclass classification, yang berfungsi untuk menilai kemampuan model dalam membedakan tiga kelas berbeda yang berbeda.
Class 0.
Class 1, dan Class 2.
Dalam penelitian ini.
Area Under the Curve (AUC) berperan dalam menilai sejauh mana model mampu membedakan kelas positif dan negatif.
Nilai AUC diklasifikasikan ke dalam kategori sangat baik .
9Ae.
, baik .
8Ae0.
, cukup .
7Ae0.
, buruk .
6Ae0.
, serta gagal .
5Ae0.
Gambar 2.
Kurva ROC Decision Tree Data yang ditampilkan pada Gambar 2 menunjukkan bahwa performa model dalam membedakan antar kelas berada pada tingkat yang relatif rendah.
Untuk Class 0, model menghasilkan nilai AUC sebesar 0.
51 yang mendekati garis diagonal atau baseline (AUC = 0.
, sehingga mengindikasikan bahwa model hampir tidak memiliki kemampuan untuk membedakan kelas ini dari yang http://e-jurnal.
id/simkom Jurnal Sistem Informasi dan Sistem Komputer.
Vol.
No.
Juli 2025 ISSN: 2715-906X (Onlin.
51717/simkom.
kelas lainnya.
Sementara itu.
Class 1 dan Class 2 masing-masing memiliki nilai AUC sebesar 0.
61, yang menunjukkan performa yang sedikit lebih baik, namun tetap tergolong lemah dalam konteks klasifikasi.
Luas di bawah kurva ROC yang berkisar antara 0.
5 dan 1.
0 menunjukkan kemampuan model untuk membedakan antar subjek yang mengalami kejadian yang menjadi fokus penelitian dengan subjek yang tidak mengalaminya .
Gambar 3 menampilkan kurva ROC (Receiver Operating Characteristi.
yang merepresentasikan model klasifikasi.
Naive Bayes dalam skenario multiclass classification, yang digunakan untuk mengevaluasi kemampuan model dalam membedakan antar tiga kelas yang berbeda.
Class 0.
Class 1, dan Class 2.
Gambar 3.
Kurva ROC Naive Bayes Visualisasi pada Gambar 3 memperlihatkan bahwa performa model bervariasi antar kelas.
Untuk Class 0, model menghasilkan nilai AUC sebesar 0.
57, yang mengindikasikan bahwa kemampuan model dalam membedakan kelas ini dari yang lain sangat terbatas dan mendekati performa acak.
Hal ini menunjukkan bahwa model mengalami kesulitan dalam mengenali karakteristik secara khusus yang membedakan Class 0 dari kelas lainnya.
Sebaliknya.
Class 1 menampilkan performa yang lebih optimal dengan skor AUC 0.
72, yang menunjukkan kemampuan model yang cukup baik dalam mengklasifikasikan data ke dalam kelas tersebut.
Performa terbaik ditunjukkan pada Class 2, dengan nilai AUC 0.
74 yang mengindikasikan bahwa model mampu membedakan Class 2 dengan tingkat ketepatan yang memadai dibandingkan dua kelas lainnya Kesimpulan dan Saran Kesimpulan Penelitian ini berhasil melakukan perbandingan dengan performa antara algoritma Naive Bayes dan Decision Tree yang digunakan untuk mengklasifikasikan tingkat kepuasan pelanggan berdasarkan data ulasan dari platform e-commerce Olist.
Hasil evaluasi mengindikasikan bahwa algoritma Naive Bayes memperoleh tingkat akurasi yang lebih baik, yaitu sebesar 80.
70%, dibandingkan dengan algoritma Decision Tree yang hanya mencapai 73.
Naive Bayes juga memperlihatkan kestabilan performa yang lebih baik dan seimbang dalam metrik precision, recall, dan F1-score, khususnya dalam mengklasifikasikan kelas Netran dan Puas.
Namun, kedua algoritma sama-sama menunjukkan kelemahan dalam mengenali kelas Tidak Puas, yang disebabkan oleh distribusi data yang tidak seimbang.
Dengan demikian, dapat disimpulkan bahwa algoritma Naive Bayes lebih direkomendasikan untuk digunakan dalam tugas klasifikasi kepuasan pelanggan berbasis teks.
http://e-jurnal.
id/simkom Jurnal Sistem Informasi dan Sistem Komputer.
Vol.
No.
Juli 2025 ISSN: 2715-906X (Onlin.
51717/simkom.
Saran Untuk penelitian selanjutnya, disarankan untuk menerapkan teknik penyeimbangan data atau eksplorasi algoritma lain yang lebih adaptif terhadap kelas minoritas, guna meningkatkan akurasi klasifikasi secara keseluruhan.
Daftar Pustaka