METHOMIKA: Jurnal Manajemen Informatika & Komputerisasi Akuntansi Vol.
9 No.
1 (April 2.
ISSN: 2598-8565 .
edia ceta.
ISSN: 2620-4339 .
edia onlin.
ANALISIS SENTIMEN MASYARAKAT TERHADAP PELAYANAN JASA
EKSPEDISI JNE DAN J&T EXPRESS MENGGUNAKAN
METODE LEXICON-BASED
Sebastianus Adi Santoso MolaA.
Dinda Permata Mbatu.
Dony Martinus Sihotang Fakultas Sains dan Teknik.
Universitas Nusa Cendana.
Kota Kupang.
Indonesia Email: adimola@staf.
DOI: https://doi.
org/10.
46880/jmika.
Vol9No1.
ABSTRACT
JNE and J&T Express are two of the largest and most popular courier companies in Indonesia, leading to various public opinions regarding the quality of their services.
This research employs a lexicon-based method using the InSet dictionary, a simple scientific approach where the system calculates the weight of words and classifies them as positive, negative, or neutral sentiments.
The analysis process begins with data collection of reviews using scraping techniques, followed by text processing including cleaning, case folding, normalization, tokenization, stemming, and stopword removal.
Out of 3,565 reviews for JNE and 3,967 reviews for J&T, the sentiment analysis indicates that the majority of the public holds negative opinions towards the services of both courier companies.
The analysis accuracy reaches 82% for JNE data, with a precision value of 95% for negative sentiment, 54% for positive sentiment, and 7% for neutral sentiment.
The sensitivity values are 83% for negative sentiment, 82% for positive sentiment, and 15% for neutral sentiment.
Data for J&T shows an accuracy of 78%, with a precision value of 97% for negative sentiment, 28% for positive sentiment, and 4% for neutral sentiment.
Sensitivity values are 80% for negative sentiment, 82% for positive sentiment, and 4% for neutral sentiment.
Keyword: JNE.
J&T.
Sentiment Analysis.
Lexicon-Based.
InSet.
ABSTRAK
JNE dan J&T Express adalah dua perusahaan pengiriman terbesar dan terpopuler di Indonesia, mengakibatkan banyak opini masyarakat mengenai kualitas layanan mereka.
Metode lexicon-based dengan kamus InSet diguanakan dalam penelitian ini, sebuah metode ilmiah sederhana di mana sistem menghitung bobot kata dan mengklasifikasikannya sebagai sentimen positif, negatif, dan netral.
Proses analisis dimulai dengan pengumpulan data ulasan menggunakan teknik scraping, diikuti oleh text processing yang meliputi cleaning, case folding, normalisasi, tokenizing, stemming, dan stopword removal.
Dari 3565 ulasan JNE dan 3967 ulasan J&T, hasil sentimen menunjukan mayoritas masyarakat beropini negatif terhadap pelayanan kedua jasa ekspedisi tersebut.
Akurasi analisis mencapai 82% untuk data JNE dengan nilai presisi sentimen negatif 95%, sentimen positif 54%, sentimen netral 7% sedangkan sensitivitas sentimen negatif 83%, sentimen positif 82%, sentimen netral 15%.
Data J&T memiliki akurasi sebesar 78% dengan nilai presisi sentimen negatif 97%, sentimen positif 28%, sentimen netral 4% sedangkan sensitivitas sentimen negatif 80%, sentimen positif 82%, sentimen netral 4%.
Kata Kunci: JNE.
J&T.
Analisis Sentimen.
Lexicon-Based.
InSet.
PENDAHULUAN
Kebutuhan akan penggunaan jasa ekspedisi barang meningkat dengan cepat dalam memenuhi berbagai kebutuhan seluruh masyarakat Indonesia.
Kehadiran berbagai layanan ekspedisi tidak hanya memberikan kemudahan bagi masyarakat, tetapi juga bagi pengusaha atau penjual dimana dalam bisnis online, mereka memanfaatkan jasa ekspedisi untuk mengirimkan barang ke pembeli yang berada di berbagai daerah di Indonesia (Nitami & Februariyanti.
Hal yang paling utama bagi sebuah perusahaan jasa ekspedisi barang adalah kemampuan perusahaan tersebut dalam membangun hubungan yang harmonis dengan penggunanya (Akbar et al.
, 2.
Meningkatkan memberikan pelayanan yang ramah dan berkualitas adalah salah satu cara untuk membantu perusahaan mencapai target laba yang optimal (Affandi et al.
Jika layanan yang diberikan kurang memuaskan bagi pengguna atau masyarakat, hal itu dapat membuat menggunakan jasa ekspedisi tersebut di masa Hal ini juga menjadi bahan pertimbangan oleh masyarakat dalam menggunakan jasa ekspedisi.
Halaman 56 METHOMIKA: Jurnal Manajemen Informatika & Komputerisasi Akuntansi Vol.
9 No.
1 (April 2.
Terdapat beberapa perusahaan jasa pengiriman terbesar dan terpopuler di Indonesia, yakni JNE dan J&T Express.
PT Tiki Jalur Nugraha Ekakurir, atau dikenal sebagai JNE, merupakan salah satu perusahaan yang bergerak dalam layanan distribusi barang di Indonesia.
JNE menyediakan pengiriman paket dan dokumen dengan lebih dari 8.
000 titik layanan di seluruh Indonesia.
Pada tahun 2014.
JNE memperkenalkan aplikasi MY JNE, yang bertujuan membantu pelanggan untuk mengecek tarif, melacak paket, menemukan lokasi konter terdekat, serta memfasilitasi transaksi jual-beli antara penjual dan pembeli individual (JNE, 2.
Sementara itu.
PT Global Jet Express, atau J&T, adalah perusahaan jasa pengiriman yang memiliki 4.
000 titik operasi tersebar di berbagai wilayah Indonesia.
Kehadiran titik operasi ini bertujuan mendukung distribusi barang pelanggan.
Pada tahun 2015.
J&T meluncurkan aplikasi J&T Express untuk memberikan kemudahan kepada pengguna dalam memesan, melacak paket, menghitung ongkos kirim, serta menemukan drop point (J&T.
Berdasarkan hasil Google Trends 2024.
JNE dan J&T menempati peringkat pertama dan kedua sebagai jasa pengiriman yang sering dicari di Indonesia dalam dua belas bulan terakhir, dibandingkan dengan jasa pengiriman lain seperti Anteraja.
Sicepat, dan Pos Indonesia.
Hal ini menunjukkan bahwa JNE dan J&T menjadi dua perusahaan jasa pengiriman yang cukup populer di mesin pencari Google di wilayah Indonesia.
Popularitas JNE dan J&T Express sebagai penyedia jasa pengiriman memiliki dampak signifikan terhadap opini masyarakat mengenai kualitas layanan Sejumlah besar ulasan di google playstore mencerminkan tingkat kepuasan atau kekecewaan masyarakat terhadap layanan maupun aplikasi masingmasing penyedia jasa pengiriman tersebut.
Opini masyarakat ini memiliki potensi besar untuk mempengaruhi reputasi JNE dan J&T Express (Sitorus.
Mengingat dampak signifikan yang dapat ditimbulkan oleh berbagai opini, penting untuk segera mengambil langkah guna menganalisis opini masyarakat terhadap layanan yang diberikan oleh kedua perusahaan ini (Rahmadan & Marpaung, 2.
Langkah ini sangat krusial untuk mengidentifikasi masalah dan mencari solusi yang efektif guna meningkatkan kualitas layanan dan memperbaiki pengalaman masyarakat.
Salah satu cara yang dapat digunakan dalam menganalisis opini masyarakat adalah analisis sentimen.
Analisis komputasional dari opini, sentimen dan emosi yang diekspresikan dalam bentuk teks, yang termasuk dalam ISSN: 2598-8565 .
edia ceta.
ISSN: 2620-4339 .
edia onlin.
domain penelitian text mining dan mulai berkembang sejak tahun 2013 (Alita & Isnain, 2.
Kecenderungan penelitian tentang analisis sentimen umumnya berfokus pada opini yang mengungkapkan atau mencerminkan sentimen positif, negatif atau netral (Kurniawan, 2.
Untuk melakukan analisis sentimen jasa pengiriman JNE dan J&T Express, diperlukan sejumlah data ulasan dari masyarakat.
Informasi ini diambil dari google play store, di mana ulasan pengguna menjadi salah satu fitur ulasan yang dapat Fitur ulasan tersebut kerap digunakan sebagai alat untuk memperoleh informasi mengenai suatu produk atau layanan sebelum digunakan (Rezki et al.
Dari masalah yang telah disampaikan sebelumnya, penulis memilih untuk menggunakan text mining dan menerapkan metode lexicon based dalam pembuatan model analisis sentimen.
Metode lexicon based merupakan pendekatan yang sederhana tanpa harus melakukan pelatihan data set (Singh et al.
, 2.
Pendekatan in relatif mudah diterapkan dan praktis, sehingga menjadi pilihan yang baik untuk menganalisis sentimen dari ulasan atau komentar (Fatihin, 2.
TINJAUAN PUSTAKA
Dari sejumlah penelitian yang telah dilakukan, terdapat temuan yang konsisten mengenai penggunaan metode lexicon based dalam analisis sentimen.
Penelitian oleh Mujilahwati .
menunjukkan bahwa metode ini mampu mengklasifikasikan komentar dalam kelas positif, negatif, dan netral berdasarkan nilai polarity.
Begitu pula dengan penelitian oleh Arief & Imanuel .
Ismail & Hakim .
, serta Sumitro dkk .
, yang menghasilkan temuan serupa mengenai dominasi sentimen positif dalam konteks yang berbeda.
Hasilhasil ini mendukung kesimpulan bahwa metode lexicon based dapat digunakan untuk menganalisis sentimen dalam berbagai konteks, seperti penilaian terhadap wisata, vaksin, atau topik viral.
Penelitian yang dilakukan oleh Syaifuddin & Muslimin .
dan Musfiroh dkk .
juga menunjukkan hasil serupa dalam konteks kebijakan dan perkuliahan daring, dengan mayoritas tweet mengandung sentimen negatif.
Temuan ini menunjukkan bahwa isu-isu tertentu, seperti pendidikan online atau kebijakan tertentu, dapat menimbulkan reaksi negatif dari masyarakat.
Di sisi lain, penelitian oleh Undap dkk .
dan Hernikawati .
menyoroti variasi dalam opini masyarakat terhadap topik yang berbeda, seperti Halaman 57 METHOMIKA: Jurnal Manajemen Informatika & Komputerisasi Akuntansi Vol.
9 No.
1 (April 2.
pembajakan artikel penelitian dan vaksin Sinovac, dengan dominasi opini netral.
Begitu pula dengan penelitian oleh Fadhillah dkk .
, yang menunjukkan variasi dalam respons masyarakat terhadap partai politik peserta pemilu 2019.
Dengan demikian, hasil-hasil penelitian ini memberikan kontribusi yang berharga dalam pemahaman tentang bagaimana sentimen masyarakat dapat dianalisis dan dipahami melalui pendekatan lexicon Based.
METODE PENELITIAN
Tahap pertama dalam penelitian ini adalah pengumpulan dan pengambilan data, diikuti oleh tahap preprocessing teks, analisis teks atau klasifikasi sentimen menggunakan metode berbasis leksikon .
exicon-base.
, visualisasi hasil klasifikasi, serta pengujian akurasi dengan confusion matrix.
Tahapan penelitian dapat dilihat pada Gambar 1.
Gambar 1 Diagram Alur Penelitian Berdasarkan gambar diatas, alur atau tahap penelitian adalah sebagai berikut.
Tahap 1: Dataset dalam penelitian ini diperoleh dari situs google play store menggunakan teknik web scraping dengan program python.
Data yang terkumpul kemudian akan dianalisis lebih lanjut untuk memahami sentimen masyarakat terhadap masing-masing layanan.
Tahap 2: Tahap pre-processing merupakan langkah pertama dalam text mining di mana data dibersihkan dari kata-kata yang dianggap tidak relevan, sehingga proses selanjutnya dapat menghasilkan hasil yang lebih optimal (Basryah et al.
, 2.
Text processing dalam penelitian ini meliputi cleaning, case folding.
ISSN: 2598-8565 .
edia ceta.
ISSN: 2620-4339 .
edia onlin.
normalisasi, tokenizing, stemming, dan stopword Tahap 3: Setelah dilakukannya preprocessing, menggunakan metode berbasis leksikon .
Metode lexicon-based merupakan pendekatan ilmiah yang sering dipakai dalam penelitian analisis Pendekatan ini melibatkan penggunaan kamus kata yang telah diberi bobot pada setiap katanya sebagai sumber leksikal atau bahasa dan termasuk dalam kategori machine learning yang bersifat Tingkat keberhasilan tergantung pada kualitas kamus kata yang digunakan.
Menggunakan metode ini relatif sederhana dimana sistem akan menghitung bobot kata-kata yang ditemukan dan mengklasifikasikannya ke dalam sentimen tertentu (Fadhillah et al.
, 2.
Metode lexicon based melibatkan penghitungan orientasi dokumen dari orientasi semantik kata atau frasa dalam dokumen (Turney, 2.
Dengan demikian dalam penelitian ini dibutuhkan lexicon .
yang dimana peneliti menggunakan kamus kata leksikon berbahasa Indonesia yaitu InSet yang dibangun oleh Koto & Rahmaningtyas, kamus ini dianotasi dengan orientasi semantik, atau polaritas kata digunakan untuk klasifikasi sentimen bahasa Indonesia.
Dalam kamus InSet sudah memiliki bobot atau skor masing-masing pada tiap kata mulai dari Oe5 untuk sangat negatif sampai dengan 5 untuk sangat positif.
(Taboada et al.
Dengan demikian, pendekatan ini menekankan pentingnya menganalisis setiap komponen kata atau frasa untuk memahami sentimen keseluruhan suatu Sentimen pada data teks ditentukan berdasarkan kata-kata yang ada dalam kamus lexicon, yang dikategorikan sebagai negatif, positif, atau netral.
Skor dihitung dari jumlah kata yang teridentifikasi pada setiap teks atau kalimat.
(Ismail & Hakim, 2.
Maka, untuk klasifikasi sentimen dibutuhkan Polarity score yang dilakukan dengan cara sebagai berikut (Fadhillah et al.
, 2.
Menentukan skor sentimen setiap kata :
Pada tahap ini, setiap kata diberi skor sentimen berdasarkan InSet leksikon, skor ini kemudian digunakan untuk menentukan nilai polarity (Rajput et al.
, 2.
Menghitung nilai Polarity score :
Perhitungan ycEycuycoycaycycnycyc ycIycaycuycyce dilakukan dengan menjumlahkan setiap skor sentimen setiap kata dalam satu kalimat menggunakan rumus pada Halaman 58 METHOMIKA: Jurnal Manajemen Informatika & Komputerisasi Akuntansi Vol.
9 No.
1 (April 2.
Persamaan 1 untuk menentukan orientasi akhir dari sentimen (Yerzi & Sibaroni, 2.
Keterangan :
Oc ycIycycaycuycyce = Jumlah nilai skor Oc ycAyc = Jumlah kata Menentukan orientasi sentimen :
Setelah nilai polaritas ditentukan, langkah mengkategorikan kelas sentimen dari setiap kalimat atau data.
Sentimen diklasifikasikan menurut persamaan berikut (Nurkasanah & Hayaty, 2.
ycyycuycycnycycnyce ycnyce ycu > 0 ycIyceycuycycnycoyceycuyc = { ycuyceycycycayco ycnyce ycu = 0 ycuyceyciycaycycnyce ycnyce ycu < 0 Keterangan :
x = Polarity score Tahap 4: Hasil klasifikasi yang diperoleh akan disajikan dalam bentuk visualisasi data dengan menggunakan pie chart histogram dan word cloud.
Untuk memudahkan pemahaman hasil proses klasifikasi, data disajikan dalam bentuk pie chart.
Histogram menunjukkan persentase untuk setiap kelas polaritas, sedangkan wordcloud menampilkan katakata yang paling sering muncul pada masing-masing sentimen (Amaliah & Dwi Nuryana, 2022.
Musfiroh et , 2.
Tahap 5: Pada tahap pengujian akurasi.
Confusion Matrix digambarkan dalam Tabel 1 terdapat jumlah data uji yang diklasifikasi dengan benar dan salah oleh model klasifikasi (Normawati & Prayogi, 2.
Tabel 1.
Confusion matrix
Predicted Class
Class Positif Negatif
Netral
TPP
PFN
PFNet
Actual Positif
Class Negatif NFP
TNN
NegFNet Netral NetFP NetFN TNetNet Keterangan:
TPP (True Possitive Possitiv.
: Kelas aktual dan prediksi positif.
TNN (True Negative Negativ.
: Kelas aktual dan prediksi negatif.
TNetNet (True Netral Netra.
: Kelas aktual dan prediksi netral.
PFN (Positive False Negati.
: Aktual positif, prediksi negatif.
NFP (Negatif False Positiv.
: Aktual negatif, prediksi positif.
ISSN: 2598-8565 .
edia ceta.
ISSN: 2620-4339 .
edia onlin.
PFNet (Positive False Netra.
: Aktual positif, prediksi netral.
Oc ycIycycaycuycyce .
Oc ycAyc NetFP (Netral False Positiv.
: Aktual netral, prediksi positif.
NetFN (Netral False Negati.
: Aktual netral, prediksi negatif.
NegFNet (Negatif False Netra.
: Aktual negatif, prediksi netral.
Pengujian dalam penelitian ini dilakukan dengan cara menampilkan classification report yaitu menghitung accuracy .
, precision (Presis.
dan recall .
Akurasi Akurasi menunjukkan perhitungan persentase jumlah data yang diklasifikasikan dengan benar, dengan cara data prediksi yang terklasifikasi dengan benar, dibagi dengan jumlah keseluruhan data prediksi.
Dimana rumus dari perhitungan akurasi dapat dilihat pada Persamaan 3.
ycNycEycE ycNycAyceyciycAyceyci ycNycAyceycycAyceyc Akurasi = ycu 100 .
ycEycuycoycaycycnycycycIycaycuycyce = ycNycuycycayco Presisi Presisi menunjukkan perhitungan tingkat ketepatan hasil klasifikasi kelas aktual yang diprediksi dengan benar oleh model, dengan cara jumlah data aktual yang diklasifikasi dengan benar (True Possitive Possitiv.
, dibagi dengan jumlah data yang diklasifikasikan dengan benar dan salah (True Possitive Possitive.
Negatif False Positiv.
Netral False Positiv.
Dimana rumus dari perhitungan Presisi dapat dilihat pada Persamaan 4.
ycNycEycE Presisi = ycu 100 .
cNycEycE ycAyceyciyaycE NetFP) Sensitivitas Sensitivitas mengklasifikasi suatu kelas, dengan cara jumlah klasifikasi entitas oleh model yang bernilai benar (True Possitive Possitiv.
, dibagi dengan jumlah entitas (True Possitive Possitive.
Positive False Negatif.
Positive False Netra.
Dimana rumus dari perhitungan sensitivitas dapat dilihat pada Persamaan 5.
ycNycEycE Sensitivitas= .
cNycEycE ycEyaycAyceyci ycEyaycAyceyc ) ycu 100
HASIL DAN PEMBAHASAN
Pada tahap pengambilan data menggunakan teknik web scraping, menghasilkan data JNE sebanyak 3565 data ulasan dan J&T Express sebanyak 3967 data Halaman 59 METHOMIKA: Jurnal Manajemen Informatika & Komputerisasi Akuntansi Vol.
9 No.
1 (April 2.
Setelah data didapatkan maka akan dilakukan Ulasan yang diperoleh dari situs google play store seringkali mengandung karakter atau kata yang tidak formal dan tidak terstruktur.
Oleh karena itu, dalam tahap ini, karakter dan kata-kata tersebut dihilangkan atau diubah ke dalam bentuk yang lebih terstruktur untuk memudahkan proses klasifikasi.
Cleaning Dalam penelitian ini, tahap pembersihan (Cleanin.
digunakan untuk menghilangkan tanda baca, emotikon, karakter khusus, angka, dan tautan dari teks ulasan.
Contoh hasil dari tahap cleaning dapat dilihat pada Tabel 2.
Tabel 2.
Contoh Hasil Cleaning Expedisi kebanyakan Expedisi kebanyakan tidur ini.
Paket g jalan2 tidur ini Paket g jalan udh seminggu lebih.
udh seminggu lebih Case folding Dalam penelitian ini Case folding digunakan untuk mengubah bentuk teks menjadi lower case.
Contoh hasilnya dapat dilihat pada Tabel 3.
Tabel 3.
Contoh Hasil Case Folding case_folding Expedisi kebanyakan expedisi kebanyakan tidur ini Paket g jalan tidur ini paket g jalan udh seminggu lebih udh seminggu lebih Normalisasi Tahap ini melakukan pencarian kata berslang/kata gaul dalam kamus slangwords dan diubah menjadi kata baku.
Contoh hasilnya dapat dilihat pada Tabel 4.
Tabel 4.
Contoh Hasil Normalisasi case_folding expedisi kebanyakan expedisi kebanyakan tidur ini paket g jalan tidur ini paket tidak jalan udh seminggu lebih sudah seminggu lebih Tokenizing Dalam proses ini memecah suatu kalimat menjadi potongan-potongan kata berdasarkan spasi.
Contoh hasilnya terlihat pada Tabel 5.
ISSN: 2598-8565 .
edia ceta.
ISSN: 2620-4339 .
edia onlin.
Tabel 5.
Contoh Hasil Tokenizing expedisi kebanyakan ['expedisi', 'kebanyakan', tidur ini paket tidak 'tidur', 'ini', 'paket', 'tidak', jalan sudah seminggu 'jalan', 'sudah', 'seminggu', 'lebih'] Stemming Stemming merupakan tahap mengganti tiap kata menjadi bentuk awal .
, dimana hasil stemming dapat dilihat pada Tabel 6.
Tabel 6.
Contoh Hasil Stemming ['expedisi', 'kebanyakan', expedisi banyak 'tidur', 'ini', 'paket', 'tidak', tidur ini paket tidak 'jalan', 'sudah', 'seminggu', jalan sudah minggu 'lebih'] Stopword Removal Stopword Removal menghilangkan kata-kata yang umumnya muncul dalam teks namun kurang memberikan kontribusi penting, seperti ada, untuk, di, ke, dari, dan sebagainya.
Contoh hasil dari tahap cleaning dapat dilihat pada Tabel 7.
Tabel 7.
Hasil Stopword Removal expedisi banyak tidur expedisi banyak tidur ini paket tidak jalan paket tidak jalan minggu sudah minggu lebih Hasil Klasifikasi Menggunakan Lexicon-Base Setelah preprocessing, kemudian akan dilakukan klasifikasi, hasil klasifikasi ulasan dibagi menjadi sentimen positif, sentimen negatif dan sentimen netral.
Semua data JNE dan J&T yang telah di preprocessing akan diklasifikasikan menggunakan algoritma metode lexicon based dengan memanfaatkan InSet Lexicon (Koto & Rahmaningtyas, 2017.
Sistem akan memeriksa setiap kata dalam data dengan InSet Lexicon.
Kata dalam data akan memiliki bobot, jika kata tersebut terdapat dalam InSet Lexicon.
Bobot tersebut akan diakumulasi untuk menghasilkan nilai polarity tiap ulasan.
Polarity score ini yang akan menentukan sentimen tiap kalimat.
Apabila nilai polarity lebih dari 0 atau bernilai positif maka kalimat tersebut berorientasi sentimen positif, sebaliknya jika nilai polarity kurang dari 0 atau bernilai negatif maka kalimat tersebut berorientasi sentimen negatif.
Kalimat akan berorientasi sentimen netral jika nilai polarity Halaman 60 METHOMIKA: Jurnal Manajemen Informatika & Komputerisasi Akuntansi Vol.
9 No.
1 (April 2.
Contoh hasil polarity score dari sejumlah ulasan dapat dilihat pada tabel 8.
Tabel 8.
Contoh Hasil Klasifikasi
Polarity Ulasan preprocessing Sentimen
kecewa banget jne kirim
paket isi bobol terima cuma Negatif
pertama kirim barang karawang tangerang nyata 1,444 Positif
hari langsung mantap aplikasi kurang mudah kurang tunjuk informasi
-0,3
Negatif tingkat kembang sangat bantu sekali kirim barang jadi tahu harga cek Positif kasih bintang meski kadang lambat kirim nama manusia lebih kurang semangat terus 0,059 Positif buat seluruh jasa kirim Untuk mempermudah dalam melihat hasil klasifikasi, seluruh data ulasan yang telah diklasifikasikan akan disajikan dalam bentuk diagram lingkaran .
ie char.
yang dapat dilihat pada Gambar 2 dibawah ini.
Gambar 2.
Pie Chart Hasil Klasifikasi Sentimen JNE dan J&T Berdasarkan pie chart hasil klasifikasi sentimen JNE dan J&T, dapat dilihat persentase opini masyarakat untuk klasifikasi sentimen negatif sebesar 70,9% untuk JNE dan 74,0% untuk J&T, atau sebanyak 2936 ulasan J&T menunjukkan opini, keluhan, atau pandangan negatif terhadap pelayanan maupun aplikasi kedua jasa ekspedisi tersebut.
Sementara itu, persentase opini masyarakat untuk klasifikasi sentimen positif sebesar 26,8% untuk JNE dan 23,5% untuk J&T.
Hal ini menunjukkan bahwa hanya 26,8% dari keseluruhan data ulasan JNE dan hanya 23,5% dari keseluruhan data ulasan J&T menampilkan opini positif, baik berupa ISSN: 2598-8565 .
edia ceta.
ISSN: 2620-4339 .
edia onlin.
rasa senang, terbantu, merasakan manfaat, atau mendukung pelayanan dan aplikasi kedua jasa ekspedisi tersebut.
Sisanya adalah 2,4% ulasan JNE dan 2,5% ulasan J&T, yang termasuk dalam sentimen Terdapat juga hasil temuan serupa yang dilakukan oleh Desi Musfiroh bersama temantemannya pada tahun 2021 dengan judul AuAnalisis Sentimen terhadap Perkuliahan Daring di Indonesia dari Twitter Dataset Menggunakan InSet LexiconAy (Musfiroh et al.
, 2.
Dapat dilihat diagram persentase hasil klasifikasi sentimen yang dilakukan oleh mereka pada Gambar 3 dibawah ini.
Gambar 3.
Diagram Persentase Hasil Klasifikasi Sentimen Dari diagram yang ditampilkan pada Gambar 3, dari data hasil preprocessing yang berjumlah 5811.
Sebagian besar sentimen yang terdeteksi adalah negatif, yaitu sebesar 63,6% .
6 twee.
, yang mencerminkan keluhan, atau pandangan kurang mendukung terhadap pelaksanaan perkuliahan daring di Indonesia.
Sentimen positif tercatat sebanyak 27,6% .
4 twee.
, berisi tanggapan seperti rasa senang, persetujuan, penerimaan, atau dukungan terhadap perkuliahan daring.
Sisanya, 8,9% .
, menunjukkan sentimen netral.
Dapat dilihat bahwa hasil klasifikasi sentimen positif, sentimen negatif, dan sentimen netral memiliki hasil yang sama yaitu lebih dominan adalah hasil klasifikasi sentimen negatif.
Berbeda dengan penelitian yang dilakukan oleh (Musfiroh et al.
, 2.
Untuk melihat frekuensi setiap kata yang memiliki persentase kemunculan tertinggi, data hasil klasifikasi akan disajikan dalam bentuk histogram, sedangakan dalam penelitian tersebut tidak mengguanakan visualisasi histogram.
Dimana hasil histogram dalam penelitian ini dapat dilihat pada Gambar 4.
Halaman 61 METHOMIKA: Jurnal Manajemen Informatika & Komputerisasi Akuntansi Vol.
9 No.
1 (April 2.
Gambar 4.
Histogram Data JNE dan J&T Data JNE tersebar pada rentang 2000-2500 dengan frekuensi sebesar 70,88% dan data J&T tersebar pada rentang 2500-3000 dengan frekuensi sebesar 74,04%.
Sedangkan jumlah data dengan sentimen positif data JNE dan data J&T tersebar pada rentang 500-1000 dengan frekuensi sebesar 26,76% untuk data JNE dan frekuensi sebesar 23,49% untuk data J&T.
Dan pada batang ketiga menunjukkan jumlah data dengan sentimen netral data JNE dan J&T tersebar pada rentang 0-100 dengan frekuensi sebesar 2.
dan 2,47%.
, mereka tidak menyajikan hasil Kata-kata yang muncul pada keseluruhan data ulasan JNE dan J&T akan disajikan dalam bentuk Word Cloud.
Visualisasi Word Cloud JNE dan J&T dapat dilihat pada Gambar 5.
Gambar 5.
Wordcloud Data JNE dan J&T Terdapat tiga gambar wordcloud data JNE yang terdiri dari wordcloud sentimen positif JNE, wordcloud sentimen negatif JNE dan wordcloud sentimen netral JNE.
Terlihat juga tiga gambar wordcloud data J&T yang terdiri dari wordcloud sentimen positif J&T, wordcloud sentimen negatif J&T dan wordcloud sentimen netral J&T.
Terlihat bahwa kata AokirimAo.
AotidakAo merupakan kata yang paling banyak muncul dengan frekuensi kemunculan tertinggi atau yang ISSN: 2598-8565 .
edia ceta.
ISSN: 2620-4339 .
edia onlin.
paling mendominasi.
Sesuai dengan topik yang dibahas mengenai jasa ekspedisi atau jasa pengiriman, kata AokirimAo sering mendominasi dalam ulasan karena kata tersebut langsung berkaitan dengan pengalaman masyarakat terhadap layanan pengiriman.
Selain itu, kata AotidakAo sering mendominasi dalam ulasan karena masyarakat terhadap layanan pengiriman.
Sesuai dengan topik yang diangkat, pada hasil penelitian yang dilakukan oleh (Musfiroh et al.
, 2.
yaitu mengenai AoPerkuliahan DaringAo, wordcloud sentimen positif dan negatif dapat dilihat pada Gambar 6 dibawah ini, namun untuk wordcloud sentimen netral tidak ditunjukan.
Gambar 6.
WordCloud Sentimen Positif dan Negatif Hasil Pengujian Akurasi Dalam Penelitian ini, pengujian akurasi menggunakan data klasifikasi manual yang dilakukan oleh pakar Bahasa Indonesia.
Data klasifikasi manual tersebut akan dibandingkan dengan hasil klasifikasi yang sudah dihasilkan oleh model.
Total dataset awal yang dimasukkan ke dalam sistem adalah sebanyak 3565 ulasan pada JNE dan 3967 ulasan pada J&T.
Setelah dilakukannya pembersihan teks dan klasifikasi kemudian dilakukan pengujian, sehingga hasil pengujian memperoleh confusion matrix berikut (Tabel .
Tabel 9.
Hasil pengujian Confusion Matrix
Kelas Prediksi
JNE
Negatif Netral Positif
Negatif
Kelas Netral
Aktual
Positif
Kelas Prediksi
J&T
Negatif Netral Positif Negatif Kelas Netral Aktual Positif Halaman 62 METHOMIKA: Jurnal Manajemen Informatika & Komputerisasi Akuntansi Vol.
9 No.
1 (April 2.
Dari Tabel 9, diperoleh diperoleh hasil akurasi, presisi, dan sensitivitas yang dapat dilihat pada Tabel 10 dibawah ini.
Tabel 10.
Hasil Pengujian JNE
Presisi
Sensitivitas Akurasi
Negatif
Netral
Positif
J&T
Presisi Sensitivitas Akurasi Negatif Netral Positif Berdasarkan Tabel 10, akurasi analisis mencapai 82% untuk data JNE dengan nilai presisi untuk sentimen negatif 95%, sentimen positif 54%, sentimen netral 7% sedangkan sensitivitas untuk sentimen negatif 83%, sentimen positif 82%, sentimen netral 15%.
Untuk data J&T memiliki akurasi sebesar 78% dengan nilai presisi untuk sentimen negatif 97%, sentimen positif 28%, sentimen netral 4% sedangkan sensitivitas untuk sentimen negatif 80%, sentimen positif 82%, sentimen netral 4%.
Secara keseluruhan model dapat mengklasifikasi sebagian data ulasan dengan benar namun hasil prediksi model dalam memprediksi kelas netral dan positif memiliki nilai persentase yang rendah.
Kemampuan model dalam memprediksi kelas positif sangat baik walaupun kemampuan model dalam memprediksi untuk kelas netral sangat rendah, hal ini dikarenakan adanya ketidakseimbangan dalam dataset.
(Musfiroh et al.
, 2.
melakukan penelitian dengan data klasifikasi dibagi menjadi data latih dan data uji, dengan perbandingan 8:2.
Dari total data, 80% .
8 twee.
digunakan sebagai data latih, untuk sisanya, yaitu 20% .
3 twee.
digunakan sebagai data uji.
Hasil pengujian model klasifikasi menggunakan teknik cross-validation dapat dilihat pada Gambar 7.
Gambar 7.
Hasil Pengujian Akurasi Model dengan Cross Validation ISSN: 2598-8565 .
edia ceta.
ISSN: 2620-4339 .
edia onlin.
Gambar 7 diatas menunjukkan perbandingan akurasi antara proses training dan testing selama 20 Grafik memperlihatkan penggunaan epoch yang tinggi dapat meningkatkan akurasi jika jumlah data training mencukupi.
Namun, terjadi overfitting, di mana akurasi pada proses training tinggi tetapi rendah pada proses testing.
Hasil pengujian 1163 data uji ditampilkan dalam confusion matrix pada Gambar 8.
Gambar 8.
Hasil Confusion Matrix dari Model Klasifikasi Dengan merujuk pada confusion matrix tersebut, didapatkan nilai accuracy, precision, recall dari model klasifikasi yang dapat dilihat pada tabel berikut ini.
Tabel 11.
Hasil Pengujian Presisi Sensitivitas Akurasi Negatif 72.
Netral 63.
Positif 82.
Dari keseluruhan hasil pengujian akurasi, terlihat bahwa akurasi pada topik AoPerkuliahan DaringAo tidak lebih tinggi dibandingkan dengan topik AoPelayanan Jasa Ekspedisi JNEAo.
Namun, nilai akurasinya lebih baik dibandingkan dengan topik AoPelayanan Jasa Ekspedisi J&TAo.
KESIMPULAN
Terlihat bahwa model memiliki akurasi tinggi sebesar 82% untuk data JNE dan data J&T sebesar Secara keseluruhan model dapat mengklasifikasi sebagian data ulasan dengan benar namun hasil prediksi model dalam memprediksi kelas netral dan positif memiliki nilai persentase yang rendah.
Sementara itu kemampuan model dalam memprediksi kelas positif sangat baik walaupun kemampuan model dalam memprediksi kelas netral sangat rendah.
Halaman 63 METHOMIKA: Jurnal Manajemen Informatika & Komputerisasi Akuntansi Vol.
9 No.
1 (April 2.
Visualisasi pie chart dan histogram menunjukan bahwa sebagian besar ulasan pada kedua jasa ekspedisi cenderung negatif.
Hal ini ini tercermin dengan dalam pie chart mengilustrasikan proporsi sentimen negatif yang lebih besar dibandingkan sentimen positif dan netral, serta tingginya frekuensi data dengan sentimen negatif pada gambar histogram.
Berdasarkan visualisasi wordcloud, kata AokirimAo dan AotidakAo paling sering muncul dalam ulasan JNE dan J&T, mencerminkan perasaan dan pengalaman masyarakat terkait pengiriman.
Sentimen positif menunjukkan kepuasan dengan layanan yang berjalan baik dan Sentimen negatif mencerminkan kekecewaan masyarakat terhadap keterlambatan dan masalah Sentimen netral bersifat deskriptif, menggambarkan emosi yang tidak kuat.
DAFTAR PUSTAKA