1
P-ISSN: 2477-3042.
E-ISSN: 3026-3034
SURYA INFORMATIKA.
VOL.
14 No.
Mei 2024 Analisis Sentiment Ulasan Aplikasi Gopay Pada Google Play Store Menggunakan Algoritma Support Vector Machine Shafa Nadhifah .
Fadhila Nur Aini .
Hadwitya Handayani Kusumawardhani .
Muhammad Yusuf Febrianto Informatika.
Fakultas Teknik dan Ilmu Komputer Universitas Muhammadiyah Pekajangan Pekalongan Manajemen Informatika.
Fakultas Teknik dan Ilmu Komputer Universitas Muhammadiyah Pekajangan Pekalongan shafanadifa111@gmail.
com1 , nurainii.
fadhila@gmail.
com2 , hadwitya.
hk@gmail.
com3 , myusuffebrianto@umpp.
Abstract Gopay is a platform application on the Google Play Store.
The Gopay application has been downloaded 10 million times but only has a rating of 4.
On the Google Play Store, application ratings are given followed by user reviews of the application.
There are quite a lot of reviews and are unstructured and contain opinions from users about their satisfaction with the application, so they are often taken into consideration by potential users when choosing which application to use.
Based on this, sentiment analysis was carried out using the Support Vector Machine algorithm to find out how users feel about the GOPAY application on the Google Play Store.
This research uses the Knowledge Discovery in Database (KDD) method.
The data used is 29,554 reviews of the GOPAY application, consisting of 23,961 positive reviews and 5,593 negative reviews.
The best results were obtained in scenario 1 .
using the RBF (Radial Basis Functio.
kernel which produced an accuracy of 65%, precision of 71.
43%, recall of 50%, and f1-score of 58.
Keywords : Analisis Sentimen.
Support Vector Machine.
Gopay Abstraksi GOPAY adalah salah satu aplikasi di google play store.
Aplikasi Gopay sudah diunduh sebanyak 10 juta kali namun hanya memiliki rating 4,4.
Pada google play store pemberian rating aplikasi diikuti dengan ulasan dari para pengguna terhadap Ulasan yang ada cukup banyak dan tidak terstruktur serta mengandung opini dari para pengguna tentang kepuasan mereka terhadap aplikasi tersebut sehingga sering dijadikan pertimbangan oleh calon pengguna untuk memilih aplikasi yang Berdasarkan hal tersebut, maka dilakukan analisis sentimen menggunakan algoritma Support Vector Machine untuk mengetahui bagaimana sentimen para pengguna terhadap aplikasi GOPAY di google play store.
Penelitian ini menggunakan metode Knowledge Discovery in Database (KDD).
Data yang digunakan merupakan ulasan aplikasi GOPAY sebanyak 29554 data yang terdiri dari 23961 ulasan positif dan 5593 ulasan negatif.
Hasil terbaik diperoleh pada skenario 1 .
menggunakan kernel RBF (Radial Basis Functio.
yang menghasilkan accuracy 65% precision 71,43%, recall 50%, dan f1-score 58,82%.
Keywords : Analisis Sentimen.
Support Vector Machine.
Gopay
PENDAHULUAN
yang sangat bermanfaat.
Pilihan Aplikasi Alternatif: Ulasan juga bisa memberikan pembanding dengan aplikasi serupa.
Hal ini membantu konsumen untuk memilih aplikasi yang paling sesuai dengan kebutuhan dan preferensi mereka.
Kredibilitas Pengembang:
Melihat ulasan dapat memberikan gambaran tentang kredibilitas pengembang.
Jika pengembang terus menerima ulasan positif dan memberikan tanggapan yang baik terhadap masukan pengguna, ini dapat meningkatkan kepercayaan konsumen.
Keputusan Pembelian:
Bagi mempertimbangkan untuk membeli versi berbayar atau melakukan pembelian dalam aplikasi, ulasan dapat menjadi faktor penting dalam pengambilan keputusan.
Komunitas Pengguna: Ulasan juga dapat membantu menciptakan komunitas pengguna di sekitar aplikasi.
Pengguna dapat berbagi tips, trik, atau solusi masalah melalui ulasan, menciptakan atmosfer kolaboratif.
Mengurangi Risiko Kekecewaan: Dengan membaca ulasan sebelum mengunduh atau membeli aplikasi, pengguna dapat mengurangi risiko kekecewaan dan merasa lebih percaya diri dengan keputusan mereka.
Dengan demikian, ulasan aplikasi di Google Play Store memiliki peran yang signifikan dalam membentuk persepsi dan keputusan konsumen mengenai suatu produk atau layanan Ulasan aplikasi di Google Play Store memiliki banyak dampak positif bagi konsumen yang hendak menggunakan suatu produk.
Berikut adalah beberapa pentingnya ulasan aplikasi di Google Play Store Informasi Pengalaman Pengguna: Ulasan memberikan informasi mengenai pengalaman pengguna yang sebenarnya dengan menggunakan aplikasi tersebut.
Ini dapat membantu calon pengguna untuk memahami kelebihan dan kekurangan dari sudut pandang pengguna lain.
Keandalan dan Kualitas:
Ulasan dapat memberikan gambaran tentang keandalan dan kualitas aplikasi.
Jika banyak ulasan positif, ini dapat memberikan keyakinan kepada konsumen bahwa aplikasi tersebut handal dan berkualitas.
Saran Perbaikan: Ulasan juga seringkali berisi saran perbaikan dari pengguna yang dapat membantu pengembang untuk terus memperbaiki dan meningkatkan kualitas aplikasi.
Hal ini menciptakan siklus umpan balik yang positif.
Keamanan dan Privasi: Ulasan dapat mencakup aspek keamanan dan privasi dari aplikasi.
Ini adalah kekhawatiran penting bagi banyak pengguna, dan melihat ulasan dapat membantu pengguna untuk membuat keputusan yang lebih informasional.
Pembaruan dan Perbaikan Bug: Pengembang sering merespons langsung pada ulasan untuk memberikan pembaruan atau memperbaiki bug yang dilaporkan oleh pengguna.
Ini menciptakan komunikasi antara pengembang dan pengguna ANALISIS SENTIMEN ULASAN APLIKASI GOPAY PADA GOOGLE PLAY STORE MENGGUNAKAN ALGORITMA SUPPORT VECTOR MACHINE P-ISSN: 2477-3042.
E-ISSN: 3026-3034
Metode Support Vector Machine (SVM) adalah teknik yang umum digunakan dalam penambangan data teks untuk berbagai tujuan analisis dan klasifikasi.
SVM
dapat digunakan untuk tugas klasifikasi teks, seperti pengklasifikasian teks lainnya.
SVM dikenal memiliki kemampuan klasifikasi yang tinggi, terutama ketika jumlah fitur .
ata-kata atau istila.
sangat besar.
Data teks sering kali memiliki dimensi yang tinggi karena setiap kata dapat dianggap sebagai fitur.
SVM efektif dalam menangani masalah ruang dimensi tinggi, dan dapat memberikan hasil yang baik bahkan dengan jumlah fitur yang besar.
SVM
cenderung lebih tahan terhadap overfitting dibandingkan dengan beberapa metode klasifikasi lainnya.
Ini berguna ketika kita memiliki dataset teks yang relatif kecil atau ketika data memiliki karakteristik yang kompleks.
SVM
mendukung penggunaan kernel untuk mentransformasikan data ke dalam ruang fitur yang lebih tinggi.
Ini memungkinkan SVM menangani data yang tidak linear dengan baik.
Kernel seperti kernel linear, polynomial, dan radial basis function (RBF) dapat digunakan untuk menyesuaikan dengan bentuk data yang berbeda.
SVM
memiliki keunggulan dalam mengelola dataset yang besar dan kompleks.
Beberapa implementasi SVM, terutama dalam konteks penambangan data teks, dapat dioptimalkan untuk meningkatkan efisiensi dalam pemrosesan data SVM menghasilkan model yang cukup mudah diinterpretasi, terutama dalam konteks klasifikasi teks.
Vektor dukungan .
upport vector.
yang digunakan dalam proses pembelajaran dapat memberikan wawasan tentang fitur-fitur yang paling penting dalam klasifikasi.
SVM dapat diatur untuk menangani dataset yang tidak seimbang, di mana kelas-kelas yang berbeda memiliki jumlah instans yang berbeda.
Ini berguna dalam banyak kasus penambangan data teks di mana kelas-kelas mungkin tidak memiliki distribusi yang merata.
SVM dapat digunakan efektif dengan representasi fitur langsung .
eperti representasi one-ho.
atau dengan representasi sparse yang umum dalam data teks.
LANDASAN TEORI
Pemberian rating aplikasi di Google Play Store diikuti dengan ulasan dari para pengguna terhadap aplikasi Ulasan tersebut mengandung opini dari para pengguna mengenai aplikasi tersebut dan calon pengguna melihat ulasan dari sebuah aplikasi sebagai pertimbangan sebelum memutuskan untuk menggunakan aplikasi tersebut (Saputra et al.
, 2.
Ulasan di Google Play Store ini cukup banyak dan tidak terstruktur sehingga diperlukan suatu teknik untuk mengetahu bagaimana ulasan pengguna terhadap aplikasi tersebut (Fransiska & Irham Gufroni.
Oleh karena itu, diperlukan analisis sentimen pada data ulasan.
Analisis sentimen adalah teknik untuk mengolah data tekstual untuk memperoleh informasi pada teks (Wahyudi & Kusumawardana, 2.
Terdapat beberapa algoritma yang dapat diterapkan dalam analisis sentimen seperti K-Neirest Neighbor (KNN).
Nayve Bayes, dan SURYA INFORMATIKA.
VOL.
14 No.
Mei 2024 Gambar 1 Alur Penelitian Support Vector Machine (SVM).
Berdasarkan beberapa referensi.
SVM menghasilkan akurasi terbaik dalam melakukan analisis sentimen dibandingkan algoritma klasifikasi yang lain.
Pada penelitian sebelumnya SVM memiliki tingkat akurasi yang lebih tinggi sebesar 81,46% dibandingkan Nayve Bayes sebesar 75,41% saat diterapkan untuk analisis sentimen ulasan Bahasa Indonesia di Google Play Store (Ilmawan & Mude, 2.
Pada penelitian lain yang membandingkan SVM.
Nayve Bayes, dan KNN untuk analisis sentimen gadget.
SVM menghasilkan rata-rata akurasi terbaik sebesar 96,43% (Iskandar & Nataliani, 2.
SVM mempunyai fungsi yang bisa mentransformasikan data ke ruang dimensi yang lebih tinggi yaitu ruang kernel yang disebut dengan fungsi kernel trick sehingga data dapat dipisahkan dengan lebih baik dibandingkan algoritma klasifikasi lainnya (Mukarramah et al.
, 2.
Beberapa kernel pada SVM yaitu kernel Linear.
Radial Basis Function (RBF).
Sigmoid, dan Polynomial (Zuriel & Fahrurozi, 2.
Pada penelitian analisis sentimen ulasan aplikasi Ruangguru dengan membandingkan 3 kernel algoritma SVM diperoleh hasil bahwa kernel linear merupakan kernel terbaik dengan akurasi hingga 89,7% (Irfani et al.
, 2.
Sedangkan dalam penelitian lainnya akurasi terbaik diperoleh oleh kernel RBF dalam analisis sentimen pada maskapai penerbangan sebesar 84,37% (Husada & Paramita, 2.
Berdasarkan penjelasan di atas, karena belum ada hasil pasti mengenai akurasi kernel terbaik dalam melakukan analisis sentimen, maka pada penelitian ini akan dilakukan perbandingan akurasi antara kernel Linear, kernel RBF, kernel Sigmoid, dan kernel Polynomial pada algoritma SVM dalam melakukan analisis sentimen ulasan aplikasi DANA untuk mengetahui bagaimana sentimen para pengguna terhadap aplikasi DANA di Google Play Store dan akurasi kernel terbaik.
ANALISIS SENTIMEN ULASAN APLIKASI GOPAY PADA GOOGLE PLAY
STORE MENGGUNAKAN ALGORITMA SUPPORT VECTOR MACHINE
P-ISSN: 2477-3042.
E-ISSN: 3026-3034
SURYA INFORMATIKA.
VOL.
14 No.
Mei 2024
METODOLOGI PENELITIAN
Penelitian ini menggunakan metode KDD (Knowledge Discovery in Databas.
karena memiliki keunggulan proses pengidentifikasian pola yang terorganisir dari sekumpulan data yang kompleks, sehingga datanya mudah untuk dipahami (Ramos et al.
, 2021.
Rizki et al.
, 2.
Gambar 1 menunjukkan alur penelitian yang menerapkan metode KDD.
Sigmoid dan Kernel Polymonial.
Berikut merupakan persamaan dalam proses data mining menggunakan algoritma Support Vector:
Kernel Linear ya .
cu ycn ycu ) = ycu ycn ycu Kernel RBF OeOu ycuycn ycu Ou2 ya.
cuycn ycu ) = exp( 2yua 2 Kernel Sigmoid ya .
cu ycn ycu ) = .
cu ycn ycu )ycc Kernel Polynomial ya.
cuycn ycu ) = tanh.
cuycn ycu ) yc.
Alur penelitian pada gambar 1 dijelaskan sebagai berikut:
Data Selection Data selection merupakan tahapan pertama dalam KDD, pada tahap ini akan dilakukan pengumpulan, seleksi, dan pelabelan data.
Data dikumpulkan dari situs Google Play Store pada tanggal 26 Febuari 2020 sampai 4 Desember 2023.
Preprocessing Pada tahap preprocessing ini, data mentah yang telah terkumpul akan diolah menjadi data yang dapat digunakan pada tahap selanjutnya.
Tahap preprocessing terdiri dari 6 proses yaitu:
Cleaning, merupakan proses untuk menghilangkan atribut yang tidak berpengaruh terhadap klasifikasi yaitu tanda baca, karakter kosong, dan emoji.
Case Folding, merupakan proses untuk mengubah semua huruf yang ada pada dokumen menjadi huruf Tokenizing, merupakan proses untuk memisahkan kalimat menjadi beberapa bagian kata.
Normalization, merupakan proses untuk memperbaiki kesalahan yang ada pada kata seperti ejaan yang salah agar kata yang memiliki makna sama menjadi setara.
Stopword Removal, merupakan proses untuk menghilangkan katakata yang dianggap tidak berpengaruh terhadap kalimat.
Stemming, merupakan proses untuk mengubah katakata yang ada menjadi bentuk kata dasar.
Transformation Tahap transformation adalah tahap mengubah data menjadi bentuk yang dapat diolah pada tahapan data Pada tahap ini akan dilakukan pembagian data ke dalam 3 skenario terlebih dahulu yaitu skenario 1 .
% data training dan 10% data testin.
, skenario 2 .
% data training dan 10% data testin.
, skenario 3 .
% data training dan 10% data testin.
Setelah itu akan dilakukan pembobotan kata dengan TF-IDF yang berguna untuk mengubah data berupa teks menjadi vektor bobot.
Perhitungan metode TFIDF dinyatakan dalam persamaan sebagai berikut.
ycA ycOyc = ycNyayc,ycc ycU yayayayc = ycNyayc,ycc ycuycoycuyci yayayc Data Mining Proses data mining dalam klasifikasi sentimen melibatkan beberapa tahap yang dirancang untuk mengekstraksi informasi dan pola dari data teks atau data sentimen yang relevan.
Proses klasifikasi sentimen menggunakan empat kernel algoritma Support Vector, diantaranya yaitu Kernel Linear.
Kernel RBF, kernel Kernel Linear Kernel RBF ya .
cu ycn ycu ) = ycu ycn ycu ya.
cuycn ycu ) = exp( OeOu ycuycn ycu Ou2 2yua 2 Kernel Sigmoid ya .
cu ycn ycu ) = .
cu ycn ycu )ycc Kernel Polynomial ya.
cuycn ycu ) = tanh.
cuycn ycu ) yc.
HASIL DAN PEMBAHASAN Data Selection Pengumpulan data ulasan aplikasi GOPAY yang dilakukan dengan teknik scraping pada tanggal 26 Febuari 2020 sampai 4 Desember 2023.
menggunakan library google play scraper menghasilkan sebanyak 29554 data.
Data yang telah terkumpul memiliki 5 atribut yaitu reviewId, userName, at, content, dan score.
Selanjutnya dilakukan penyeleksian atribut yang digunakan yaitu hanya content.
Kemudian dilakukan pelabelan data ulasan secara manual dan divalidasi oleh ahli Bahasa dan Sastra Indonesia.
Pelabelan data tersebut menghasilkan 23961 ulasan positif dan 5593 ulasan negatif.
Hasil pada tahap data selection dapat dilihat pada gambar 2.
Gambar 2 Hasil Data Selection Preprocessing Pada langkah ini, data diubah agar sesuai dan dapat diolah pada langkah berikutnya.
Pada tabel 1 menunjukkan hasil dari enam proses yang telah dilakukan pada tahap preprocessing.
ANALISIS SENTIMEN ULASAN APLIKASI GOPAY PADA GOOGLE PLAY
STORE MENGGUNAKAN ALGORITMA SUPPORT VECTOR MACHINE
P-ISSN: 2477-3042.
E-ISSN: 3026-3034
SURYA INFORMATIKA.
VOL.
14 No.
Mei 2024 Table 1.
Contoh Hasil Preprocessing Data Mining Pada tahap ini, proses data mining melibatkan klasifikasi sentimen pada data yang telah dibagi ke dalam 10 fold menggunakan kernel linear pada algoritma Support Vector Machine (SVM).
SVM merupakan salah satu metode machine learning yang umum digunakan untuk klasifikasi dan regresi.
Proses Data Ulasan Cleaning Case Folding Tokenizing Normalization Stopword Removal Stemming Hasil Tidak bisa di buka bnget gopay Tidak bisa di buka bnget gopay tidak bisa di buka bnget gopay [AoTidakAo.
AobisaAo.
AodiAo.
AobukaAo.
AoaplikasinyaAo.
AoparahAo.
AobngetAo.
AogopayA.
[AoTidakAo.
AobisaAo.
AodiAo.
AobukaAo.
AoaplikasinyaAo.
AoparahAo.
AobangetAo.
AogopayA.
[AobukaAo.
AoaplikasinyaAo.
AoparahAo.
AogopayA.
[AobukaAo.
AoaplikasinyaAo.
AoparahAo.
AogopayA.
Transformation Tahap transformation ini diawali dengan melakukan pembagian data menjadi data training dan data testing.
Pembagian data ini menggunakan fungsi train test split dengan parameter random_state=42.
Tabel 2 menunjukkan hasil pembagian data.
Table 2.
Hasil Pembagian Data Skenario Data Data Rasio Training Testing Perbandingan 80 : 20 Setelah data terbagi menjadi data training dan data testing, selanjutnya dilakukan pembobotan kata dengan metode TF-IDF.
Gambar 3 merupakan contoh hasil pembobotan kata dengan TF-IDF.
Hasil dari skenario tersebut menunjukkan tingkat akurasi klasifikasi sentimen pada masing-masing fold.
Akurasi diukur sebagai persentase keberhasilan model dalam memprediksi sentimen dengan benar.
Berikut adalah rincian hasil akurasi untuk masing-masing fold:
Table 3.
Hasil Klasifikasi dengan SVM Fold Kernel Accuracy Fold 1 Fold 2 Fold 3 Fold 4 Fold 5 Linear Fold 6 Fold 7 Fold 8 Fold 9 Fold 10 Mean Dari hasil tersebut, terlihat variasi akurasi antar fold, yang mungkin disebabkan oleh perbedaan karakteristik data pada setiap fold.
Evaluasi kinerja model pada setiap fold sangat penting untuk memahami sejauh mana model dapat digeneralisasi pada data yang berbeda.
Penggunaan kernel linear pada SVM menunjukkan performa yang cukup baik dalam tugas klasifikasi sentimen pada dataset ini.
Dengan menganalisis hasil ini, dapat dilakukan pengoptimalan lebih lanjut pada model atau eksplorasi metode lain untuk meningkatkan performa klasifikasi sentimen pada data yang digunakan.
Evaluation Table 4.
Hasil Evaluasi
Accuracy Precision Recall F1 Score
71,43%
58,82%
Dalam tahap evaluasi, kinerja model klasifikasi sentimen diukur menggunakan beberapa metrik evaluasi klasifikasi, yaitu Akurasi (Accurac.
Presisi (Precisio.
Recall, dan F1 Score.
Berikut adalah rincian hasil evaluasi untuk model tersebut:
Akurasi (Accurac.
: 65% Akurasi mengukur sejauh mana model dapat memprediksi sentimen dengan benar secara keseluruhan.
Dalam konteks ini, model mencapai akurasi sebesar 65% A Gambar 3 Hasil Kata Sentimen Presisi (Precisio.
: 71,43% Presisi mengukur sejauh mana prediksi positif model Dalam hal ini, 71,43% dari sentimen yang diprediksi positif oleh model memang benar-benar positif.
ANALISIS SENTIMEN ULASAN APLIKASI GOPAY PADA GOOGLE PLAY
STORE MENGGUNAKAN ALGORITMA SUPPORT VECTOR MACHINE
P-ISSN: 2477-3042.
E-ISSN: 3026-3034
SURYA INFORMATIKA.
VOL.
14 No.
Mei 2024 yang sering muncul dalam ulasan negatif mencakup AutransferAy.
AuadminAy.
AugagalAy.
AukenaAy.
Recall: 50% Recall .
mengukur sejauh mana model dapat mengidentifikasi semua kasus positif.
Dalam konteks ini, 50% dari sentimen positif yang sebenarnya berhasil diidentifikasi oleh model.
F1 Score: 58,82% F1 Score adalah metrik yang menciptakan keseimbangan antara Presisi dan Recall.
Secara khusus.
F1 Score adalah harmonic mean dari Presisi dan Recall.
Dalam hal ini.
F1 Score mencapai 58,82% Dengan melihat hasil evaluasi ini, dapat disimpulkan bahwa model memiliki kinerja yang baik secara keseluruhan, tetapi penting untuk memahami trade-off antara Presisi dan Recall.
Jika suatu kasus memerlukan lebih banyak fokus pada mengurangi false positive .
eningkatkan presis.
atau false negative .
eningkatkan recal.
, parameter model dapat disesuaikan untuk memenuhi kebutuhan khusus tersebut.
Evaluasi model secara holistik membantu pemahaman yang lebih baik tentang keunggulan dan kelemahan model klasifikasi sentimen yang telah dikembangkan.
Gambar 4 World Cloud Ulasan Positif
KESIMPULAN DAN SARAN
Dalam penelitian ini, dapat disimpulkan bahwa analisis sentiment menggunakan metode Support Vector Machine (SVM) dengan kernel linear membuktikan keefektifannya dalam mengkategorikan sentimen pengguna terhadap aplikasi GOPAY di Google Play Store.
Hasil menunjukkan bahwa SVM dengan kernel linear memberikan performa terbaik dalam klasifikasi sentimen, memberikan wawasan yang berharga terkait persepsi pengguna terhadap kualitas dan kinerja aplikasi.
Implikasi dari penelitian ini memberikan kontribusi penting untuk pemahaman lebih lanjut tentang peran ulasan aplikasi dalam pengambilan keputusan pengguna.
Pengguna potensial dapat mengandalkan ulasan tersebut untuk membuat keputusan informasional mengenai aplikasi yang akan mereka gunakan.
Selain itu, pengembang dapat menggunakan umpan balik pengguna untuk meningkatkan kualitas aplikasi dan merespons kebutuhan konsumen secara lebih efektif.
Meskipun demikian, penelitian ini memiliki keterbatasan tertentu.
Data yang digunakan mungkin terbatas pada rentang waktu tertentu dan hanya mencakup ulasan untuk aplikasi GOPAY.
Oleh karena itu, generalisasi hasil perlu dilakukan dengan hati-hati.
Selain itu, keberhasilan SVM dengan kernel linear mungkin tidak secara langsung dapat diterapkan pada semua jenis aplikasi dan konteks.
Dalam konteks penelitian mendatang, disarankan untuk melibatkan dataset yang lebih luas dan variasi aplikasi untuk mendapatkan pemahaman yang lebih komprehensif tentang performa SVM dalam analisis sentimen.
Selain itu, penelitian lebih lanjut dapat mengeksplorasi kombinasi kernel SVM dan metode analisis sentimen lainnya untuk meningkatkan akurasi dan aplikabilitas dalam berbagai Keseluruhan, penelitian ini memberikan kontribusi penting terhadap pemahaman praktis dan teoretis tentang pentingnya ulasan aplikasi dan penerapan SVM dalam analisis sentimen.
Dengan memperhatikan implikasi dan keterbatasan tersebut, penelitian ini menjadi dasar untuk penelitian lebih lanjut dan pengembangan strategi yang lebih canggih dalam menganalisis sentimen pengguna terhadap aplikasi mobile.
Daftar Pustaka