Institut Riset dan Publikasi Indonesia (IRPI) MALCOM: Indonesian Journal of Machine Learning and Computer Science Journal Homepage: https://journal.
id/index.
php/malcom Vol.
4 Iss.
1 January 2024, pp: 10-19
ISSN(P): 2797-2313 | ISSN(E): 2775-8575
Sentiment Analysis of PLN Mobile Application Review Using Nayve Bayes Classifier and K-Nearest Neighbor Algorithm Analisis Sentimen Ulasan Aplikasi PLN Mobile Menggunakan Algoritma Nayve Bayes Classifier dan K-Nearest Neighbor Syafrizal1*.
Afdal2.
Rice Novita3
1,2,3
Program Studi Sistem Informasi.
Fakultas Sains dan Teknologi Universitas Islam Negeri Sultan Syarif Kasim Riau.
Indoneisa E-Mail: 111950315040@students.
uin-suska.
afdal@uin-suska.
id, 3rice.
novita@uin-suska.
Received Sep 6th 2023.
Revised Nov 10th 2023.
Accepted Dec 10th 2023 Corresponding Author: Syafrizal Abstract The real proof that PLN continues to improve its services is by launching an application, namely PLN Mobile.
Many customers feel the convenience of the application.
But now, some customers are encountering problems such as failing to load locations when making complaints and purchasing tokens with virtual accounts.
The balance has been deducted, but the token code does not appear.
This research conducts sentiment analysis of PLN Mobile application user reviews using a text mining approach.
This approach can perform sentiment classification on user reviews quickly.
Data was collected using scrapping techniques on the Google Play Store, and obtained 3000 data lines.
The data was then labelled by an expert, resulting in 2099 positive sentiments .
97%), 368 neutral .
27%) and 533 negatives .
77%).
Furthermore, modelling uses the NBC and KNN algorithms with K-Fold Cross Validation as a validation technique.
The results show that the NBC model is better than KNN with an accuracy of 77.
69%, recall of 53.
14%, precision of 59.
84% and F1-Score Furthermore, the analysis process is carried out using word cloud data visualization.
The result is that the PLN Mobile application provides convenience to customers in using PLN services such as token purchases, complaints, and other features.
However, the PLN Mobile application still has several problems often reviewed by users, one of which is when making token payments.
Keyword: Classification.
K-Nearest Neighbor.
Nayve Bayes Classifier.
PLN Mobile.
Sentiment Analysis.
Abstrak Bukti nyata PLN terus meningkatkan pelayanannya adalah dengan meluncurkan sebuah aplikasi yaitu PLN Mobile.
Banyak pelanggan yang merasakan kemudahan dengan adanya aplikasi tersebut.
Namun kini beberapa pelanggan mulai menjumpai permasalahan seperti gagal memuat lokasi saat melakukan pengaduan dan saat pembelian token dengan virtual account, saldo telah terpotong namun kode token tidak muncul.
Penelitian ini melakukan analisis sentimen terhadap ulasan pengguna aplikasi PLN Mobile menggunakan pendekatan text mining.
Pendekatan ini dapat melakukan klasifikasi sentimen pada ulasan pengguna dengan cepat.
Data dikumpulkan menggunakan teknik scrapping pada Google Play Store dan mendapatkan 3000 baris data.
Data tersebut kemudian diberi label oleh seorang pakar sehingga menghasilkan 2099 sentimen positif .
,97%), 368 netral .
,27%) dan 533 negatif .
,77%).
Selanjutnya dilakukan pemodelan menggunakan algoritma NBC dan KNN dengan K-Fold Cross Validation sebagai teknik validasi.
Hasilnya menunjukkan model NBC lebih baik dibandingkan KNN dengan akurasi sebesar 77,69%, recall 53,14%, precision 59,84% dan F1-Score 54,09%.
Selanjutnya proses analisis dilakukan dengan visualisasi data menggunakan word cloud.
Hasilnya yaitu dengan adanya aplikasi PLN Mobile memberikan kemudahan kepada pelanggan dalam menggunakan layanan PLN seperti pembelian token, pengaduan, dan berbagai fitur lainnya.
Namun aplikasi PLN Mobile masih memiliki beberapa permasalahan yang sering menjadi ulasan penggunanya salah satunya adalah saat melakukan pembayaran token.
Kata Kunci: Analisis Sentimen.
Klasifikasi.
K-Nearest Neighbor.
Nayve Bayes Classifier.
PLN Mobile DOI: https://doi.
org/10.
57152/malcom.
ISSN(P): 2797-2313 | ISSN(E): 2775-8575
PENDAHULUAN
Perusahaan Listrik Negara atau dikenal dengan PT.
PLN (Perser.
merupakan perusahaan yang bergerak dibidang jasa penyedia listrik di Indonesia dan termasuk Badan Usaha Milik Negara (BUMN) .
Dalam pelayanan dan pendistribusian listrik.
PLN membagi fungsi unit induknya menjadi tiga, yaitu pembangkitan, transmisi, dan distribusi .
Karena luasnya cakupan wilayah kerja PLN, maka dari itu PLN memiliki berbagai unit yang tersebar Indonesia dan bertanggung jawab pada setiap fungsi tertentu sesuai dengan unit induknya .
Pelayanan informasi yang diberikan PLN sangat penting karena listrik yang padam dapat menimbulkan kerugian di berbagai bidang, seperti ekonomi, kesehatan, pendidikan, dan transportas .
Bukti nyata upaya PLN terus meningkatkan pelayanan adalah PLN meluncurkan sebuah aplikasi yaitu PLN mobile yang tersedia bagi pelanggan melalui smartphone yang berbasis Android dan iOS.
Aplikasi PLN Mobile pertama kali diluncurkan oleh Direksi PLN pada tahun 2016 dan diluncurkan kembali pada tahun 2020 dengan fitur-fitur baru.
Sedangkan untuk Unit PLN ULP Panam (Pekanbar.
Aplikasi PLN Mobile mulai di terapkan pada tahun 2018 memiliki vitur-vitur yang masih sederhana kemudian melakukan inovasi dengan menambahkan berbagai fitur.
jumlah pelanggan PLN ULP Panam per juni 2023 sebanyak 125.
375 dengan Aplikasi ini merupakan suatu produk hasil inovasi PT.
PLN yang bekerjasama dengan PT Indonesia Comnet Plus, anak perusahaan PT.
PLN .
Aplikasi PLN Mobile adalah aplikasi mobile yang terintegrasi dengan dua aplikasi lain, yaitu Aplikasi Pengaduan Terpadu dan Aplikasi Pelayanan Pelanggan Terpusat.
Aplikasi ini digunakan untuk menyampaikan pengaduan secara terintegrasi.
Pelanggan dapat dengan mudah mendapatkan informasi tentang fitur-fitur aplikasi, seperti pembayaran tagihan listrik dan pembelian token, pencatatan angka meter mandiri, perubahan atau penambahan daya, pengaduan gangguan dan keluhan, pemantauan pembelian token, pemantauan pemakaian listrik pascabayar, notifikasi tagihan, notifikasi pemadaman listrik, informasi perkembangan penyelesaian gangguan, hingga pemeliharaan jaringan listrik.
Aplikasi ini mudah dan gratis untuk diunduh dari Google Play Store untuk smartphone berbasis Android .
Seiring berjalannya waktu banyak pelanggan yang melaporkan keluhan dan gangguan via PLN Mobile.
Diantara para pelanggan tersebut masih tidak puas terhadap pelayanan PLN di aplikasi PLN Mobile seperti, terjadi kesalahan saat mengajukan pengaduan Augagal memuat lokasiAy, tidak adanya notifikasi pemadaman listrik, kilowatt hour .
sering muncul code AuPeriksaAy, lamanya proses pengaduan dan yang paling sering terjadi adalah pembelian token dengan virtual accounnt saldo terpotong namun kode token tidak muncul sehingga pelanggan memberikan komentar pengaduannya ke pihak PLN melalui Aplikasi PLN mobile pada platform Google Play Store.
Peringkat ulasan di Google Play Store tidak selalu menggambarkan kualitas aplikasi dengan akurat, karena pengguna sering memberikan peringkat yang tidak sesuai dengan ulasan Selain itu, membaca semua ulasan aplikasi PLN Mobile akan memakan waktu dan tenaga.
Oleh karena itu, sistem klasifikasi digunakan untuk mengukur sentimen publik terhadap aplikasi PLN Mobile.
NBC merupakan algoritma klasifikasi sederhana berdasarkan pada penerapan teorema bayes dengan asumsi independensi .
Algoritma ini banyak diterapkan pada beberapa kasus seperti analisis sentimen, klasifikasi teks, filter spam, dan lainnya .
Sedangkan KNN merupakan salah satu algoritma yang mengklasifikasikan objek berdasarkan data pembelajaran yang paling dekat dengan objek tersebut .
Algoritma KNN sangat sederhana namun cukup efektif dalam mengkategorikan teks .
Kedua algoritma tersebut telah banyak diimplementasikan dan tentunya memiliki kelebihan maupun kekurangannya masingmasing, sehingga perlu dilakukan pengujian pada dataset yang akan dianalisis dan dipelajari untuk melihat algoritma mana yang tepat pada dataset tersebut.
Terdapat beberapa penelitian sebelumnya yang telah menggunakan algoritma NBC dan KNN pada kasus sentimen ulasan aplikasi pada Google Play Store.
Penelitian .
melakukan analisis sentimen ulasan aplikasi PLN Mobile menggunakan algoritma NBC dan pelabelan otomatis dengan Lexicon Vader menghasilkan akurasi model sebesar 70%.
Selanjutnya penelitian .
melakukan klasifikasi ulasan aplikasi Mobile JKN menggunakan KNN dan NBC menghasilkan model KNN sebagai yang terbaik dengan akurasi sebesar 87,59%.
Kemudian penelitian .
menggunakan algoritma NBC dan KNN untuk analisis sentimen ulasan aplikasi Tokopedia menghasilkan model KNN sebagai yang terbaik dengan akurasi sebesar 86,09%.
Penelitian lainnya .
melakukan analisis sentimen pada aplikasi Soptify menggunakan algoritma SVM dan NBC mengasilkan model NBC sebagai yang terbaik dengan akurasi sebesar 86,4%.
Penelitian ini bertujuan untuk melakukan analisis sentimen pada ulasan aplikasi PLN Mobile menggunakan algoritma NBC dan KNN.
Melalui penelitian ini PT.
PLN akan dengan mudah mengetahui tingkat kepuasan pengguna terhadap aplikasi PLN Mobile.
Perbedaan penelitian ini dengan penelitian sebelumnya adalah pada penelitian ini melakukan perbandingan algoritma antara NBC dan KNN.
Selain itu pelabelan pada penelitian ini dilakukan oleh seorang pakar bahasa sehingga hasil yang didapatkan lebih akurat dan sesuai dengan konteksnya.
Hasil penelitian ini diharapkan dapat membantu PT.
PLN dalam mengevaluasi dan mengembangkan layanan aplikasi mereka lebih jauh dengan strategi bisnis profesional yang berfokus pada kepuasan pengguna.
MALCOM - Vol.
4 Iss.
1 January 2024, pp: 10-19 MALCOM-04.
: 10-19
METODOLOGI PENELITIAN
Penelitian ini melakukan analisis sentiment pada aplikasi PLN Mobile dengan algoritma NBC dan KNN.
Setiap tahapan pada penelitian ini disajikan melalui diagram alir agar penelitian dapat berjalan sesuai tujuan yang akan dicapai.
Tahapan penelitian disajikan pada Gambar 1.
Mulai Pengumpulan Data
Preprocessing Data
Pelabelan Data
TF-IDF
Selesai Visualisasi Data Evaluasi Model NBC dan KNN K-Fold Cross Validation Gambar 1.
Tahapan Penelitian Pengumpulan Data Data yang diambil adalah data ulasan pengguna dari Google Play Store pada aplikasi PLN Mobile.
Pengambilan data dilakukan dengan menggunakan teknik scrapping menggunakan bahasa pemrograman Python.
Rentang waktu pengambilan data adalah selama satu tahun terakhir, mulai dari Juli 2022 hingga Juli Hasilnya, jumlah data yang didapatkan adalah sebanyak 3000 baris data.
Preprocessing Data Tahapan preprocessing dilakukan untuk mempersiapkan kumpulan data mentah yaitu data teks agar dapat diolah lebih lanjut .
Terdapat beberapa tahapan dari preprocessing data teks, yaitu .
Cleaning Pada tahap ini dilakukan pembersihan data teks dari kesalahan, inkonsistensi, dan tidak relevan meliputi menghapus karakter khusus seperti tanda baca, simbol, dan angka serta mengubah format penulisan menjadi huruf kecil.
Tokenizing Di tahap ini setiap data teks akan dipecah menjadi unit-unit yang lebih kecil, yang disebut token.
Token tersebut dapat berupa kata, frasa, atau kalimat.
Filtering Tahapan ini akan menghilangkan kata yang tidak memiliki arti penting seperti kata hubung, kata ganti orang, dan lainnya.
Stemming Stemming merupakan tahapan terakhir dari preprocessing.
Tahapan ini akan mengekstrak kata menjadi bentuk dasar atau kata dasar dengan cara menghilangkan imbuhan atau akhiran dari kata.
Pelabelan Dataset yang telah didapatkan melalui proses scrapping masih bertipe unsupervised yang berarti data tersebut belum memiliki label atau kategori.
Maka dari itu data tersebut perlu dilakukan pelabelan terlebih dahulu sebelum melakukan pemodelan.
Pada penelitian ini, proses pelabelan data dilakukan secara manual oleh seorang pakar bidang Bahasa Indonesia untuk memastikan bahwa setiap data memiliki label yang tepat sesuai dengan kontennya.
TF-IDF
Term Frequency dan Inverse Document Frequency (TF-IDF) adalah ukuran statistik yang menggambarkan pentingnya suatu istilah terhadap sebuah dokumen dalam sebuah korpus.
Term Frequency (TF) adalah frekuensi kemunculan suatu istilah dalam suatu dokumen.
Semakin sering suatu istilah muncul, maka semakin besar nilai TF-nya.
Sementara Inverse Document Frequency (IDF) adalah ukuran kelangkaan suatu istilah dalam sebuah kumpulan dokumen.
Semakin jarang suatu istilah muncul, maka akan semakin besar nilai IDF-nya .
K-Fold Cross Validation K-Fold Cross Validation merupakan teknik validasi yang membagi data menjadi K bagian yang sama, kemudian model akan dilatih dan dievaluasi sebanyak K kali .
Teknik ini digunakan karena dinilai mampu memperoleh hasil yang maksimal saat melakukan pemodelan .
Pada penelitian ini nilai K-Fold yang ditetapkan adalah 10 yang artinya data akan dipisahkan menjadi 10 bagian dimana 1 bagian akan menjadi data uji dan 9 lainnya menjadi data latih.
Data training digunakan untuk melatih algoritma mempelajari pola dari data sedangkan data testing digunakan untuk menguji seberapa baik algoritma yang telah dilatih .
Klasifikasi Teks Untuk Mendeteksi Depresi Dan.
(Syafrizal et al, 2.
ISSN(P): 2797-2313 | ISSN(E): 2775-8575 Nayve Bayes Classifier NBC merupakan algoritma klasifikasi yang sederhana dengan konsep penerapan teorema bayes dengan asumsi independensi .
Algoritma ini dapat digunakan pada data numerik maupun kategorikal .
Selain itu NBC dapat menangani dataset yang berukuran besar dan data noise .
NBC banyak diterapkan pada beberapa kasus seperti analisis sentimen, klasifikasi teks, filter spam, dan lainnya .
Berikut adalah persamaan dari algoritma NBC.
= ycE.
ycU) ycE.
/ ycE.
cU) .
K-Nearest Neighbor K-Nearest Neighbor (KNN) merupakan salah satu algoritma yang mengklasifikasikan suatu objek berdasarkan kumpulan data pembelajaran yang terdekat dengan objek tersebut .
Algoritma KNN sangat sederhana namun cukup efektif dalam mengkategorikan teks .
Namun KNN memiliki kekurangan yaitu sangat bergantung pada parameter K dan memerlukan komputasi yang tinggi .
Berikut adalah persamaan dari algoritma KNN.
ycuyc ) = ocycuyc=1(.
cuycn ) Oe .
cuycn )))2 .
Evaluasi Model Untuk mengetahui kemampuan model melakukan klasifikasi maka dilakukan evaluasi.
Proses evaluasi model dalam kasus klasifikasi melibatkan penggunaan confusion matrix untuk dapat mengukur akurasi, precission, dan recall pada model .
Berikut adalah persamaan yang dapat digunakan.
yaycaycaycycycaycayc = .
cNycE ycNycA ) / .
cNycE yaycE yaycA ycNycA) .
ycEycyceycaycnycycycnycuycu = .
cNycE) / .
cNycE yaycE) .
ycIyceycaycaycoyco = .
cNycE) / .
cNycE yaycA) .
ya1 ycIycaycuycyce = 2 O .
cIyceycaycaycoyco O ycEycyceycaycnycycnycuyc.
/ .
cIyceycaycaycoyco ycEycyceycaycnycycnycuyc.
Visualisasi Data Visualisasi data merupakan tahapan terakhir dari penelitian ini.
Tujuan melakukan visualisasi data adalah untuk menampilkan beberapa kata yang sering muncul berdasarkan sentimennya.
Hal ini tentu akan memudahkan saat melakukan analisis terhadap opini yang disampaikan oleh pengguna aplikasi PLN Mobile tanpa perlu membaca semua ulasan pengguna satu-persatu.
HASIL DAN ANALISIS
Pengambilan data dilakukan dengan menggunakan teknik scrapping menggunakan bahasa pemrograman Python dengan rentang waktu selama satu tahun terakhir, mulai dari Juli 2022 hingga Juli 2023.
Hasilnya, jumlah data yang didapatkan adalah sebanyak 3000 baris data.
Data yang didapatkan melalui scrapping dapat dilihat pada Tabel 1.
Tabel 1.
Pengumpulan Data Komentar Aplikasi nya sangat membantu seperti kalau mau tambah daya jadi mudah, dan kalau ada pemeliharaan ada notifikasi pemberitahuan selain itu ada notifikasi pembayaran tagihan dan pembelian pulsa jadi ga lupa.
Mantap PLN Maaf ya masih 4 rating, menurut pengalaman saya memakai aplikasi ini sudah cukup bagus hanya saja kurang Adanya fitur memasukkan id pelanggan/no meteran menggunakan scan barcode.
Padahal di setiap meteran listrik sudah tersedia barcode.
Justru pengalaman Saya memakai fitur scan ini sudah ada di aplikasi Sh*p*e.
Jadi sudah gaperlu repot masukkan angka lagi.
Mana tulisannya kecil2, jadi harapan saya supaya kedepan fitur tsb segera terealisasi sdh 2 hari,waktu pengajuan tambah daya & pasang baru ,pada kolom " "lanjutkan" setelah verifikasi NIK ktp muncul tulisan "data error",tidak bisa lanjut ke menu selanjutnya,mohon segera diperbaiki,terima kasih Aplikasinya mantap sukses trus.
Data yang telah terkumpul kemudian dilakukan preprocesing.
Tahapan awal dari preprocessing adalah melakukan cleaning data dengan mengubah format teks menjadi lowercase .
uruf keci.
, menghapus MALCOM - Vol.
4 Iss.
1 January 2024, pp: 10-19 MALCOM-04.
: 10-19
karakter selain huruf seperti simbol, hyperlink, tanda baca, angka dan lainnya.
Data yang telah melalui tahap cleaning dapat dilihat pada Tabel 2.
Tabel 2.
Hasil Cleaning Data Komentar aplikasi nya sangat membantu seperti kalau mau tambah daya jadi mudah dan kalau ada pemeliharaan ada notifikasi pemberitahuan selain itu ada notifikasi pembayaran tagihan dan pembelian pulsa jadi ga lupa mantap pln maaf ya masih rating menurut pengalaman saya memakai aplikasi ini sudah cukup bagus hanya saja kurang adanya fitur memasukkan id pelanggan no meteran menggunakan scan barcode padahal di setiap meteran listrik sudah tersedia barcode justru pengalaman saya memakai fitur scan ini sudah ada di aplikasi sh p e jadi sudah gaperlu repot masukkan angka lagi mana tulisannya kecil jadi harapan saya supaya kedepan fitur tsb segera terealisasi A sdh hari waktu pengajuan tambah daya pasang baru pada kolom lanjutkan setelah verifikasi nik ktp muncul tulisan data error tidak bisa lanjut ke menu selanjutnya mohon segera diperbaiki terima kasih aplikasinya mantap sukses trus Proses berikutnya adalah tokenizing, yaitu memecah kalimat menjadi penggalan kata atau disebut dengan token.
Hasil dari tahapan tokenizing dapat dilihat pada Tabel 3.
Tabel 3.
Hasil Tokenizing A Komentar ['aplikasi', 'nya', 'sangat', 'membantu', 'seperti', 'kalau', 'mau', 'tambah', 'daya', 'jadi', 'mudah', 'dan', 'kalau', 'ada', 'pemeliharaan', 'ada', 'notifikasi', 'pemberitahuan', 'selain', 'itu', 'ada', 'notifikasi', 'pembayaran', 'tagihan', 'dan', 'pembelian', 'pulsa', 'jadi', 'ga', 'lupa', 'mantap', 'pln'] ['maaf', 'ya', 'masih', 'rating', 'menurut', 'pengalaman', 'saya', 'memakai', 'aplikasi', 'ini', 'sudah', 'cukup', 'bagus', 'hanya', 'saja', 'kurang', 'adanya', 'fitur', 'memasukkan', 'id', 'pelanggan', 'no', 'meteran', 'menggunakan', 'scan', 'barcode', 'padahal', 'di', 'setiap', 'meteran', 'listrik', 'sudah', 'tersedia', 'barcode', 'justru', 'pengalaman', 'saya', 'memakai', 'fitur', 'scan', 'ini', 'sudah', 'ada', 'di', 'aplikasi', 'sh', 'p', 'e', 'jadi', 'sudah', 'gaperlu', 'repot', 'masukkan', 'angka', 'lagi', 'mana', 'tulisannya', 'kecil', 'jadi', 'harapan', 'saya', 'supaya', 'kedepan', 'fitur', 'tsb', 'segera', 'terealisasi'] A ['sdh', 'hari', 'waktu', 'pengajuan', 'tambah', 'daya', 'pasang', 'baru', 'pada', 'kolom', 'lanjutkan', 'setelah', 'verifikasi', 'nik', 'ktp', 'muncul', 'tulisan', 'data', 'error', 'tidak', 'bisa', 'lanjut', 'ke', 'menu', 'selanjutnya', 'mohon', 'segera', 'diperbaiki', 'terima', 'kasih'] ['aplikasinya', 'mantap', 'sukses', 'trus'] Setelah melakukan tokenizing, tahapan selanjutnya adalah filtering yaitu membuang kata yang tidak memiliki makna dan informasi dari teks seperti kata hubung atau lainnya.
Pada implementasinya, tahapan filtering dilakukan dengan menggunakan bantuan pustaka Natural Language Toolkit (NLTK).
Hasil dari tahapan filtering dapat dilihat pada Tabel 4.
Tabel 4.
Hasil Filtering A Komentar ['aplikasi', 'nya', 'membantu', 'daya', 'mudah', 'pemeliharaan', 'notifikasi', 'pemberitahuan', 'notifikasi', 'pembayaran', 'tagihan', 'pembelian', 'pulsa', 'ga', 'lupa', 'mantap', 'pln'] ['maaf', 'ya', 'rating', 'pengalaman', 'memakai', 'aplikasi', 'bagus', 'fitur', 'memasukkan', 'id', 'pelanggan', 'no', 'meteran', 'scan', 'barcode', 'meteran', 'listrik', 'tersedia', 'barcode', 'pengalaman', 'memakai', 'fitur', 'scan', 'aplikasi', 'sh', 'p', 'e', 'gaperlu', 'repot', 'masukkan', 'angka', 'tulisannya', 'harapan', 'kedepan', 'fitur', 'tsb', 'terealisasi'] A ['sdh', 'pengajuan', 'daya', 'pasang', 'kolom', 'lanjutkan', 'verifikasi', 'nik', 'ktp', 'muncul', 'tulisan', 'data', 'error', 'menu', 'mohon', 'diperbaiki', 'terima', 'kasih'] ['aplikasinya', 'mantap', 'sukses', 'trus'] Stemming merupakan proses terakhir dari preprocssing.
Tahap ini akan mengubah suatu kata menjadi kata dasar dengan cara menghilangkan imbuhan atau akhiran dari kata.
Pada implementasinya, proses stemming dilakukan menggunakan bantuan dari pustaka Sastrawi.
Hasil dari tahapan preprocessing dapat dilihat pada Tabel 5.
Klasifikasi Teks Untuk Mendeteksi Depresi Dan.
(Syafrizal et al, 2.
ISSN(P): 2797-2313 | ISSN(E): 2775-8575 Tabel 5.
Hasil Stemming A Komentar ['aplikasi', 'nya', 'bantu', 'daya', 'mudah', 'pelihara', 'notifikasi', 'pemberitahuan', 'notifikasi', 'bayar', 'tagih', 'beli', 'pulsa', 'ga', 'lupa', 'mantap', 'pln'] ['maaf', 'ya', 'rating', 'alam', 'pakai', 'aplikasi', 'bagus', 'fitur', 'masuk', 'id', 'langgan', 'no', 'meter', 'scan', 'barcode', 'meter', 'listrik', 'sedia', 'barcode', 'alam', 'pakai', 'fitur', 'scan', 'aplikasi', 'sh', 'p', 'e', 'gaperlu', 'repot', 'masuk', 'angka', 'tulis', 'harap', 'depan', 'fitur', 'tsb', 'realisasi'] A ['sdh', 'aju', 'daya', 'pasang', 'kolom', 'lanjut', 'verifikasi', 'nik', 'ktp', 'muncul', 'tulis', 'data', 'error', 'menu', 'mohon', 'baik', 'terima', 'kasih'] ['aplikasi', 'mantap', 'sukses', 'trus'] Data yang telah dilakukan preprocessing kemudian akan diberi label.
Untuk mendapatkan label yang akurat dan sesuai dengan konteks maka pada penelitian ini proses pelabelan dilakukan oleh seorang pakar yang memiliki pengalaman di bidang bahasa Indonesia.
Label yang diberikan pada penelitian ini terdiri dari tiga kelompok sentimen yaitu positif, netral dan negarif.
Hasil pelabelan dapat dilihat pada Tabel 6.
Tabel 6.
Hasil Pelabelan Komentar aplikasi nya bantu daya mudah pelihara notifikasi pemberitahuan notifikasi bayar tagih beli pulsa ga lupa mantap pln maaf ya rating alam pakai aplikasi bagus fitur masuk id langgan no meter scan barcode meter listrik sedia barcode alam pakai fitur scan aplikasi sh p e gaperlu repot masuk angka tulis harap depan fitur tsb realisasi sdh aju daya pasang kolom lanjut verifikasi nik ktp muncul tulis data error menu mohon baik terima kasih aplikasi mantap sukses trus Sentimen Positif Netral Netral Positif Hasil pelabelan yang dilakukan oleh seorang pakar mendapatkan total 2099 sentimen positif .
,97%), 368 sentimen netral .
,27%) dan 533 sentimen negatif .
,77%) dari total 3000 baris data.
Ini mengidikasikan bahwa aplikasi PLN Mobile memiliki layanan aplikasi yang memuaskan pengguna.
Visualisasi dari hasil pelabelan data dapat dilihat pada Gambar 2.
Positif Negatif Netral Gambar 2.
Sentimen Aplikasi PLN Mobile Berdasarkan Hasil Pelabelan Tahapan selanjutnya adalah melakukan TF-IDF untuk mendapatkan nilai atau bobot dari suatu kata.
Semakin sering suatu term muncul, maka akan semakin memengaruhi nilai bobot.
Perhitungan TF-IDF dilakukan menggunakan Python dengan bantuan pustaka dari Sckit-Learn.
Hasil dari tahapan TF-IDF dapat dilihat pada Tabel 7.
Tabel 7.
Sampel Hasil Pembobotan dengan TF-IDF
0,6364
0,9491
MALCOM - Vol.
4 Iss.
1 January 2024, pp: 10-19
0,5527
MALCOM-04.
: 10-19
Pemodelan sentimen aplikasi PLN mobile dilakukan menggunakan dua algoritma yaitu NBC dan KNN.
Selain itu proses validasi dilakukan menggunakan teknik K-Fold Cross Validation dengan 10-Fold.
Tahap pemodelan pertama kali dilakukan menggunakan algoritma NBC.
Pemodelan dengan algoritma NBC menghasilkan nilai akurasi sebesar 77,69%.
Selanjutnya algoritma KNN digunakan pada pemodelan dengan melakukan pengujian parameter K yaitu 3, 5, 7 dan 9.
Pemodelan algoritma KNN dengan pengujian parameter K menghasilkan K = 5 sebagai yang terbaik dengan nilai akurasi sebesar 76,40%, sedangkan akurasi terendah terdapat pada parameter k = 9 dengan nilai akurasi sebesar 75,53%.
Hasil pemodelan KNN dengan pengujian parameter K dapat dilihat pada Gambar 3.
76,60%
76,40%
76,40%
76,23%
76,20%
76,00%
75,80%
75,63%
75,53%
75,60%
75,40%
75,20%
75,00%
Akurasi
K=3
75,63%
K=5
76,40%
K=7
76,23%
K=9
75,53%
Gambar 3.
Hasil Pemodelan dengan Algoritma KNN Hasil pemodelan dari kedua algoritma tersebut kemudian akan dibandingkan untuk mendapatkan model terbaik berdasarkan nilai akurasi, precision, recall, dan F1-Score.
Hasil perbandingan model NBC dan KNN dapat dilihat pada Gambar 4.
100,00%
80,00%
60,00%
40,00%
20,00%
0,00%
KNN
Akurasi
76,40%
Recall 49,64% Precision 56,84% F1 Score
50,67%
NBC
77,69%
53,14%
59,84%
54,09%
KNN
NBC
Gambar 4.
Perbandingan Algoritma NBC dan KNN Berdasarkan hasil perbandingan model yang dilakukan didapatkan bahwa algoritma NBC lebih baik dibandingkan KNN, dengan tingkat akurasi sebesar 77,69%, recall 53,14%, precision 59,84% dan F1-Score 54,09%.
Sedangkan pada model KNN hanya memiliki nilai akurasi sebesar 76,4%, recall 49,64%, precision 56,84% dan F1-Score 50,67%.
Melalui hasil pemodelan tersebut, algoritma NBC dapat dengan baik melakukan klasifikasi sentimen dibandingkan KNN.
Meskipun algoritma ini sederhana namun memberikan kinerja yang lebih efesien terutama dalam hal komputasi.
Kemudian algoritma KNN dapat dengan cukup baik menangani data teks meskipun tidak sebaik algoritma NBC.
Namun hasil yang didapatkan dari algoritma KNN sangat bergantung pada nilai K sehingga perlu dilakukan serangkaian pengujian yang tentunya membutuhkan waktu komputasi yang lebih lama dibandingkan NBC untuk mendapatkan hasil yang optimal.
Selanjutnya, untuk mengetahui opini yang disampaikan oleh pengguna aplikasi PLN Mobile, maka perlu dilakukan tahapan visualisasi data.
Tahap visualisasi ini dilakukan menggunakan word cloud yang akan Klasifikasi Teks Untuk Mendeteksi Depresi Dan.
(Syafrizal et al, 2.
ISSN(P): 2797-2313 | ISSN(E): 2775-8575 menampilkan kata yang sering muncul pada sentimen positif, netral, dan negarif.
Pada sentiment positif terdapat tiga kata dengan frekuensi tertinggi yaitu AuaplikasiAy.
AumudahAy, dan AubantuAy.
Ini mengindikasikan bahwa pelanggan berpendapat dengan adanya PLN Mobile sangat membantu mereka dengan fitur-fitur yang ada di aplikasi PLN Mobile.
Hasil visualisai sentimen positif pada aplikasi PLN Mobile dapat dilihat pada Gambar 5.
Gambar 5.
Visualisasi Kata Positif Selanjutnya pada sentimen netral terdapat tiga kata dengan frekuensi tertinggi yaitu AuaplikasiAy.
AubayarAy.
AutokenAy.
Ini mengindikasikan bahwa pelanggan sedikit mengalami kendala dalam melakukan pembayaran token melalui aplikasi dan juga memberi saran dengan adanya kata AumohonAy dan beberapa kata positif lainnya.
Hasil visualisasi sentimen netral pada aplikasi PLN Mobile dapat dilihat pada Gambar 6.
Gambar 6.
Visualisasi Kata Netral Kemudian pada sentimen negatif terdapat tiga kata dengan frekuensi tertinggi yaitu AuaplikasiAy.
AubayarAy, dan AutokenAy.
Kata tersebut mirip dengan yang ada pada sentimen netral yaitu pelanggan mengalami kendala dalam melakukan pembayaran token melalui aplikasi.
Namun bedanya dengan sentimen netral, di sentimen negatif diiringi dengan kata AususahAy.
AugagalAy.
AulambatAy.
AukecewaAy, dan AugangguAy yang mengindikasikan pelanggan mulai kurang puas dan meluapkan kekecewaannya terhadap layanan dari aplikasi PLN Mobile.
Hasil visualisasi sentiment negatif pada aplikasi PLN Mobile dapat dilihat pada Gambar 7.
Melalui hasil analisis dari visualisasi tersebut dapat diketahui adanya aplikasi PLN Mobile memberikan kemudahan kepada pelanggan dalam menggunakan layanan PLN seperti pembelian token, pengaduan, dan berbagai fitur lainnya.
Namun aplikasi PLN Mobile masih memiliki beberapa permasalahan dalam melakukan pembayaran token.
Untuk itu pihak PLN diharapkan dapat melakukan evaluasi terkait fitur yang masih belum maksimal dan mengembangkan layanan yang baik lagi dan berfokus pada kepuasan pengguna.
MALCOM - Vol.
4 Iss.
1 January 2024, pp: 10-19 MALCOM-04.
: 10-19
Gambar 7.
Visualisasi Kata Negatif
KESIMPULAN
Pengumpulan data PLN Mobile dengan teknik scrapping pada aplikasi Play Store mendapatkan total 3000 baris data.
Data tersebut kemudian dilakukan pelabelan oleh seorang pakar sehingga menghasilkan 2099 sentimen positif .
,97%), 368 sentimen netral .
,27%) dan 533 sentimen negatif .
,77%).
Data yang telah diberi label selanjutnya dilakukan pemodelan dengan algoritma NBC dan KNN serta K-Fold Cross Validation sebagai teknik validasi.
Hasilnya menunjukkan model NBC lebih baik dibandingkan KNN dengan nilai akurasi sebesar 77,69%, recall 53,14%, precision 59,84% dan F1-Score 54,09%.
Sedangkan pada model KNN hanya memiliki nilai akurasi 76,4%, recall 49,64%, precision 56,84% dan F1-Score 50,67%.
Proses analisis dilakukan dengan visualisasi data menggunakan word cloud.
Hasilnya yaitu dengan adanya aplikasi PLN Mobile memberikan kemudahan kepada pelanggan dalam menggunakan layanan PLN seperti pembelian token, pengaduan, dan berbagai fitur lainnya.
Namun aplikasi PLN Mobile masih memiliki beberapa permasalahan dalam melakukan pembayaran token.
Untuk itu pihak PLN diharapkan dapat melakukan evaluasi terkait fitur yang masih belum maksimal dan mengembangkan layanan yang baik lagi dan berfokus pada kepuasan Meskipun sederhana, algoritma NBC cukup efesien terutama dalam hal komputasi walaupun hasil yang didapatkan masih belum memuaskan dalam hal akurasi, presisi, recall, dan f1-score.
Kemudian KNN juga memberikan hasil yang cukup baik walaupun tidak sebaik NBC.
Algoritma KNN sangat bergantung pada nilai K sehingga perlu dilakukan serangkaian pengujian yang tentunya membutuhkan waktu komputasi yang lebih lama dibandingkan NBC untuk mendapatkan hasil yang optimal.
Berdasarkan hal tersebut, penelitian ini masih dapat dikembangkan lebih jauh pada beberapa hal untuk mendapatkan hasil yang maksimal.
Untuk itu sebagai saran pada penelitian berikutnya, peneliti dapat mempertimbangkan untuk menggunakan algoritma yang berbeda, seperti SVM.
Random Forest.
Neural Network, dengan pendekatan NLP ataupun menambahkan seleksi fitur.
Selain itu penelitian berikutnya dapat menambahkan jumlah data ulasan pengguna PLN Mobile dari media lain seperti Twitter.
Instagram, dan lainnya.
REFERENSI