886
Progresif: Jurnal Ilmiah Komputer Jl.
Ahmad Yani.
33,5 - Kampus STMIK Banjarbaru Loktabat Ae Banjarbaru (Tlp.
, e-mail: puslit.
stmikbjb@gmail.
e-ISSN: 2685-0877 p-ISSN: 0216-3284 Eksplorasi Sentimen Pengguna Media Sosial Terhadap Layanan Seabank: Pendekatan Dengan Algoritma Bert Riska Kurnia Septiani1*.
Windu Gata2 Ilmu Komputer.
Universitas Nusa Mandiri.
Jakarta.
Indonesia *e-mail Corresponding Author: 14220021@nusamandiri.
Abstract Bank SeaBank is a digital bank that has social media accounts on Twitter (X) and YouTube with thousands of followers.
These platforms are often used to express opinions or comments on various topics.
This research aims to provide a benchmark for Bank SeaBank to improve its services based on positive and negative user reviews.
The data analyzed consists of 500 comments on Twitter (X) and YouTube with the keyword "Bank SeaBank.
" The methods used include machine learning algorithms such as SVM.
Nayve Bayes, k-NN.
Decision Tree.
Logistic Regression, as well as the deep learning algorithm pre-trained BERT.
The analysis results show the highest accuracy for SVM at 84%, followed by Nayve Bayes at 81%, k-NN at 80%, and both Decision Tree and Logistic Regression at 77%.
The deep learning algorithm BERT achieved an accuracy of 86% with 3 epochs and a training-to-testing data ratio of 80:20.
Kata kunci: SeaBank.
Social media.
BERT algorithm Abstrak Bank SeaBank adalah salah satu bank digital yang memiliki media sosial Twitter (X) dan YouTube dengan ribuan pengikut.
Kedua platform ini sering digunakan untuk menyampaikan pendapat atau komentar tentang berbagai topik.
Penelitian ini bertujuan untuk memberikan tolak ukur bagi Bank SeaBank dalam meningkatkan layanan berdasarkan ulasan positif dan negatif dari Data yang dianalisis terdiri dari 500 komentar di Twitter (X) dan YouTube dengan kata kunci "Bank SeaBank".
Metode yang digunakan mencakup algoritma machine learning seperti SVM.
Nayve Bayes, k-NN.
Decision Tree.
Logistic Regression, serta algoritma deep learning pretrained BERT.
Hasil analisis menunjukkan akurasi tertinggi pada SVM sebesar 84%, diikuti oleh Nayve Bayes sebesar 81%, k-NN sebesar 80%.
Decision Tree dan Logistic Regression masingmasing sebesar 77%.
Algoritma deep learning BERT mencapai akurasi 86% dengan 3 epoch dan proporsi data latih dan uji sebesar 80:20 Kata Kunci: SeaBank.
Media Sosial.
Algoritma BERT Pendahuluan Evaluasi kinerja sistem perbankan sangat penting karena bank memegang peran krusial dalam stabilitas dan pertumbuhan ekonomi sebuah negara.
Sebagai lembaga yang menangani transaksi finansial, simpanan, dan pemberian kredit, sistem perbankan yang efisien dan efektif berkontribusi pada keamanan finansial individu dan bisnis.
Dengan sistem yang berjalan optimal, bank dapat menjaga kepercayaan nasabah, meminimalisir risiko keuangan, dan meningkatkan efisiensi operasional.
Evaluasi kinerja perbankan memungkinkan identifikasi kelemahan dalam proses operasional dan layanan yang diberikan, serta mendeteksi area yang memerlukan Proses evaluasi ini juga menyediakan data yang sangat berguna untuk pengambilan keputusan strategis, baik dalam hal pengembangan produk, pelayanan nasabah, maupun kebijakan internal.
Dengan hasil evaluasi yang akurat, bank dapat merancang strategi yang lebih baik untuk meningkatkan layanan, mengurangi risiko operasional, dan akhirnya meningkatkan kepuasan nasabah.
Hal ini berkontribusi pada stabilitas ekonomi yang lebih luas, mendorong pertumbuhan ekonomi yang berkelanjutan, dan memastikan integritas sistem keuangan secara Kemajuan teknologi telah mengubah cara kerja sebagian besar bisnis, baik komersial maupun non-komersial, termasuk layanan perbankan.
Kehadiran Bank Digital memperkenalkan cara inovatif untuk menyediakan berbagai layanan keuangan kepada nasabah, sebagai bentuk inovasi dalam dunia perbankan.
Bank digital memungkinkan nasabah untuk melakukan transaksi Eksplorasi Sentimen Pengguna Media Sosiala.
Riska Kurnia Septiani Progresif e-ISSN: 2685-0877 perbankan kapan saja dan di mana saja, menggantikan pertemuan tatap muka.
Selain itu, berbagai operasi perbankan seperti transfer dana, investasi, pembayaran, dan pemeriksaan rekening rutin dapat dilakukan secara online, menawarkan alternatif yang lebih cepat dan efisien dibandingkan dengan mengunjungi kantor cabang .
Bank SeaBank adalah salah satu bank digital yang berkembang pesat dengan ribuan pengikut di platform media sosial seperti Twitter (X) dan YouTube.
Mengingat banyaknya interaksi nasabah melalui media sosial, penting untuk melakukan evaluasi terhadap kinerja layanan bank Ulasan dan komentar dari nasabah di media sosial dapat mencerminkan pengalaman nyata pengguna dengan layanan SeaBank.
Oleh karena itu, evaluasi terhadap ulasan ini dianggap perlu untuk memahami persepsi nasabah dan mengidentifikasi area yang memerlukan Hal ini akan membantu SeaBank dalam memperbaiki kualitas layanan dan mempertahankan kepercayaan nasabah di pasar yang kompetitif.
SeaBank Indonesia memiliki akun resmi di berbagai platform media sosial, termasuk YouTube dengan username SeaBank Indonesia.
TikTok dengan username @seabank_id, dan Instagram dengan username @seabank.
id, serta akun Twitter (X) dengan username @SeabankID yang memiliki 50,1 ribu Gambar 1.
Akun Twitter (X) SeaBank Indonesia Solusi yang diusulkan adalah melakukan analisis ulasan pelanggan dari platform media sosial untuk memahami persepsi nasabah terhadap layanan SeaBank.
Pendekatan ini memungkinkan identifikasi area perbaikan berdasarkan umpan balik langsung.
Penelitian sebelumnya mendukung efektivitas metode ini.
misalnya penelitian .
menunjukkan akurasi tinggi pada analisis sentimen dengan SVM.
Dengan menerapkan analisis ulasan.
SeaBank dapat memperoleh wawasan berharga yang akan membantu dalam perbaikan layanan dan pengambilan keputusan yang lebih baik.
Penelitian ini bertujuan untuk mengklasifikasikan atau menggabungkan ulasan positif dan negatif pengguna Bank SeaBank di YouTube dan Twitter (X).
Bank SeaBank dapat menggunakan penelitian ini sebagai tolak ukur untuk meningkatkan layanan pelanggan mereka berdasarkan ulasan positif dan negatif.
Tinjauan Pustaka Beberapa penelitian telah dilakukan terkait analisis sentimen, di mana para peneliti telah menggunakan sejumlah metode klasifikasi yang beragam untuk menangani permasalahan ini.
Penelitian ini dilakukan oleh Ratna Andini Husen dan kawan kawan yang di publikasikan pada tahun 2023 dengan judul "Analisis Sentimen Opini Publik pada Twitter Terhadap Bank BSI Menggunakan Algoritma Pembelajaran Mesin".
Mengumpulkan data tweet dari situs Kaggle, 401 data tweet tentang ulasan komentar pengguna tentang ransomware pada Bank BSI.
Hasil percobaan menunjukkan bahwa SVM memiliki akurasi 0,88%, naive bayes 0,76%, dan Eksplorasi Sentimen Pengguna Media Sosiala.
Riska Kurnia Septiani 888 e-ISSN: 2685-0877 logistic regression 0,86%.
Ini menunjukkan bahwa SVM memiliki kinerja yang lebih baik daripada kedua algoritma naive bayes dan logistic regression .
Penelitian ini dilakukan oleh Indriya Dewi Onantya dan kawan - kawan yang di publikasikan pada tahun 2019 dengan judul "Analisis Sentimen Pada Ulasan Aplikasi BCA Mobile Menggunakan BM25 dan Improved K-Nearest Neighbor", penelitian ini menggunakan 500 data BCA Mobile, yang dibagi menjadi 400 data latihan dan 100 data uji.
Hasil evaluasi dari pengujian lima kali ganda menunjukkan nilai k terbaik sebesar 10, dengan ketepatan sebesar 0,946, recall sebesar 0,934, nilai f sebesar 0,939, dan ketepatan sebesar 0,942 .
Penelitian ini dilakukan oleh Alun Sujjada dan kawan - kawan yang di publikasikan pada tahun 2023 dengan judul "Analisis Sentimen Terhadap Review Bank Digital Pada Google Play Store Menggunakan Metode Support Vector Machine (SVM)".
Penelitian ini mengumpulkan 1500 data ulasan dari tiga aplikasi bank digital berbeda.
data ulasan dibagi menjadi 80% data latihan dan 20% data uji.
Hasil pengujian dengan metode Support Vector Machine menunjukkan bahwa bank digital Seabank mendapatkan rata-rata akurasi sebesar 91%.
Dari penelitian ini dapat diketahui bahwa bank digital Seabank memiliki presentase tanggapan positif lebih banyak diantara yang lainnya .
Penelitian ini dilakukan oleh Nanda Fibriyanti Arminda dan kawan - kawan yang di publikasikan pada tahun 2023 dengan judul "Implementasi Algoritma Multinominal Nayve Bayes pada Analisis Sentimen Terhadap Ulasan Pengguna Aplikasi BRIMO".
Hasilnya menunjukkan bahwa, dari 1011 data dalam dataset total, 670 data dikategorikan sebagai sentimen negatif dan 341 data dikategorikan sebagai sentimen positif.
Dengan demikian, dapat disimpulkan bahwa hasil ulasan pengguna aplikasi BRImo didominasi oleh sentimen negatif, dengan hasil evaluasi dari algoritma Nayve bayes dalam mengklasifikasikan sentimen ulasan pengguna BRImo mendapatkan hasil terbaik pada fold-2 dengan nilai akurasi 98,02%, presisi 97,06%, recall 97,06%, dan f1-score 97,06% .
Penelitian ini dilakukan oleh Kurnia dan kawan - kawan yang di publikasikan pada tahun 2022 dengan judul "Analisis Sentimen dengan Metode Nayve Bayes.
SMOTE dan Adaboost pada Twitter Bank BTN.
" Hasil penelitian menunjukkan bahwa kombinasi SMOTE.
Nayve Bayes, dan Adaboost memberikan hasil pemodelan terbaik dengan akurasi sebesar 87.
05%, presisi sebesar 63%, recall sebesar 83.
00%, dan AUC sebesar 0.
Penelitian ini akan menggunakan berbagai algoritma pembelajaran mesin seperti Support Vector Machine.
Naive Bayes.
KNN.
Decision Tree, dan Logistic Regression.
Selain itu, akan digunakan algoritma deep learning seperti BERT (Bidirectional Encoder Representations from Transformer.
Untuk mendapatkan pemahaman yang lebih baik tentang efektivitas masingmasing algoritma dalam konteks yang diteliti, penelitian ini akan membandingkan kinerja algoritma-algoritma tersebut dengan menggunakan metrik evaluasi yang relevan seperti akurasi, presisi, recall, skor F1, dan mungkin juga AUC-ROC.
Metodologi BERT (Bidirectional Encoder Representations from Transformer.
digunakan sebagai metode klasifikasi dalam penelitian ini.
Proses pengumpulan data, pelabelan data, dan preprocessing adalah semua langkah yang diperlukan untuk mencapai hasil yang optimal.
Ini adalah langkah-langkah yang dapat diamati.
Crawling Data Pada tahap awal penyelidikan, peneliti menemukan pertanyaan YouTube dan tweet untuk kumpulan data.
Data untuk penelitian ini diperoleh dari Bank SeaBank's Twitter (X) dan layanan berbagi video YouTube.
Crawler data dilakukan melalui Application Programming Interface (API).
Analisa atau Labeling Data Proses menganotasikan kumpulan data yang dikategorikan menjadi kelas sentimen negatif dan positif.
Ini akan dilakukan dengan melalui tiga metode: manual.
VADER, dan Text Blob.
Data Preprocessing Preprocessing data adalah metode pengubahan data yang mencakup imputasi data dan validasi untuk mengevaluasi kelengkapan dan akurasi data untuk digunakan dalam proses Jutisi: Vol.
No.
Agustus 2024: 886-897 Progresif e-ISSN: 2685-0877 analisis berikutnya.
Proses preprocessing mencakup pembersihan, pembongkaran case, tokenisasi, stemming, dan penghapusan stopword .
Cleansing Proses menghapus kata-kata yang tidak relevan dari data untuk meminimalkan .
Case Folding Semua kata dalam teks diubah menjadi huruf kecil, dan karakter selain huruf dihilangkan selama proses ini.
Tokenizing Kalimat dipecah menjadi token atau kata-kata tunggal dengan menggunakan spasi sebagai pembatas.
Stemming Kata-kata diubah kembali ke bentuk dasarnya atau bentuk baku.
Stopword Removal Kata-kata yang dianggap tidak penting dihapus dari data.
Gambar 2.
Metode Penelitian TF-IDF Dalam pemrosesan bahasa alami.
TF-IDF .
erm frekuensi inversi dokumen frekuens.
adalah skema pembobotan yang biasa digunakan untuk membedakan term dalam dokumen berdasarkan kepentingan atau keinformatifannya.
Ini dapat dihitung sebagai hasil dari kedua term frekuensi (TF) dan inverse document frekuensi (IDF) .
Inverse Document Frequency, yang mengukur pentingnya sebuah istilah di seluruh kumpulan dokumen, dihitung dengan mengambil logaritma dari rasio antara total jumlah dokumen dengan jumlah dokumen yang mengandung istilah tersebut.
Term Frequency mengukur seberapa penting sebuah istilah dalam sebuah dokumen tertentu, dan dihitung dengan membagi jumlah kemunculan istilah tersebut dengan total jumlah kata dalam dokumen tersebut.
Classification Model Tahap klasifikasi sentiment publik menggunakan beberapa algoritma machine learning seperti SVM, nayve bayes.
KNN.
Decision Tree dan logistic regresion.
Eksplorasi Sentimen Pengguna Media Sosiala.
Riska Kurnia Septiani 890 e-ISSN: 2685-0877 .
Algoritma SVM (Support Vector Machin.
Algoritma pembelajaran SVM yaitu sebuah model Supervised Learning yang masih berkaitan dengan pengajaran algoritma yang melakukan analisis data untuk tujuan analisis regresi dan klasifikasi.
dalam praktiknya.
SVM banyak digunakan untuk masalah pengklasifikasian .
= ycycnyciycu.
ycu yc.
yc adalah vektor bobot ycu adalah vektor fitur input yca adalah bias .
ycycnyciycu menentukan kelas dari input .
Algoritma Nayve Bayes Teorema Bayes, yang diperkenalkan pertama kali oleh Thomas Bayes, merupakan konsep dasar yang digunakan dalam klasifikasi Nayve Bayes.
Nayve Bayes merupakan metode klasifikasi yang menggunakan probabilitas yang sederhana, berakar pada Teorema Bayes, dan menganggap bahwa setiap kondisi atau kejadian memiliki tingkat ketidak ketergantungan yang tinggi .
ycU) = ycE.
ycU) adalah probabilitas posterior dari kelas yc yang diberikan fitur ycU ycE.
adalah probabilitas likelihood dari fitur ycU yang diberikan kelas yc ycE.
adalah probabilitas prior dari kelas yc ycE.
cU) adalah probabilitas evidence dari fitur ycU .
Algoritma K-NN K-Nearest Neighbor (K-NN) dilakukan dengan mencari kelompok k objek dalam data training yang paling dekat .
dengan objek pada data baru atau data testing, diperlukan suatu sistem klasifikasi sebagai sebuah sistem yang mampu mencari informasi .
y = ycoycuyccyce.
i1 , yi2 .
A , yik ) yc adalah kelas prediksi yi1 , yi2 .
A , yik adalah kelas dari k tetangga terdekat .
Algoritma Decision Tree Sebuah pohon adalah struktur data yang terdiri dari simpul-simpul .
dan rusukrusuk .
Pada pohon, terdapat tiga jenis simpul: simpul akar .
oot nod.
, simpul internal atau percabangan .
ranch/internal nod.
, dan simpul daun .
eaf nod.
G(S) = 1 Oe Oc = 1 .
cE ) ycn ycn ya.
cI) adalah gini impurity dari node ycI yca adalah jumlah kelas pi adalah proporsi dari kelas i dalam node ycI .
Algoritma Logistic Regresion Ketika variable dependen .
adalah variabel dikotomi, analisis regresi logistik Variabel dikotomi biasanya terdiri dari dua nilai, masing-masing menunjukkan kemunculan atau tidak adanya kejadian, dan biasanya diberi angka 0 atau 1 .
c = .
= yua.
ycu yc.
c = .
= 1 Oe yua.
ycu yc.
Jutisi: Vol.
No.
Agustus 2024: 886-897 Progresif e-ISSN: 2685-0877 c Oe .
adalah probabilitas bahwa instance x masuk ke dalam kelas positif ycE.
c = .
adalah probabilitas bahwa instance x masuk ke dalam kelas negatif Bidirectional Encoder Representations from Transformers (BERT) BERT dirancang untuk melatih representasi dalam dua arah teks tanpa label .
Model BERT yang dilatih dapat dikonfigurasi dengan lapisan output tambahan untuk membuat model multi-tasking yang canggih.
Model BERT juga dapat melakukan klasifikasi data berlabel .
Mengacu pada Jacob Devlin.
Ming-Wei Chang.
Kenton Lee, dan Kristina Toutanova, algoritma BERT dirancang berdasarkan arsitektur encoder Transformers karena arsitektur encoder dapat menyelesaikan berbagai tugas seperti Neural Machine Translation.
Question Answering.
Sentiment Analysis, dan Text Summarization .
Untuk menilai performa, metrik yang digunakan adalah skor F1, akurasi, presisi, dan Skor F1 secara definisi adalah mean harmonik dari akurasi dan ingatan, dan metrik yang menggabungkan presisi dan perolehan.
ycyceycaycaycoyco y ycyycyceycaycnycycycnycuycu 1 ycIycaycuycyce = 2 y ycyceycaycaycoyco ycyycyceycaycnycycycnycuycu Precision adalah perbandingan antara jumlah observasi positif yang diprediksi dengan benar dan total prediksi positif.
Untuk precision, berikut rumusnya:
ycEycyceycaycnycycycnycuycu = ycNycycyce ycEycuycycnycycnycyce ycNycycyce ycEycuycycnycycnycyce yaycaycoycyce ycEycuycycnycycnycyce .
ycNycycyce ycEycuycycnycycnycyce ycNycuycycayco ycEycyceyccycnycaycyceycc ycEycuycycnycycnycyce .
ycEycyceycaycnycycycnycuycu = Sensitivitas atau spesifisitas adalah istilah untuk perbandingan antara hasil yang diprediksi dengan benar dan total semua prediksi.
Persamaan 9 dan 10 menjelaskan perumusan ycIyceycaycaycoyco = ycNycycyce ycEycuycycnycycnycyce ycNycycyce ycEycuycycnycycnycyce yaycaycoycyce ycAyceyciycaycycnycyce .
ycNycycyce ycEycuycycnycycnycyce ycNycuycycayco yaycaycycycayco ycEycuycycnycycnycyce .
ycIyceycaycaycoyco = Selanjutnya, tingkat keakuratannya dinilai untuk mengetahui hasil yang baik.
Akurasi dapat dihitung dengan membagi presisi dengan perolehan atau dengan mengurangi tingkat negatif palsu (FNR) dibagi dengan tingkat positif palsu (FPR).
Persamaan 11 menunjukkan cara menghitung akurasi.
cNycE ycNycA) .
yaycaycaycycycaycayc = .
cNycE yaycA ycNycA yaycA) Hasil dan Pembahasan Hasil penelitian analisis akan menentukan desain sistem analisis sentimen.
Crawling Data Data komentar ini dikumpulkan dari kedua media sosial.
Twitter (X) dan YouTube.
Pada media sosial Twitter (X), python pada google collab dengan kata kunci "Bank SeaBank" digunakan, dan pada media sosial YouTube, kata kunci "Bank SeaBank" juga digunakan.
Sebanyak lima ratus data komentar dikumpulkan melalui proses ini.
Username Table 1.
Hasil Crawling Data Komentar Komentar @ssefnum Line bank bisa debit, seabank engga bisa.
Kalo digital enak seabank.
(Banyak prom.
Eksplorasi Sentimen Pengguna Media Sosiala.
Riska Kurnia Septiani 892 e-ISSN: 2685-0877 Username Komentar Chet___2202 @cagyuu__ lagian lu ngapaiin nabung di seabank wkwk di bank beneran aja njir aman duit lu Selain bunga tabungan juga free biaya admin .
lias gaada potongan tiap bula.
Seabank juga ada gratis transfer ke semua rekening bank 100x/bulan.
Untuk topup e-wallet juga sama gratisnya ya.
Top up tagihan lainnya jg bisa .
istrik, internet, dl.
, dan sudah dilengkapi dgn QRIS.
https://t.
co/Uzo5k34fDw Struggle gw tf duit dari bank lokal ke seabank gagal trus knpa dah bikin kesel aja jelas seabank sih kalo menurut saya.
kalo flip cuman gimmick, bilangnya gratis tapi masih tetep bayar beberapa ratus rupiah.
seabank fix nol rupiah.
Heira3 Analisa atau Labeling Data Ada tiga metode yang dapat digunakan untuk menganotasikan kumpulan data atau dataset menjadi kelas sentimen positif dan negatif: VADER.
Text Blob, dan manual.
Username Chet___2202 Heira3 Table 2.
Hasil Labeling Komentar @ssefnum Line bank bisa debit, seabank engga bisa.
Kalo digital enak seabank.
(Banyak prom.
@cagyuu__ lagian lu ngapaiin nabung di seabank wkwk di bank beneran aja njir aman duit lu Selain bunga tabungan juga free biaya admin .
lias gaada potongan tiap bula.
Seabank juga ada gratis transfer ke semua rekening bank 100x/bulan.
Untuk topup e-wallet juga sama gratisnya ya.
Top up tagihan lainnya jg bisa .
istrik, internet, dl.
, dan sudah dilengkapi dgn QRIS.
https://t.
co/Uzo5k34fDw Struggle gw tf duit dari bank lokal ke seabank gagal trus knpa dah bikin kesel aja jelas seabank sih kalo menurut saya.
kalo flip cuman gimmick, bilangnya gratis tapi masih tetep bayar beberapa ratus rupiah.
kalo seabank fix nol rupiah.
Label Positif Negatif Positif Negatif Positif Terdapat 306 data komentar positif dan 144 data komentar negatif dari 500 data komentar dari media sosial Twitter (X) dan YouTube melalui proses labeling manual.
Gambar 3.
Grafik Hasil Proses Labeling Data Preprocessing Pada tahapan ini, data akan melalui proses cleansing, case folding, tokenizing, stemming dan Stopword Removal.
Cleansing Proses membersihkan data dari kataAikata yang tidak memberikan penjelasan apa pun tentang cara menghilangkan gangguan dari data.
Jutisi: Vol.
No.
Agustus 2024: 886-897 Progresif e-ISSN: 2685-0877 Table 3.
Setelah Proses Cleansing Sebelum Cleansing Sesudah Cleansing Selain bunga tabungan juga free biaya admin .
lias gaada potongan tiap bula.
Seabank juga ada gratis transfer ke semua rekening bank 100x/bulan.
Untuk topup e-wallet juga sama gratisnya ya.
Top up tagihan lainnya jg bisa .
istrik, internet, dl.
, dan sudah dilengkapi dgn QRIS.
https://t.
co/Uzo5k34fDw Struggle gw tf duit dari bank lokal ke seabank gagal trus knpa dah bikin kesel aja Selain bunga tabungan juga free biaya admin alias gaada potongan tiap bulan Seabank juga ada gratis transfer ke semua rekening bank xbulan Untuk topup ewallet juga sama gratisnya ya Top up tagihan lainnya jg bisa listrik internet dll dan sudah dilengkapi dgn QRIS Struggle gw tf duit dari bank lokal ke seabank gagal trus knpa dah bikin kesel aja .
Case Folding Kata dalam teks diubah menjadi huruf kecil selama proses ini, dan karakter lain selain huruf dihilangkan.
Table 4.
Setelah Proses Case Folding Sebelum Case Folding Sesudah Case Folding Selain bunga tabungan juga free biaya admin .
lias gaada potongan tiap bula.
Seabank juga ada gratis transfer ke semua rekening bank 100x/bulan.
Untuk topup e-wallet juga sama gratisnya ya.
Top up tagihan lainnya jg bisa .
istrik, internet, dl.
, dan sudah dilengkapi dgn QRIS.
https://t.
co/Uzo5k34fDw Struggle gw tf duit dari bank lokal ke seabank gagal trus knpa dah bikin kesel aja selain bunga tabungan juga free biaya admin alias gaada potongan tiap bulan seabank juga ada gratis transfer ke semua rekening bank xbulan untuk topup ewallet juga sama gratisnya ya top up tagihan lainnya jg bisa listrik internet dll dan sudah dilengkapi dgn struggle gw tf duit dari bank lokal ke seabank gagal trus knpa dah bikin kesel aja .
Tokenizing Proses pembagian kalimat menjadi token atau kata tunggal dengan tanda spasi.
Table 5.
Setelah Proses Tokenizing Sebelum Tokenizing Sesudah Tokenizing Selain bunga tabungan juga free biaya admin .
lias gaada potongan tiap bula.
Seabank juga ada gratis transfer ke semua rekening bank 100x/bulan.
Untuk topup e-wallet juga sama gratisnya ya.
Top up tagihan lainnya jg bisa .
istrik, internet, dl.
, dan sudah dilengkapi dgn QRIS.
https://t.
co/Uzo5k34fDw Struggle gw tf duit dari bank lokal ke seabank gagal trus knpa dah bikin kesel aja ['selain', 'bunga', 'tabungan', 'juga', 'free', 'biaya', 'admin', 'alias', 'gaada', 'potongan', 'tiap', 'bulan', 'seabank', 'juga', 'ada', 'gratis', 'transfer', 'ke', 'semua', 'rekening', 'bank', 'xbulan', 'untuk', 'topup', 'ewallet', 'juga', 'sama', 'gratisnya', 'ya', 'top', 'up', 'tagihan', 'lainnya', 'jg', 'bisa', 'listrik', 'internet', 'dll', 'dan', 'sudah', 'dilengkapi', 'dgn', 'qris'] ['struggle', 'gw', 'tf', 'duit', 'dari', 'bank', 'lokal', 'ke', 'seabank', 'gagal', 'trus', 'knpa', 'dah', 'bikin', 'kesel', 'aja'] .
Stemming Mengembalikan kata ke kata baku atau kata dasarnya.
Table 6.
Setelah Proses Stemming Sebelum Stemming Sesudah Stemming Selain bunga tabungan juga free biaya admin .
lias gaada potongan tiap bula.
Seabank juga ada gratis transfer ke semua rekening bank 100x/bulan.
Untuk topup e-wallet juga sama gratisnya ya.
Top up tagihan lainnya jg ['selain', 'bunga', 'tabung', 'juga', 'free', 'biaya', 'admin', 'alias', 'gaada', 'potong', 'tiap', 'bulan', 'seabank', 'juga', 'ada', 'gratis', 'transfer', 'ke', 'semua', 'rekening', 'bank', 'xbulan', 'untuk', 'topup', 'ewallet', 'juga', 'sama', 'gratis', 'ya', 'top', 'up', 'tagih', 'lain', 'jg', 'bisa', 'listrik'.
Eksplorasi Sentimen Pengguna Media Sosiala.
Riska Kurnia Septiani 894 e-ISSN: 2685-0877 Sebelum Stemming Sesudah Stemming bisa .
istrik, internet, dl.
, dan sudah dilengkapi dgn QRIS.
https://t.
co/Uzo5k34fDw Struggle gw tf duit dari bank lokal ke seabank gagal trus knpa dah bikin kesel aja 'internet', 'dll', 'dan', 'sudah', 'lengkap', 'dgn', 'qris'] ['struggle', 'gw', 'tf', 'duit', 'dari', 'bank', 'lokal', 'ke', 'seabank', 'gagal', 'trus', 'knpa', 'dah', 'bikin', 'kesel', 'aja'] .
Stopword Removal Menghapus kata yang dianggap tidak relevan.
Table 7.
Setelah Proses Stopword Removal Sebelum Stopword Removal Sesudah Stopword Removal Selain bunga tabungan juga free biaya admin .
lias gaada potongan tiap bula.
Seabank juga ada gratis transfer ke semua rekening bank 100x/bulan.
Untuk topup e-wallet juga sama gratisnya ya.
Top up tagihan lainnya jg bisa .
istrik, internet, dl.
, dan sudah dilengkapi dgn QRIS.
https://t.
co/Uzo5k34fDw Struggle gw tf duit dari bank lokal ke seabank gagal trus knpa dah bikin kesel aja bunga tabung free biaya admin alias gaada potong seabank gratis transfer rekening bank xbulan topup ewallet gratis ya top up tagih jg listrik internet dll lengkap dgn qris struggle gw tf duit bank lokal seabank gagal trus knpa dah bikin kesel aja TF - IDF Salah satu algoritma yang dapat digunakan untuk menghitung bobot setiap kata adalah TF-IDF, yang juga dikenal sebagai Dokumen Frekuensi Kata Terbalik.
Gambar 7 menampilkan proses TF-IDF.
Gambar 4.
Proses TF-IDF Accuracy Machine Learning Tabel berikut menunjukkan nilai akurasi yang diperoleh dari proses validasi.
Perbandingan antara prediksi yang benar dari seluruh prediksi yang dibuat oleh algoritma dikenal sebagai akurasi.
Persamaan 12 dapat digunakan untuk menghitung akurasi yaitu membagi hasil dari presisi dengan hasil akurasi atau dengan membagi 1 dikurangi tingkat negatif palsu (FNR) dibagi dengan tingkat positif palsu (FPR).
yaycaycaycycycaycayc = .
cNycE ycNycA) .
cNycE yaycA ycNycA yaycA) Table 8.
Hasil Accuracy Algoritma
Accuracy Logistic Regresion Super Vector Machine (SVM) Decision Tree
Nayve Bayes Ae GausiyanNB
K-NN
Nayve Bayes Ae MultinominalNB Jutisi: Vol.
No.
Agustus 2024: 886-897 Progresif e-ISSN: 2685-0877 Pre-Trained BERT Model Model ini menetapkan uji coba dataset tiga epoch, batch size 8 dengan proporsi data latihan dan data uji sebanding 80 : 20.
Metrik kinerja yang umum digunakan untuk mengevaluasi performa algoritma seperti BERT biasanya mencakup beberapa hal seperti Accuracy (Akuras.
Precision (Presis.
Recall (Sorota.
F1 Score.
Gambar 5.
Ilustrasi pre-training dan fine-tuning BERT Accuracy (Akuras.
adalah persentase dokumen atau kalimat yang dikategorikan secara akurat oleh model.
Precision (Presis.
adalah persentase dari hasil yang relevan yang diprediksi secara benar oleh model dari semua hasil yang diprediksi positif.
Recall (Sorota.
adalah persentase dari hasil yang relevan yang berhasil diidentifikasi oleh model dari semua hasil yang relevan sebenarnya.
F1-Score adalah rata-rata harmonik presisi dan recall.
Berguna ketika ada keseimbangan antara presisi dan recall yang diinginkan.
Epoch 1/3 Avg.
Train Loss : 0.
Avg.
Val.
Loss : 0.
Acc Val.
: 0.
Table 9.
Hasil Epoch 1 Precision Recall F1-Score Support Acc.
Mac.
Weight.
Epoch 2/3 Avg.
Train Loss : 0.
Avg.
Val.
Loss : 0.
Acc.
Val.
: 0.
Table 10.
Hasil Epoch 2 Precision Recall F1-Score Support Acc.
Mac.
Weight.
Epoch 3/3 Avg.
Train Loss : 0.
Avg.
Val.
Loss : 0.
Acc.
Val.
: 0.
Eksplorasi Sentimen Pengguna Media Sosiala.
Riska Kurnia Septiani 896 e-ISSN: 2685-0877 Table 11.
Hasil Epoch 3 Precision Recall F1-Score Support Acc.
Mac.
Weight.
Untuk mengevaluasi kinerja sistem dengan matriks konfusi, parameter kinerja dianalisis.
Hasil matriks konfusi ditunjukkan dalam Gambar 8, yang didasarkan pada akurasi kinerja tertinggi dalam pengujian kami.
Gambar 6.
Hasil Confusion Matrix Confusion matrix yaitu alat evaluasi kinerja yang sangat berguna dalam pembelajaran mesin, terutama dalam konteks klasifikasi.
Pada Confusion Matrix terdapat 4 istilah utama yang digunakan yaitu True Positive (TP).
True Negative (TN).
False Positive (FP), dan False Negative (FN).
Dengan matriks ini, kita dapat menghitung berbagai metrik evaluasi seperti akurasi, presisi, recall, dan F1-score, yang semuanya memberikan wawasan tambahan tentang kinerja model dalam memprediksi kelas tertentu.
Pada gambar 6.
True Positive (TP) adalah jumlah di mana model dengan benar memprediksi kelas sebanyak 71.
True Negative (TN) adalah jumlah di mana model dengan benar memprediksi kelas negatif sebanyak 15.
False Positive (FP) adalah jumlah di mana model salah memprediksi kelas positif sebanyak 8.
False Negative (FN) adalah jumlah di mana model salah memprediksi kelas negatif sebanyak 6.
Simpulan Ada beberapa kesimpulan yang didukung oleh hasil pengujian dan analisis.
Dengan analisis sentimen yang ditulis oleh penulis, diketahui bahwa dari 500 data di Twitter (X) dan YouTube, 306 data menunjukkan sentimen positif dan 144 menunjukkan sentimen negatif.
Algoritma pembelajaran mesin yang menggunakan algoritma SVM memiliki akurasi sebesar 84%.
Nayve Bayes sebesar 81%.
K-NN sebesar 80%.
Decision Tree sebesar 77% dan Logistic Regresion sebesar 87%.
Nilai akurasi tertinggi pada algoritma machine learning diperoleh oleh SVM sebesar 84%.
Sedangkan nilai akurasi yang dihasilkan deep learning BERT yaitu 86% dengan epoch 3.
Akurasi tertinggi diperolah pada model algoritma deep learning BERT.
Daftar Referensi Devi Fitriana and Dedy Kurniawan.
AuAnalisis Faktor-Faktor yang Memengaruhi Niat Penggunaan Bank Digital SeaBank menggunakan Modifikasi UTAUT2 dengan Security.
Privacy, dan Trust,Ay Indones.
Comput.
Sci.
, vol.
12, no.
6, pp.
3986Ae4002, 2023, doi:
33022/ijcs.
Girnanfa and A.
Susilo.
AuStudi Dramaturgi Pengelolaan Kesan Melalui Twitter Sebagai Sarana Eksistensi Diri Mahasiswa di Jakarta,Ay J.
New Media Commun.
, vol.
1, pp.
58Ae73, 2022, doi: 10.
55985/jnmc.
Husen.
Astuti.
Marlia.
Rahmaddeni, and L.
Efrizoni.
AuAnalisis Sentimen Opini Publik pada Twitter Terhadap Bank BSI Menggunakan Algoritma Machine Learning,Ay Jutisi: Vol.
No.
Agustus 2024: 886-897 Progresif e-ISSN: 2685-0877 MALCOM Indones.
Mach.
Learn.
Comput.
Sci.
, vol.
3, no.
2, pp.
211Ae218, 2023, doi:
57152/malcom.
Onantya and P.
Adikara.
AuAnalisis Sentimen Pada Ulasan Aplikasi BCA Mobile Menggunakan BM25 Dan Improved K-Nearest Neighbor,Ay J-Ptiik.
Ub.
Ac.
Id, vol.
3, no.
2575Ae2580, 2019.
Alun Sujjadaa.
Somantri.
Juwita Nurfazri Novianti, and Indra Griha Tofik Isa.
AuAnalisis Sentimen Terhadap Review Bank Digital Pada Google Play Store Menggunakan Metode Support Vector Machine (Sv.
,Ay J.
Rekayasa Teknol.
Nusa Putra, vol.
9, no.
2, pp.
122Ae 135, 2023, doi: 10.
52005/rekayasa.
Fibriyanti Arminda.
Sulistiyowati, and T.
Nur Padilah.
AuImplementasi Algoritma Multinomial Naive Bayes Pada Analisis Sentimen Terhadap Ulasan Pengguna Aplikasi Brimo,Ay JATI (Jurnal Mhs.
Tek.
Inform.
, vol.
7, no.
3, pp.
1817Ae1822, 2023, doi:
36040/jati.
Kurnia.
Purnamasari, and D.
Saputra.
AuAnalisis Sentimen Dengan Metode Nayve Bayes.
SMOTE Dan Adaboost Pada Twitter Bank BTN,Ay J.
JTIK (Jurnal Teknol.
Inf.
Komunikas.
, vol.
7, no.
2, pp.
235Ae242, 2023, doi: 10.
35870/jtik.
Syafii Imam Muhamad.
AuSentimen Analisis Pada Media Sosial Menggunakan Metode Naive Bayes Classifier (Nb.
,Ay Teknologipintar.
org, vol.
3, no.
2, p.
1, 2023.
Annisa.
Kalifia.
Humaniora, and U.
Yogyakarta.
AuGudang Jurnal Multidisiplin Ilmu Analisis Teknik TF-IDF Dalam Identifikasi Faktor-Faktor Penyebab Depresi Pada Individu,Ay vol.
2, pp.
302Ae307, 2024.
Ahmad and W.
Gata.
AuSentimen Analisis Masyarakat Indonesia di Twitter Terkait Metaverse dengan Algoritma Support Vector Machine,Ay J.
JTIK (Jurnal Teknol.
Inf.
Komunikas.
, vol.
6, no.
4, pp.
548Ae555, 2022, doi: 10.
35870/jtik.
Riyanah and F.
Fatmawati.
AuPenerapan Algoritma Naive Bayes Untuk Klasifikasi Penerima Bantuan Surat Keterangan Tidak Mampu,Ay JTIM J.
Teknol.
Inf.
dan Multimed.
2, no.
4, pp.
206Ae213, 2021, doi: 10.
35746/jtim.
Cahyanti.
Rahmayani, and S.
Husniar.
AuAnalisis performa metode Knn pada Dataset pasien pengidap Kanker Payudara,Ay Indones.
Data Sci.
, vol.
1, no.
2, pp.
39Ae 43, 2020, doi: 10.
33096/ijodas.
Fatmasari.
Septiani.
Pinem.
Fabiyanto, and W.
Gata.
AuImplementasi Algoritma BERT Pada Komentar Layanan Akademik dan Non Akademik Universitas Terbuka di Media Sosial,Ay Sains.
Apl.
Komputasi dan Teknol.
Inf.
, vol.
5, no.
2, pp.
2024, doi: 10.
30872/jsakti.
Utami.
Nurlelah, and F.
Hasan.
AuComparison of Neural Network Algorithms.
Naive Bayes and Logistic Regression to predict diabetes,Ay J.
Informatics Telecommun.
Eng.
, vol.
5, no.
1, pp.
53Ae64, 2021, doi: 10.
31289/jite.
Abdussalam.
Richasdy, and M.
Bijaksana.
AuBERT Implementation on News Sentiment Analysis and Analysis Benefits on Branding,Ay J.
Media Inform.
Budidarma, vol.
6, no.
4, pp.
2064, 2022, doi: 10.
30865/mib.
Eksplorasi Sentimen Pengguna Media Sosiala.
Riska Kurnia Septiani