IJCSR: The Indonesian Journal of Computer Science Research E-ISSN 2963-9174 DOI prefix 10.
Volume 4.
No.
2 Juli 2025 https://subset.
id/index.
php/IJCSR Perbandingan Model BERT dan RNN-LSTM pada Analisis Sentimen Aplikasi BRI Mobile Dea Yuliana Ayu Ningrum1.
Erna Daniati*2.
Najibulloh Muzaki3.
Sistem Informasi.
Fakultas Teknik dan Ilmu Komputer.
Universitas Nusantara PGRI Kediri 2,.
Author Emails Corresponding author: ernadaniati@unpkediri.
deayulianaayuningrum@gmail.
muzaki@gmail.
Abstract.
This study seeks to evaluate and contrast the effectiveness of two deep learning architecturesAiBERT (Bidirectional Encoder Representations from Transformer.
and RNN-LSTM (Recurrent Neural Network Ae Long ShortTerm Memor.
Aiin the task of sentiment analysis for user feedback on the BRImo mobile application.
The dataset, comprising 10,000 user reviews, was extracted using web scraping techniques from Google Play via random sampling out of an approximate pool of one million available reviews.
The initial preprocessing steps included text cleaning, removal of symbols, numbers.
URLs, and tokenization.
Initial evaluation showed BERT achieved an accuracy of 54%, while RNNLSTM reached 53%.
Further experiments were conducted by removing the additional tokenization during preprocessing.
The results indicated a significant improvement, with BERT reaching 73% accuracy and RNN-LSTM 70%.
These findings suggest that redundant tokenization can degrade input quality.
Overall.
BERT demonstrated superior performance in understanding the linguistic context of the Indonesian language, especially in handling ambiguity and complex sentence structures in user-generated review texts.
Keywords: Sentiment analysis.
BERT.
RNN-LSTM.
BRI Mobile.
Abstrak.
Penelitian ini dimaksudkan untuk mengevaluasi serta membandingkan performa dari dua arsitektur deep learning, yakni BERT (Bidirectional Encoder Representations from Transformer.
dan RNN-LSTM (Recurrent Neural Network Ae Long Short-Term Memor.
, dalam mengklasifikasikan sentimen pada tanggapan pengguna aplikasi BRImo.
Kumpulan data diperoleh melalui teknik web scraping di platform Google Play dengan metode pengambilan acak .
andom samplin.
, sehingga terkumpul 10.
000 ulasan dari total sekitar satu juta ulasan yang tersedia.
Proses preprocessing awal mencakup pembersihan teks, penghapusan simbol, angka.
URL, serta tokenisasi.
Evaluasi awal menunjukkan bahwa model BERT memiliki akurasi sebesar 54%, sedangkan RNN-LSTM memperoleh akurasi 53%.
Selanjutnya, dilakukan eksperimen lanjutan dengan menghilangkan proses tokenisasi tambahan pada preprocessing.
Hasilnya, akurasi meningkat secara signifikan menjadi 73% untuk BERT dan 70% untuk RNN-LSTM.
Peningkatan ini menunjukkan bahwa tokenisasi ganda dapat menurunkan kualitas input ke dalam model.
Secara keseluruhan, model BERT terbukti lebih unggul dalam memahami konteks linguistik dalam bahasa Indonesia, terutama dalam menangani ambiguitas dan struktur kalimat kompleks dalam teks ulasan pengguna aplikasi.
Kata kunci: Sentimen analisis.
BERT.
RNN-LSTM.
BRI Mobile IJCSR: The Indonesian Journal of Computer Science Research E-ISSN 2963-9174 DOI prefix 10.
Volume 4.
No.
2 Juli 2025 https://subset.
id/index.
php/IJCSR PENDAHULUAN BRImo merupakan platform aplikasi seluler yang dirancang oleh Bank Rakyat Indonesia (BRI) guna memberikan kemudahan bagi pengguna dalam menjalankan beragam aktivitas perbankan.
Menurut ketentuan Bank Indonesia Nomor 9/15/PBI/2007, layanan perbankan digital adalah fasilitas yang diberikan oleh bank guna mempermudah nasabah dalam mengakses data, berkomunikasi, serta melaksanakan transaksi perbankan melalui berbagai media elektronik, seperti ATM, layanan telepon perbankan, transfer dana secara elektronik, internet banking, dan telepon genggam.
Dalam proses pembuatan aplikasi, perusahaan perlu memahami bagaimana reaksi pengguna terhadap layanan BRImo.
Salah satu metode yang diterapkan adalah analisis sentimen pada komentar pengguna.
Analisis ini bertujuan untuk mengetahui apakah pandangan yang diungkapkan bernada positif atau negatif, sehingga hasilnya bisa dijadikan bahan evaluasi demi peningkatan mutu layanan BRImo di masa mendatang.
Pandangan pengguna menyebar luas di berbagai platform media sosial, di mana setiap individu mengungkapkan pikiran dan emosinya lewat komentar daring dan aplikasi digital.
Pandangan tersebut dapat dibagi menjadi tiga kategori utama, yakni positif, negatif, dan netral.
Pembagian jenis pandangan ini dikenal dengan istilah analisis sentimen.
Dalam kajian sentimen, metode Deep Learning dianggap sangat ampuh dalam mengatasi permasalahan rumit, sekalipun diaplikasikan pada data yang sederhana.
Keunggulan ini muncul dari mekanisme berlapis-lapis yang mampu mengolah informasi nonlinier, sehingga model dapat mengekstrak ciri-ciri penting, mendeteksi pola, dan mengklasifikasikan dengan tingkat presisi yang lebih tinggi.
Penelitian ini bertujuan untuk mengevaluasi dan membandingkan performa dua arsitektur deep learning, yaitu BERT (Bidirectional Encoder Representations from Transformer.
dan RNN-LSTM (Recurrent Neural Network Ae Long Short-Term Memor.
, dalam mengelompokkan sentimen ke dalam kategori positif, negatif, maupun netral.
Pengelompokan tersebut merupakan tahap identifikasi pola atau fungsi spesifik yang mampu membedakan serta merepresentasikan masing-masing kelas data secara tepat.
Selain itu, penelitian ini juga mempertimbangkan tantangan seperti overfitting dan mengoptimalkan hyperparameter agar model dapat memberikan hasil yang lebih relevan dalam merespon umpan balik pengguna secara efektif dengan menggabungkan dua model canggih, yaitu BERT dan RNN-LSTM.
BERT memiliki beragam model pre-trained, termasuk BERT Multilingual yang dirancang untuk berbagai bahasa.
Namun, model ini kurang optimal untuk tugas yang berfokus pada satu bahasa, karena tidak memiliki mekanisme untuk secara spesifik mengenali atau memilih bahasa tertentu.
Akibatnya, tokenizer dapat secara tidak sengaja mencampurkan kata dari berbagai bahasa, yang dapat memengaruhi akurasi analisis.
Tak hanya itu.
RNN konvensional memiliki keterbatasan seperti masalah exploding dan vanishing gradient.
LSTM, sebagai salah satu varian dari RNN, dirancang untuk mengatasi kelemahan tersebut melalui penggunaan mekanisme gerbang.
Oleh karena itu.
LSTM lebih optimal dibandingkan RNN konvensional.
Penelitian ini bertujuan menghasilkan klasifikasi sentimen pengguna serta membandingkan performa dua model deep learning, yakni BERT dan RNN-LSTM.
Perbandingan dilakukan untuk mengidentifikasi model yang paling unggul dalam mengolah analisis sentimen berdasarkan akurasi dan hasil evaluasi model, untuk mengidentifikasi kinerja unggulan dari model dalam mengolah analisis sentimen pada feedback pengguna aplikasi BRI Mobile.
TINJAUAN PUSTAKA
Analisis Sentimen Analisis sentimen adalah metode untuk mengidentifikasi tipe pendapat atau emosi yang terkandung dalam suatu kalimat, cuitan, atau sekumpulan teks.
Proses ini diterapkan pada konten media sosial guna menilai serta mengkaji seberapa besar kepuasan konsumen terhadap produk yang ditawarkan oleh sebuah perusahaan.
Ini membuat perusahaan tertarik untuk menggunakan hasil analisis ini dalam menentukan kebijakan sehingga mempengaruhi jalannya bisnis dan mendukung tujuan organisasi .
Sentimen analisis adalah rangkaian langkah yang bertujuan mengidentifikasi serta mengklasifikasikan perasaan atau pandangan dalam sebuah tulisan, baik bersifat positif, negatif, maupun netral, dengan menggunakan teknik pengolahan teks.
Sentimen analisis dapat digunakan untuk menyimpulkan konten teks dari setiap opini dalam sebuah ulasan, apakah pengguna menyukai atau tidak menyukai pengalaman mereka saat menggunakan aplikasi.
Dengan memahami preferensi pengguna melalui ulasan, pengembang dapat meningkatkan aspek kegunaan aplikasi IJCSR: The Indonesian Journal of Computer Science Research E-ISSN 2963-9174 DOI prefix 10.
Volume 4.
No.
2 Juli 2025 https://subset.
id/index.
php/IJCSR untuk memperkuat keberhasilan bisnis.
Analisis sentimen biasanya dilakukan dengan memanfaatkan Natural Language Processing (NLP) .
BERT
BERT (Bidirectional Encoder Representations from Transformer.
adalah sebuah model pembelajaran mendalam yang dirancang untuk menangkap arti kata melalui konteksnya dalam tahap pelatihan awal, guna mendukung berbagai aplikasi pemrosesan bahasa alami (NLP).
Model ini dibangun dengan pelatihan menggunakan kumpulan data Wikipedia yang mencakup 104 bahasa berbeda.
Dikembangkan oleh Google dan pertama kali dikenalkan pada 2018, proses pelatihan BERT mengadopsi metode Masked Language Model (MLM) dan menggunakan arsitektur transformer yang beroperasi secara dua arah .
Bidirectional Encoder Representation from Transformers (BERT) adalah teknik pembelajaran mesin berbasis transformator yang dikembangkan oleh Google.
Tahap pemecahan token dalam BERT mencakup penyisipan token khusus seperti [CLS] yang berfungsi untuk klasifikasi dan [SEP] sebagai pemisah, masing-masing memiliki peran spesifik.
Proses tokenisasi ini diterapkan pada level kata maupun karakter, sehingga model mampu menangkap makna konteks serta hubungan antar karakter dalam teks.
Pendekatan ini mendukung BERT dalam mengelola katakata yang rumit atau beragam, sekaligus mempertahankan struktur informasi yang esensial.
Fine Tuning BERT Penyempurnaan mendalam pada BERT menjadi langkah krusial dalam merancang model yang lebih akurat guna keperluan analisis sentimen.
Studi ini menggunakan model BERT base-uncased yang telah melewati fase prapelatihan.
Struktur fine-tuning yang diterapkan terdiri dari beberapa elemen, termasuk lapisan input, lapisan transformer yang terbentuk dari beberapa blok, serta lapisan output.
Dalam proses fine-tuning, sejumlah parameter seperti laju pembelajaran, jumlah epoch, dan ukuran batch diatur ulang guna memaksimalkan performa model.
RNN
Arsitektur Recurrent Neural Network (RNN) yang dipadukan dengan Long Short Term Memory (LSTM) adalah salah satu teknik deep learning efektif untuk pengklasifikasian sentimen.
Struktur ini dibuat khusus untuk memproses data berurutan, seperti teks, suara, dan video.
RNN, atau jaringan neural umpan balik, adalah tipe jaringan neural yang memiliki koneksi berloop dalam strukturnya.
Hal ini memungkinkan output dari jaringan untuk dipakai kembali sebagai input guna menghasilkan output berikutnya.
RNN dibuat khusus untuk memproses data yang memiliki sifat berurutan atau sekuensial.
Berikut adalah persamaan dari RNN untuk memproses data sekuensial dengan mempertimbangkan hubungan temporal antara elemen data dalam urutan tertentu, misalnya dalam sentiment analysis.
Eayc = tanhA.
cOEaycu ycuyc ycOEaEa EaycOe1 ycaEa ) .
ycuyc = ycOycuEa Eayc ycaycu
LSTM
Long Short Term Memory (LSTM) LSTM adalah sebuah penyempurnaan dari algoritma Recurrent Neural Network (RNN) yang mengadaptasi arsitektur RNN dengan memasukkan komponen sel memori atau unit penyimpanan khusus.
Pendekatan ini memungkinkan LSTM menyimpan informasi yang diperoleh dalam rentang waktu yang lebih panjang secara efektif.
Sebagai evolusi dari Recurrent Neural Network (RNN).
LSTM unggul dalam mengatasi tantangan ketergantungan jangka panjang.
Pertama kali diperkenalkan oleh Sepp Hochreiter dan Jurgen Schmidhuber pada tahun 1997, model ini mengadopsi serangkaian sel memori eksklusif yang menggantikan neuron tradisional pada lapisan tersembunyi di RNN.
Rumus LSTM dibagi menjadi 4.
Forget Gate yceyc = E.
cOyceycu ycuyc ycOyceEa EaycOe1 ycOyceyca ycaycOe1 ycayce IJCSR: The Indonesian Journal of Computer Science Research E-ISSN 2963-9174 DOI prefix 10.
Volume 4.
No.
2 Juli 2025 https://subset.
id/index.
php/IJCSR Input Gate ycnyc = E.
cOycnycu ycuyc ycOycnEa EaycOe1 ycOycnyca ycaycOe1 ycaycn Memory Update ycayc = yceyc Oo ycaycOe1 ycnyc Oo iA.
cOycaycu ycuyc ycOycaEa EaycOe1 ycayca Output Gate ycuyc = yua.
cOycuycu ycuyc ycOycuEa EaycOe1 ycOycuyca ycayc ycaycu ) Eayc = ycuyc Oo i.
cayc ) BRI Mobile Dalam rangka memperbaiki kualitas layanan kepada para pelanggan.
Bank BRI meluncurkan sebuah aplikasi berbasis ponsel yang dinamakan BRI Mobile.
Platform ini menawarkan beragam fungsi praktis bagi nasabah, seperti pengecekan saldo serta pengiriman dana antar rekening bank.
Meskipun demikian, sejumlah pengguna yang sudah memakai aplikasi ini masih menyampaikan beberapa keluhan.
Confusion Matrix Confusion matrix Merupakan sebuah matriks yang memperlihatkan kuantitas data uji yang berhasil diprediksi dengan benar beserta data yang salah dikategorikan.
Di bawah ini adalah ilustrasi confusion matrix yang menggambarkan klasifikasi sebagaimana tercantum pada Tabel 1.
TABEL 1.
Confusion Matrix Kelas Prediksi Kelas sebenarnya Keterangan:
TP (True Positiv.
= banyaknya data dari kelas 1 yang berhasil tepat diidentifikasi sebagai kelas 1.
TN (True Negativ.
= jumlah data dari kelas 0 yang secara akurat dikategorikan sebagai kelas 0.
FP (False Positiv.
= kuantitas data kelas 0 yang keliru diberi label sebagai kelas 1.
FN (False Negativ.
= banyak data kelas 1 yang salah diklasifikasikan menjadi kelas 0.
Rumus accuracy, precision, dan recall pada confusion matrix seperti berikut.
Accuracy TP TN ycaycaycaycycycaycayc = Total Precision ycEycyceycaycnycycnycuycu = TP FP Recall ycIyceycaycaycoyco = TP FN IJCSR: The Indonesian Journal of Computer Science Research E-ISSN 2963-9174 DOI prefix 10.
Volume 4.
No.
2 Juli 2025 https://subset.
id/index.
php/IJCSR METODE PENELITIAN Dalam penelitian ini, proses dilakukan dengan memanfaatkan pustaka .
yang tersedia di Google Colaboratory.
Terdapat lima tahapan utama dalam penelitian ini, yaitu: .
Persiapan Data yang meliputi pengumpulan data secara otomatis .
, .
Tahap pra-pemrosesan data, .
Pemberian label .
, .
Pembuatan model .
, dan .
Pengujian atau evaluasi.
Metodologi yang diaplikasikan dapat dilihat secara visual pada Gambar GAMBAR 1.
Metode Penelitian Data Preparation Dalam studi ini, pengumpulan data dilakukan dengan teknik scraping dari ulasan pengguna aplikasi BRImo yang tersedia di platform Google Play Store.
Proses pengambilan data menggunakan pustaka Python seperti Google-PlayScraper, dengan data yang bersifat publik dan layak digunakan untuk tujuan penelitian.
Sumber data berasal dari Google Play Store pada alamat https://play.
com/store/search?q=brimo&c=apps.
Scraping merupakan metode untuk mengekstraksi data atau informasi dari situs web tertentu.
Data yang diperoleh bisa berupa teks, link, video, audio, atau dokumen.
Parameter id.
brimo adalah nama paket aplikasi BRImo.
Total data yang diambil 000 ulasan dari keseluruhan sekitar 1 juta ulasan.
Setelah ulasan berhasil dikumpulkan dan disimpan dalam variabel result, tahap berikutnya adalah menampilkan data mentah hasil scraping guna melihat contoh isi dari data ulasan yang telah dikumpulkan.
Pre-processing Pre-processing Merupakan langkah permulaan dalam proses analisis sentimen yang fokus pada penyaringan data, agar informasi yang dipakai terhindar dari komponen-komponen yang tidak berkaitan atau yang bisa menurunkan ketepatan hasil pemodelan.
Pembersihan data adalah tahapan dalam menilai mutu data melalui penyesuaian, perubahan, atau penghilangan elemen data yang dianggap kurang relevan atau memiliki bentuk yang tidak sesuai standar.
Setelah proses ini, dilakukan tahap penghapusan stopword, yaitu kata-kata umum seperti "dan", "atau", atau "di" yang tidak memberikan kontribusi makna signifikan dalam analisis teks.
Stop words merupakan istilah umum seperti 'dan', 'atau', 'di', yang biasanya tidak menyumbang makna signifikan dalam analisis teks.
Selanjutnya, teks diproses melalui tahap tokenizing, yaitu pemecahan kalimat menjadi bagian-bagian kecil yang disebut token, biasanya berupa kata, untuk pemecahan sebuah teks menjadi segmen-segmen mini, lazimnya berupa kata-kata, yang dinamakan Langkah ini bertujuan untuk mengidentifikasi setiap elemen kata penyusun dalam teks tersebut.
Labeling Informasi yang terkumpul sudah mencakup skor atau nilai rating, yang kemudian menjadi landasan dalam proses pemberian label untuk mengkategorikan ulasan ke dalam tiga kelas sentimen, yakni negatif, netral, dan positif.
Pemberian label ini dilakukan secara manual berdasarkan jumlah bintang yang diberikan oleh pengguna, dengan aturan bahwa rating 1 sampai 2 tergolong sentimen negatif, rating 3 dianggap netral, dan rating 4 sampai 5 masuk dalam sentimen positif.
Tahapan ini dijalankan menggunakan mekanisme pengulangan, dan demi memudahkan IJCSR: The Indonesian Journal of Computer Science Research E-ISSN 2963-9174 DOI prefix 10.
Volume 4.
No.
2 Juli 2025 https://subset.
id/index.
php/IJCSR analisis, setiap label diubah menjadi kode numerik: negatif = 2, netral = 1, dan positif = 0.
Penentuan label tersebut kemudian direview kembali untuk memastikan keakuratan klasifikasi sekaligus meningkatkan mutu data yang akan Modelling Di fase ini, proses pemodelan serta pengelompokan sentimen dijalankan menggunakan dua pendekatan deep learning, yakni Bidirectional Encoder Representations from Transformers (BERT) dan Recurrent Neural Network Long Short-Term Memory (RNN-LSTM).
Kedua teknik tersebut dipilih karena keunggulannya dalam menangkap konteks serta pola bahasa alami, khususnya pada teks berbahasa Indonesia.
BERT adalah sebuah model berbasis transformer yang dipelajari secara dua arah .
, sehingga mampu menangkap hubungan antar kata dari kedua sisi kalimat secara bersamaan.
Pada studi ini, digunakan versi pre-trained BERT Multilingual yang sudah dilatih pada berbagai bahasa, termasuk Bahasa Indonesia.
Selanjutnya, model ini diadaptasi .
ine-tune.
dengan dataset ulasan aplikasi BRImo untuk mengklasifikasikan sentimen ke dalam tiga kategori: positif, negatif, dan netral.
Proses fine-tuning meliputi tahap tokenisasi memakai tokenizer BERT, pengkodean teks, serta pelatihan model dengan pengaturan parameter yang telah dioptimasi.
Di sisi lain.
RNN-LSTM adalah sebuah lapisan dalam jaringan saraf berulang (RNN) yang dirancang khusus untuk mengatasi tantangan vanishing gradient saat memproses data berurutan.
LSTM mengandung struktur memori internal yang memungkinkan model menyimpan informasi krusial dari rangkaian kata dalam sebuah kalimat.
Dalam penelitian ini, model RNN-LSTM digunakan sebagai pembanding model BERT dalam mengklasifikasikan sentimen.
Arsitektur RNN-LSTM terdiri dari beberapa bagian utama.
Pertama, teks yang sudah dibersihkan dan ditokenisasi dimasukkan ke dalam Embedding Layer untuk mengubah setiap kata menjadi vektor angka.
Kemudian, vektor tersebut diproses oleh satu LSTM Layer yang berfungsi untuk memahami hubungan antar kata dalam kalimat.
Untuk mencegah overfitting, digunakan Dropout Layer, lalu dilanjutkan ke Dense Layer dengan fungsi untuk menghasilkan klasifikasi sentimen ke dalam tiga kategori: positif, netral, dan negatif.
Pelatihan model dilakukan selama 10 epoch menggunakan loss function categorical cross-entropy dan algoritma optimisasi Adam.
Selanjutnya, model dilatih untuk mengidentifikasi pola sentimen yang terkandung dalam ulasan pengguna.
Kedua model kemudian diuji dan dibandingkan performanya dalam klasifikasi menggunakan dataset yang sama, dengan atau tanpa tambahan prapemrosesan .
engandalkan tokenisasi bawaan mode.
Evaluation Tahapan penilaian ini dirancang untuk mengukur kinerja model klasifikasi sentimen yang telah dibangun memakai BERT dan RNN-LSTM.
Proses pengujian dilakukan dengan membandingkan prediksi model terhadap label asli pada dataset pengujian.
Metode evaluasi yang dipakai meliputi confusion matrix dan F1-Score, yang umum digunakan untuk tugas klasifikasi dengan banyak kelas .
ulti-class classificatio.
Matriks kebingungan berfungsi untuk menampilkan kuantitas prediksi yang tepat serta keliru pada tiap kategori .
ositif, negatif, dan netra.
Tabel ini membantu mempermudah evaluasi pola kesalahan model saat mengelompokkan Melalui matriks kebingungan, bisa dihitung metrik seperti presisi, sensitivitas .
, dan skor F1 untuk setiap kategori secara terpisah.
Matriks kebingungan digunakan untuk memperlihatkan jumlah prediksi yang benar dan salah pada masing-masing kelas .
ositif, negatif, dan netra.
Tabel ini memudahkan proses analisis kesalahan model dalam mengklasifikasikan Dengan memanfaatkan matriks kebingungan, dapat dihitung metrik-metrik seperti presisi, sensitivitas .
, dan skor F1 untuk setiap kelas secara individual.
Penilaian dilakukan pada dua skenario berbeda: satu menggunakan model dengan langkah preprocessing tambahan, dan satu lagi menggunakan model tanpa preprocessing, hanya mengandalkan tokenisasi standar.
Perbandingan hasil dari kedua metode ini digunakan untuk mengukur seberapa besar pengaruh preprocessing terhadap akurasi klasifikasi sentimen yang dijalankan oleh masing-masing model.
Confusion matrix disajikan dalam tabel 2.
Kelas sebenarnya TABEL 2.
Confusion matrix Kelas Prediksi IJCSR: The Indonesian Journal of Computer Science Research E-ISSN 2963-9174 DOI prefix 10.
Volume 4.
No.
2 Juli 2025 https://subset.
id/index.
php/IJCSR HASIL DAN PEMBAHASAN Melalui metode pengumpulan data menggunakan random sampling, sebanyak 10.
000 ulasan berhasil dikumpulkan dari total sekitar satu juta ulasan yang tersedia.
Setelah proses pengambilan data selesai dan disimpan dalam variabel result, langkah berikutnya adalah menampilkan data mentah untuk mengamati contoh isi ulasan yang diperoleh.
Visualisasi data tersebut disajikan dalam bentuk gambar guna memberikan gambaran awal mengenai struktur dan isi ulasan hasil pengumpulan data.
Gambar 2 adalah data hasil scraping yang ditampilkan.
GAMBAR 2.
Data hasil scraping Gambar 2 menunjukkan dataset ulasan pengguna aplikasi BRImo yang diambil melalui Google Play Store menggunakan teknik web scraping.
Setiap baris mewakili satu ulasan, berisi informasi seperti ID ulasan .
, nama pengguna, isi ulasan .
, skor rating .
, jumlah likes .
humbsUpCoun.
, versi aplikasi saat ulasan dibuat, serta tanggapan dari pihak BRI .
eplyConten.
beserta waktu balasannya.
Data ini menjadi dasar dalam analisis sentimen yang dilakukan pada penelitian.
Dalam proses pra-pemrosesan teks, yang mencakup pembersihan data, penghilangan kata-kata umum .
, serta tokenisasi, dengan hasil yang tersaji pada tabel 3.
TABEL 3.
Pre-processing Pre-Processing Data asli Contoh data Data cleaning https://play-lh.
com/EGemoI2N.
Hasil Update hanya mengutamakan tampilan saja .
hasil update hanya mengutamakan tampilan saja .
Stopword hasil update mengutamakan tampilan .
Tokenize [AohasilAo.
AoupdateAo.
AomengutamakanAo.
AotampilanAo .
Setelah tahap pengumpulan data melalui teknik scraping selesai, langkah berikutnya adalah pemberian label, yakni proses mengidentifikasi sentimen pada setiap ulasan.
Dalam penelitian ini, ulasan-ulasan tersebut dikelompokkan ke dalam tiga jenis sentimen, yaitu positif, negatif, dan netral.
Gambar 3 memperlihatkan hasil dari proses pelabelan Gambar 3 menunjukkan bagian dari dataset yang telah melalui tahap pelabelan sentimen.
Memuat isi ulasan pengguna aplikasi BRImo beserta label sentimen yang sudah dikategorikan ke dalam tiga kelas, yaitu positif, negatif, dan netral.
Label ini diberikan berdasarkan konteks dari isi ulasan, yang ditunjukkan oleh angka skor .
untuk positif, 0 untuk netral, dan -1 untuk negati.
serta label teks yang sesuai.
Data berlabel ini digunakan sebagai input utama dalam proses pelatihan model BERT dan RNN-LSTM untuk melakukan klasifikasi sentimen secara otomatis.
IJCSR: The Indonesian Journal of Computer Science Research E-ISSN 2963-9174 DOI prefix 10.
Volume 4.
No.
2 Juli 2025 https://subset.
id/index.
php/IJCSR GAMBAR 3.
Labeling Sedangkan pada gambar 4 menampilkan diagram batang yang menunjukkan distribusi jumlah ulasan pengguna aplikasi BRImo berdasarkan sentimen.
Terdapat tiga kategori sentimen yang ditampilkan: negatif (-.
ditandai dengan warna hijau, positif .
dengan warna abu-abu, dan netral .
dengan warna merah.
Dari grafik terlihat bahwa jumlah ulasan dengan sentimen negatif merupakan yang terbanyak, disusul oleh sentimen positif, sementara sentimen netral jumlahnya paling sedikit.
Distribusi yang tidak seimbang ini penting untuk diperhatikan karena dapat memengaruhi performa model klasifikasi, terutama dalam mendeteksi sentimen dengan jumlah data yang lebih sedikit seperti netral.
GAMBAR 4.
Hasil labeling Setelah seluruh proses pra-pemrosesan rampung, tahap berikutnya adalah penerapan model BERT (Bidirectional Encoder Representations from Transformer.
Awalnya, data dibagi menjadi dua bagian, yakni 80% untuk pelatihan dan 20% untuk pengujian.
Format input untuk model BERT disiapkan dengan memanfaatkan fungsi encode_plus dari tokenizer BERT, yang berfungsi mengolah teks sebelum masuk ke dalam model.
Tokenisasi memakai tokenizer dari model pra-latih IndoBERT-base-p2.
Pada fase ini, setiap kalimat diberi token khusus, yakni [CLS] di awal dan [SEP] di akhir, sebagai penanda struktur input.
Jika kalimat melebihi panjang maksimal .
ax_lengt.
, maka akan dipangkas, sedangkan kalimat yang lebih pendek akan diisi padding menggunakan token [PAD] agar panjang input seragam.
IJCSR: The Indonesian Journal of Computer Science Research E-ISSN 2963-9174 DOI prefix 10.
Volume 4.
No.
2 Juli 2025 https://subset.
id/index.
php/IJCSR Arsitektur RNN-LSTM dibangun dengan metode berurutan yang terdiri dari beberapa lapisan utama.
Proses dimulai pada lapisan Embedding yang berfungsi mengonversi setiap token kata menjadi representasi vektor berdimensi 128, dengan cakupan kosakata terbatas pada 10.
000 kata dan panjang input maksimal 100 token.
Selanjutnya, model ini mengintegrasikan dua lapisan LSTM bertingkat, masing-masing berisi 128 dan 64 unit, guna menangkap pola ketergantungan dalam data berurutan.
Untuk mengurangi risiko overfitting, diterapkan lapisan Dropout dengan tingkat 0,5 setelah setiap lapisan LSTM.
Pada fase akhir, dipakai lapisan Dense yang memiliki tiga unit dengan fungsi aktivasi softmax untuk memproduksi prediksi klasifikasi sentimen dalam tiga kategori: positif, negatif, dan netral.
Model ini disusun menggunakan fungsi loss categorical crossentropy, dioptimalkan dengan algoritma Adam, serta dievaluasi menggunakan metrik akurasi.
Perbandingan hasil akurasi dari kedua model dapat dilihat pada tabel 4 TABEL 4.
Perbandingan akurasi
Akurasi
Bert
RNN-LSTM
Setelah mendapatkan tingkat akurasi awal sebesar 54% untuk BERT dan 53% untuk RNN-LSTM, dilakukan eksperimen lanjutan dengan menghilangkan tahap tokenisasi dalam proses pra-pemrosesan.
Keputusan ini diambil karena kedua model.
BERT dan RNN-LSTM, sudah memiliki sistem tokenisasi bawaan yang secara otomatis mengelola input teks.
Dengan menghindari proses tokenisasi berulang, diharapkan data masukan ke dalam model menjadi lebih efisien dan sesuai dengan format yang dibutuhkan oleh masing-masing arsitektur.
Hal ini bertujuan untuk mengurangi risiko degradasi kualitas input akibat pemrosesan yang tumpang tindih.
Tabel 5 adalah perbandingan akurasi yang dirangkum.
TABEL 5.
Perbandingan akurasi dengan tambahan tokenisasi dan tidak menggunakan FL-score
BERT
RNN-LSTM
AKURASI sebelum AKURASI sesudah Hasil pengujian model RNN-LSTM menunjukkan bahwa model ini mampu mengklasifikasikan sentimen dengan akurasi sebesar 69%.
Performa terbaik dicapai pada kelas negatif dan positif, namun model kesulitan dalam mengenali sentimen netral dengan baik.
Jika dibandingkan dengan model BERT yang mencapai akurasi 73%.
RNNLSTM menunjukkan performa yang lebih rendah.
KESIMPULAN
Dari hasil penelitian yang dilakukan, dapat disarikan bahwa proses pengumpulan data berhasil mengakumulasi 000 ulasan aplikasi BRImo melalui metode random sampling dari total sekitar satu juta ulasan yang tersedia di Google Play.
Data tersebut kemudian dianalisis secara visual guna memberikan gambaran awal mengenai struktur teks ulasan.
Pada tahap awal, dilakukan preprocessing dengan membersihkan teks dan menerapkan tokenisasi Hasil akurasi awal memperlihatkan model BERT mencapai 54%, sementara RNN-LSTM memperoleh 53%.
Namun, setelah percobaan lanjutan tanpa proses tokenisasi ganda dalam preprocessing, akurasi meningkat secara Model BERT mencatatkan akurasi hingga 73%, sedangkan RNN-LSTM naik menjadi 69%.
Hal ini mengindikasikan bahwa penerapan tokenisasi berlapis justru dapat menurunkan kualitas input dan berdampak negatif pada performa model secara keseluruhan.
Berdasarkan perbandingan tersebut, dapat ditarik kesimpulan bahwa model BERT memiliki keunggulan dalam menangkap konteks bahasa Indonesia, terutama setelah dilakukan penyesuaian.
Penelitian lanjutan dianjurkan untuk mengupayakan penyetelan hiperparameter secara lebih rinci, mencakup penyesuaian learning rate, ukuran batch, jumlah epoch, serta penerapan strategi warm-up guna meningkatkan efisiensi Selain itu, evaluasi dengan metrik tambahan seperti AUC dan Macro-F1 Score sangat direkomendasikan agar kinerja model terhadap data yang tidak seimbang dapat terukur dengan lebih akurat.
IJCSR: The Indonesian Journal of Computer Science Research E-ISSN 2963-9174 DOI prefix 10.
Volume 4.
No.
2 Juli 2025 https://subset.
id/index.
php/IJCSR DAFTAR PUSTAKA