IJCSR: The Indonesian Journal of Computer Science Research E-ISSN 2963-9174 DOI prefix 10.
Volume 4.
No.
2 Juli 2025 https://subset.
id/index.
php/IJCSR Pendekatan BERT Dalam Analisis Sentimen Terhadap Kominfo Di Media Sosial X Muhammad Faruqziddan 1,.
Erna Daniati* 2,.
Muhammad Najibulloh Muzaki 3,.
Sistem Informasi Fakultas Teknik dan Ilmu Komputer Universitas Nusantara PGRI Kediri Corresponding author: .
ernadaniati@unpkediri.
faruqziddan@gmail.
muzaki@gmail.
Abstract.
The development of social media has changed people's communication patterns, including expressing opinions on public issues.
One issue that is often discussed is the Ministry of Communication and Information (Kominf.
X's social media is one of the main platforms used by people to openly voice their opinions.
Therefore, analytical methods are needed that are able to capture and understand public sentiment.
This research aims to analyze public sentiment towards Kominfo using the Bidirectional Encoder Representations from Transformers (BERT) algorithm, which is known to have superior abilities in understanding text.
Data was collected through scraping techniques with the keyword "kominfo", then preprocessing stages were carried out such as cleaning, case folding, translation, tokenization, stopwords removal, and The cleaned data was then labeled with sentiment using the VADER lexicon method and classified into three categories, positive, neutral and negative.
The BERT model is trained using data that has been processed with a division of 80% for training, 10% validation, and 10% testing.
The hyperparameters used include 10 epochs, batch size 16, max length 100, learning rate 2e-5, and dropout 0.
The evaluation results show that the BERT model is able to classify sentiment with an accuracy of 84%, as well as balanced precision, recall and F1-score values across all classes.
The conclusion of this research is that BERT is effective in analyzing public opinion towards government agencies via social Keywords :
Sentiment analysis.
BERT.
Classification.
Kominfo.
Social Media X Abstraksi.
Perkembangan media sosial telah mengubah pola komunikasi masyarakat, termasuk dalam menyampaikan opini terhadap isu-isu publik.
Salah satu isu yang sering dibahas adalah Kementerian Komunikasi dan Informatika (Kominf.
Media sosial X menjadi salah satu platform utama yang digunakan masyarakat untuk menyuarakan pendapat secara terbuka.
Oleh karena itu dibutuhkan metode analisis yang mampu menangkap dan memahami sentimen publik.
Penelitian ini bertujuan untuk menganalisis sentimen masyarakat terhadap Kominfo menggunakan algoritma Bidirectional Encoder Representations from Transformers (BERT), yang dikenal memiliki kemampuan unggul dalam memahami text.
Data dikumpulkan melalui teknik scraping dengan kata kunci "kominfo", kemudian dilakukan tahapan pre-processing seperti cleaning, case folding, translation, tokenization, stopwords removal, dan stemming.
Data yang telah dibersihkan kemudian diberi label sentimen menggunakan metode leksikon VADER dan diklasifikasikan ke dalam tiga kategori, positif, netral, dan negatif.
Model BERT dilatih menggunakan data yang telah diproses dengan pembagian 80% untuk training, 10% validation, dan 10% testing.
Hyperparameter yang digunakan meliputi epoch sebanyak 10, batch size 16, max length 100, learning rate 2e-5, dan dropout 0.
Hasil evaluation menunjukkan bahwa model BERT mampu mengklasifikasikan sentimen dengan accuracy sebesar 84%, serta nilai precision, recall, dan F1-score yang seimbang di seluruh kelas.
Kesimpulan dari penelitian ini adalah bahwa BERT efektif dalam menganalisis opini publik terhadap instansi pemerintah melalui media sosial X.
Kata Kunci : Analisis Sentimen.
BERT.
Classification.
Kominfo.
Media Sosial X IJCSR: The Indonesian Journal of Computer Science Research E-ISSN 2963-9174 DOI prefix 10.
Volume 4.
No.
2 Juli 2025 https://subset.
id/index.
php/IJCSR PENDAHULUAN Internet telah mempengaruhi berbagai aspek kehidupan manusia, memberikan perubahan signifikan .
, termasuk dengan munculnya platform media sosial.
Media sosial merupakan sarana utama bagi masyarakat dalam menyuarakan opini dan pendapat mereka saat ini.
Platform yang popular digunakan saat ini adalah media sosial X .
ebelumnya Twitte.
, yang memiliki sekitar 284 juta pengguna aktif dengan lebih dari 500 juta tweet per hari .
Menjadikan media sosial X menjadi platform kelima yang paling banyak digunakan .
Melalui platform ini, isu-isu publik dapat tersebar luas dan memicu diskusi antar warganet.
Kementerian Komunikasi dan Informatika (Kominf.
sebagai lembaga pemerintah yang menangani urusan komunikasi dan informasi juga sering kali menjadi bahan pembicaraan serta diskusi, terutama ketika terjadi peristiwa seperti kebocoran data BPJS pada 2021, kasus peretasan oleh Bjorka pada 2022, serta serangan ransomware yang melumpuhkan Pusat Data Nasional Sementara (PDNS) 2 di Surabaya pada 2024 .
Menganalisis opini masyarakat melalui media sosial menjadi tantangan tersendiri karena data yang dihasilkan sangat besar, tidak terstruktur, dan mengandung nuansa bahasa sehari-hari yang kompleks .
Untuk mengklasifikasikan sebuah opini dalam teks diperlukan analisis mendalam yang biasa disebut analisis sentimen.
Analisis sentimen sendiri merupakan metode untuk mengevaluasi perspektif dari ulasan, komentar, atau tanggapan terhadap sebuah pertanyaan dalam bentuk teks .
Hasil dari analisis ini berupa label positif, negatif, atau netral .
Metode yang terbukti efektif untuk analisis sentimen adalah Bidirectional Encoder Representations from Transformers (BERT).
BERT sebagai salah satu model deep learning berbasis transformer, telah menunjukkan performa unggul dalam memahami konteks bahasa, termasuk dalam tugas klasifikasi sentimen .
Sebagai model bahasa mutakhir.
BERT terbukti efektif dalam memahami konteks dan makna teks, sehingga sangat cocok digunakan untuk analisis teks .
Penelitian ini bertujuan untuk menganalisis sentimen masyarakat terhadap Kominfo melalui tweet berbahasa Indonesia yang menyebutkan AuKominfoAy.
Dengan memanfaatkan Valence Aware Dictionary and sEntiment Reasoner (VADER) sebagai metode labelling data dan algoritma BERT dalam mengklasifikasikan sentimen.
Sejauh ini belum ditemukan penelitian yang secara spesifik menggunakan BERT untuk analisis sentimen publik terhadap Kominfo, sehingga studi ini diharapkan dapat memberikan wawasan baru mengenai persepsi publik serta menunjukkan efektivitas BERT dalam analisis sentimen media sosial berbahasa Indonesia.
TINJAUAN PUSTAKA
Kajian Literatur Pada literatur 1 .
Bayu Kurniawan.
Ahmad Ari Aldino, dan Auliya Rahman Isnain pada tahun 2022 melakukan penelitian terhadap opini masyarakat Indonesia mengenai kebijakan PSE dengan menggunakan data yang diambil dari Twitter.
Hasil implementasi algoritma BERT menunjukkan tingkat akurasi sebesar 69%, 55%, dan 55% pada percobaan yang berbeda, dengan menggunakan hyperparameter berupa batch size 16 dan epoch sebanyak 5.
Pada literatur 2 .
Muh Ichlasul Amal.
Elsa Syafira Rahmasita.
Edward Suryaputra, dan Nur Aini pada tahun 2022 melakukan penelitian untuk memahami opini masyarakat Indonesia terkait isu kebocoran 1,3 miliar data kartu Surat Izin Mengemudi (SIM) yang tersebar di situs gelap.
Hasil menunjukkan bahwa Support-Vector Machine (SVM) memiliki performa terbaik dengan nilai F1-score sebesar 81%, disusul oleh Random Forest 78%.
IndoBERT 76%, dan Logistic Regression 74%.
Pada literatur 3 .
Arya Akbar Rivaldi.
Bayu Azra.
Yudhantorro Ibadurrahman Ziaulhaq, dan Nur Aini Rakhmawati pada tahun 2022 melakukan penelitian untuk mengidentifikasi karakteristik akun pengguna Twitter berdasarkan sentimen yang terhadap PSE.
Hasil menunjukan accuracy sebesar 71%, dengan performa terbaik dalam mengklasifikasikan sentimen negatif.
Hasil analisis menunjukan bahwa akun dengan sentimen positif cenderung lebih muda secara usia tetapi lebih aktif dalam berkomentar dibandingkan dengan akun bersentimen negatif.
Pada literatur 4 .
Muhammad Adrinta Abdurrazzaq dan Edwin Lesmana Tjiong pada tahun 2022, melakukan kajian terhadap respons masyarakat terhadap pengesahan Kitab Undang-Undang Hukum Pidana (KUHP) baru melalui analisis sentimen pada data Twitter.
Hasil penelitian menunjukkan bahwa model BERT mencapai accuracy tertinggi sebesar 81% pada data testing, mengungguli model SVM yang hanya mencapai accuracy 75%.
Meskipun BERT memiliki waktu pelatihan dan pengujian yang lebih lama, model ini terbukti lebih akurat dalam melakukan klasifikasi sentimen IJCSR: The Indonesian Journal of Computer Science Research E-ISSN 2963-9174 DOI prefix 10.
Volume 4.
No.
2 Juli 2025 https://subset.
id/index.
php/IJCSR pada isu KUHP baru.
Pada literatur 5 .
Muhammad Nur Hidayat dan Rully Pramudita pada tahun 2023, melakukan studi untuk mengetahui opini mahasiswa terhadap sistem pembelajaran daring yang diterapkan di Universitas Bina Insani setelah pandemi Covid-19 dengan pengambilan data melalui kuisioner.
Hasil menunjukkan bahwa model IndoBERT memiliki tingkat accuracy yang cukup tinggi, dengan menerapkan beberapa kombinasi hyperparameter menunjukan hasil accuracy diatas 80%.
Kajian Teori Natural Language Processing (NLP) NLP adalah bagian ilmu dari kecerdasan buatan yang memungkinkan komputer memahami bahasa manusia .
NLP memungkinkan machine learning untuk membaca, memahami, dan merespons teks atau ucapan dalam bahasa alami secara otomatis.
Teknologi ini digunakan dalam berbagai aplikasi, seperti penerjemah otomatis, chatbot, pencarian informasi, dan sistem analisis bahasa.
Dalam konteks analisis sentiment diperlukan tahapan analisis meliputi pengumpulan data, pre-processing, labelling data, pembuatan model, dan evaluation.
Kominfo Kominfo adalah lembaga pemerintahan yang bertanggung jawab atas komunikasi dan informasi.
Dalam empat tahun terakhir, berbagai isu yang terkait dengan Kominfo telah menjadi sorotan.
Beberapa di antaranya termasuk kebocoran data BPJS Kesehatan pada tahun 2021, kasus penjualan data pribadi oleh peretas Bjorka pada tahun 2022, lebih dari 200 dugaan insiden kebocoran data sepanjang tahun 2023, serta kebocoran data PDNS 2 di Surabaya pada Valence Aware Dictionary and sEntiment Reasoner (VADER) Dalam labelling data sentimen pada sebuah dataset, salah satu metode yang populer adalah VADER.
VADER
merupakan metode berbasis lekxicon yang menggunakan kamus berisi kata-kata beserta skor sentimennya yang telah ditentukan sebelumnya .
Setiap kata dalam kamus VADER memiliki skor antara -1 hingga 1 yang menunjukkan polaritas sentimen negatif hingga positif, dan nilai sentimen suatu kalimat dihitung berdasarkan akumulasi skor katakata di dalamnya.
BERT
BERT telah menjadi model representasi yang sangat populer dan efektif, mencapai performa unggul pada berbagai tugas tingkat kalimat dan token.
Model yang berbasis fine-tuning ini menjadi yang pertama berhasil mencapai hasil state-of-the-art .
aling maju atau terkini dalam bidan.
dalam NLP .
BERT memanfaatkan encoder dalam transformer sebagai komponen utama untuk model pre-training yang diterapkan pada berbagai tugas NLP seperti sentiment analysis, text summarization dan question answering .
METODE PENELITIAN
Metode penelitian yang digunakan ditunjukan pada gambar 1 berikut :
GAMBAR 1.
Metode penelitian IJCSR: The Indonesian Journal of Computer Science Research E-ISSN 2963-9174 DOI prefix 10.
Volume 4.
No.
2 Juli 2025 https://subset.
id/index.
php/IJCSR Data Collection Pada tahap data collection teknik yang digunakan adalah scraping, yaitu proses pengambilan informasi dari internet secara otomatis berdasarkan kata kunci tertentu.
Teknik ini digunakan untuk mengumpulkan tweet dari media sosial X.
Parameter yang digunakan dalam proses scraping ini adalah kata kunci AukominfoAy, bahasa AuIndonesiaAy, serta jenis tweet terbaru atau latest tweets.
Pre-processing Pre-processing adalah tahap penting dari proses data mining (Nugroho & Husin, 2.
Pre-processing merupakan proses pembersihan dataset dari berbagai elemen yang tidak diperlukan.
Tahap preprocessing yang akan dilakukan meliputi pre-processing dataset dan preprocessing data text.
Tahap pre-processing data text yang akan dilakukan adalah sebagai berikut :
Cleaning, proses menghapus elemen yang dianggap tidak penting seperti URL, username, mention, hashtag, tanda baca, angka, dan emoticon dari tweet .
Case folding, bertujuan untuk mengubah kalimat menjadi huruf kecil .
Translate, proses pengubahan jenis bahasa yang digunakan.
Tahap translate penting karena lexicon VADER untuk labelling dibuat dari korpus bahasa Inggris .
Tokenize, proses memecah teks menjadi bagian-bagian kata penyusunnya .
Stopwords removal, bertujuan untuk menghapus kata-kata yang tidak penting, seperti "has", "and", "he", "being", dan sebagainya .
Stemming, bertujuan untuk mengubah kata-kata menjadi bentuk dasar atau kata kerja infinitif .
Tahap pre-processing dataset yang dilakukan adalah sebagai berikut :
Penghapusan data duplikat proses menghapus entri yang sama di dalam dataset.
Tahap ini berfungsi untuk memastikan tidak ada duplikasi .
, terutama pada saat scraping dilakukan sebanyak 2 kali.
Penghapusan data kosong adalah proses menghapus baris atau entri pada dataset yang memiliki nilai kosong.
Langkah ini dilakukan untuk mengantisipasi risiko hilangnya data secara keseluruhan pada saat tahap preprocessing teks.
Labelling data Labelling data adalah proses pemberian label sentimen pada setiap record dataset yang ada .
Metode yang akan digunakan dalam proses ini adalah lexicon VADER.
Berdasarkan hasil analisis, setiap record dikategorikan ke dalam tiga kelas sentimen, yaitu negatif, netral, atau positif dengan menggunakan threshold tertentu untuk memastikan klasifikasi yang akurat.
Metode pelabelan otomatis telah banyak diterapkan dalam berbagai penelitian dan publikasi Pembuatan model BERT Pada tahap ini masuk ke tahap pemodelan, dimana data yang telah dipersiapkan, dibersihkan, dan diberi label akan dimasukkan ke dalam model BERT.
Tahap pertama yang dilakukan adalah set-up pre-trained BERT, pada tahap ini mencakup instalasi BERT pre-trained model sebelum dapat digunakan untuk keperluan sentimen analisis.
Model yang digunakan adalah Aubert-base-uncaseAy.
Tahap kedua adalah Tokenize and token embedding with BERT (Pre-trained BERT), pada tahap ini, teks input akan diproses menggunakan tokenizer BERT, yang berfungsi untuk memecah kalimat atau teks menjadi potongan kecil yang disebut tokens.
Token-token ini kemudian diubah menjadi representasi numerik melalui embedding yang sudah dipelajari di pre-trained model BERT.
Tahap ketiga merupakan pembuatan data loader, data loader berperan penting dalam mengatur aliran data ke dalam model BERT selama proses fine-tuning dan evaluation.
Dataset akan dibagi menjadi beberapa batch, yang berperan penting dalam meningkatkan efisiensi memori dan mempercepat proses training model .
Tahap terakhir adalah Fine-tuning yang merupakan proses memanfaatkan model yang sudah melalui fase training sebelumnya untuk IJCSR: The Indonesian Journal of Computer Science Research E-ISSN 2963-9174 DOI prefix 10.
Volume 4.
No.
2 Juli 2025 https://subset.
id/index.
php/IJCSR kemudian dilatih kembali pada tugas yang sesuai, dengan tujuan meningkatkan kinerjanya agar lebih optimal dalam konteks atau permasalahan yang lebih spesifik.
Evaluation Confusion matrix digunakan untuk menilai performa model yang telah dikembangkan.
Confusion matrix dapat kita gunakan untuk menghasilkan classification report seperti accuracy, recall, precision dan f1-score.
Gambar confusion matrix sendiri dapat dilihat pada table 1 dan classification report pada tabel 2.
TABEL 1.
Gambaran confusion matrix Class Positive Negative Classified as Positive True Positive (TP) False Positive (FP) Classified as Negatif False Negative (FN) True Negative (TN) Tabel merupakan confusion matrix yang berfungsi untuk mengevaluasi kinerja model klasifikasi, khususnya dalam membedakan sentimen positif dan negatif.
Melalui empat komponen utama (TP.
FN.
FP, dan TN), tabel ini membantu menghitung matrix evaluation seperti accuracy, precision, dan recall, serta mengidentifikasi jenis kesalahan yang dilakukan model, sehingga berguna untuk analisis dan perbaikan lebih lanjut.
TABEL 2.
Classification Report Measurement Accuracy Precision Recall F1-Score Formula ycNycE ycNycA ya= ycu ycNycE ycE= ycNycE yaycE ycNycE ycI= ycNycE yaycA ycE yycI ya= 2 y ycE ycI Pada tabel 2 Accuracy menunjukkan keseluruhan prediksi yang benar.
Precision menilai ketepatan prediksi positif.
Recall mengukur kemampuan model mengenali data positif, dan f1-score adalah gabungan precision dan recall untuk hasil evaluasi yang seimbang.
HASIL DAN PEMBAHASAN
Data Collection Data dikumpulkan dengan teknik scraping yang mengandung kata kunci AukominfoAy yang dilakukan pada tanggal 12 Oktober 2024.
Teknik scraping dilakukan sebanyak dua kali untuk mengatasi batasan dalam pengambilan data melalui yang disediakan oleh media sosial X.
Dengan total data yang diperoleh adalah 2764.
Pre-processing Selanjutnya dilakukan tahapan pre-processing teks yang meliputi data cleaning, case folding, translate, tokenization, stopwords removal, dan stemming.
Selain itu dilakukan penghapusan data duplikat untuk mengantisipasi data duplikat yang disebabkan oleh scraping dan penghapusan data kosong yang membuat dataset menjadi 2153.
Dengan hasil dapat dilihat pada tabel 3 berikut:
IJCSR: The Indonesian Journal of Computer Science Research E-ISSN 2963-9174 DOI prefix 10.
Volume 4.
No.
2 Juli 2025 https://subset.
id/index.
php/IJCSR TABEL 3.
Contoh data setelah pre-processing Preprocessing Text Original Data Data Cleaning Case Folding Translate Tokenize Stopwords Removal Stemming Contoh Data setelah kemarin data kemenkumham bocor sekarang giliran data kominfo yang bocor.
berisi 1 3 milyar data sim card.
https://t.
co/k5xR6H1Xqw setelah kemarin data kemenkumham bocor sekarang giliran data kominfo yang bocor berisi milyar data sim card setelah kemarin data kemenkumham bocor sekarang giliran data kominfo yang bocor berisi milyar data sim card after yesterday the ministry of law and human rights data was leaked, now it is the turn of the ministry of communication and information data to be leaked containing billions of sim card data ['after', 'yesterday', 'the', 'ministry', 'of', 'law', 'and', 'human', 'rights', 'data', 'was', 'leaked', ',', 'now', 'it', 'is', 'the', 'turn', 'of', 'the', 'ministry', 'of', 'communication', 'and', 'information', 'data', 'to', 'be', 'leaked', 'containing', 'billions', 'of', 'sim', 'card', 'data'] yesterday ministry law human rights data leaked , turn ministry communication information data leaked containing billions sim card data yesterday ministry law human rights data leaked , turn ministry communication information data leaked containing billions sim card data Labelling data GAMBAR 2.
Visualisasi distribusi label sentimen Proses pelabelan data dilakukan secara otomatis menggunakan lexicon VADER yaitu metode berbasis kamus yang digunakan untuk mengukur polaritas sentimen dari teks.
Dari hasil pelabelan tersebut diperoleh distribusi sentimen dengan rincian 585 data negatif, 796 data positif, dan 772 data netral.
Hasil distribusi ini kemudian divisualisasikan dalam bentuk diagram batang yang ditampilkan pada Gambar 2.
Pembuatan model BERT Set-up pre-trained BERT Pada tahap ini digunakan model pre-trained bert-base-uncased, yaitu versi dasar BERT yang terdiri dari 12 lapisan .
dan memiliki sekitar 110 juta parameter.
Model ini telah dilatih sebelumnya menggunakan data teks umum seperti Wikipedia.
Selanjutnya model akan di Fine-Tuning menggunakan data training agar mampu melakukan klasifikasi sentimen secara lebih spesifik, akurat, dan kontekstual terhadap data yang digunakan.
IJCSR: The Indonesian Journal of Computer Science Research E-ISSN 2963-9174 DOI prefix 10.
Volume 4.
No.
2 Juli 2025 https://subset.
id/index.
php/IJCSR Tokenize and token embedding with BERT (Pre-trained BERT) Pada tahap pembuatan model BERT, dataset yang telah melalui proses preprocessing dan labelling terlebih dahulu diproses menggunakan tokenizer BERT.
Proses tokenize ini akan memecah teks menjadi potongan token yang kemudian dikonversi menjadi representasi numerik .
sesuai dengan format input yang dibutuhkan BERT.
GAMBAR 3.
Tokenize and token embedding with BERT Pada gambar 3 proses dimulai dengan memecah kalimat menjadi token-token dasar, dalam contoh ini AuministryAy.
AulawAy, dan AudataAy.
Selanjutnya, ditambahkan token khusus [CLS] di awal dan [SEP] di akhir sebagai penanda awal dan akhir kalimat.
Setelah itu, kalimat dipotong atau dipanjangkan agar sesuai dengan panjang maksimum yang ditentukan oleh model, dengan menambahkan token [PAD] jika jumlah token kurang dari panjang maksimum.
Terakhir, setiap token dikonversi ke dalam bentuk angka atau ID token yang sesuai berdasarkan tokenizer BERT, seperti [CLS] menjadi 101 dan [PAD] menjadi 0.
Proses ini penting untuk menyiapkan data teks agar dapat diproses oleh model BERT secara efektif.
Data loader Setelah proses tokenize and token embedding selesai, data dimasukkan ke dalam data loader, yaitu komponen penting yang mengatur aliran data ke dalam model selama proses pelatihan.
Dataset dibagi menjadi beberapa batch kecil agar proses training dan evaluasi berjalan lebih efisien dan terstruktur.
Selain itu data dibagi menjadi training .
%), validation .
%), dan testing .
%) menggunakan metode stratify untuk menjaga keseimbangan data.
Fine-Tuning Hyperparameter yang digunakan ditunjukan pada tabel 4:
TABEL 4.
Hyperparameter fine-tuning BERT Hyperparameter Nilai Epoch Batch size Max lenght Learning rate Dropout Pemilihan hyperparameter tidak hanya didasarkan pada besarnya nilai performa yang dihasilkan, tetapi juga mempertimbangkan efisiensi model, kemampuan dan performa perangkat yang digunakan, serta sejauh mana hyperparameter tersebut memberikan hasil yang sepadan dengan sumber daya yang dikeluarkan.
Jumlah epochs IJCSR: The Indonesian Journal of Computer Science Research E-ISSN 2963-9174 DOI prefix 10.
Volume 4.
No.
2 Juli 2025 https://subset.
id/index.
php/IJCSR ditetapkan 10 untuk mencegah overfitting, batch size 16 dipilih agar sesuai dengan kapasitas GPU, dan max len 100 cukup untuk teks pendek seperti tweet.
Learning rate 2e-5 digunakan karena aman untuk fine-tuning pre-trained BERT, sedangkan dropout 0,3 membantu mencegah overfitting.
Output logits dari model kemudian diproses dengan fungsi softmax agar menghasilkan probabilitas untuk klasifikasi sentimen.
GAMBAR 4.
Training history and validation loss Berdasarkan training history yang ditunjukkan pada gambar 4 dapat dilihat bahwa selama proses training model BERT, baik train accuracy maupun validation accuracy mengalami peningkatan dari epoch ke epoch, di mana train accuracy naik epoch pertama hingga epoch ke-9, sementara validation accuracy juga ikut meningkat.
Di sisi lain train loss mengalami penurunan tajam, sedangkan validation loss juga menurun meskipun terdapat sedikit fluktuasi.
Hasil ini menunjukkan bahwa model berhasil mengoptimalkan parameter-parameter pentingnya secara bertahap, dengan tren peningkatan kinerja yang stabil, sehingga mencapai performa yang baik dan dapat diandalkan untuk tugas klasifikasi yang diberikan.
TABEL 5.
Tabel confusion matrix Real class Negatif Netral Positif Prediction class Negatif Netral Positif Confusion matrix pada tabel 5 menunjukkan hasil klasifikasi sentimen model terhadap data testing dalam tiga kategori yaitu negatif, netral, dan positif.
Model berhasil mengklasifikasikan 46 data negatif, 71 netral, dan 65 positif dengan benar, meskipun masih terdapat beberapa kesalahan prediksi antar kategori.
Selanjutnya dilakukan perhitungan classification report untuk memperoleh accuracy, precision, recall, dan f1-score dengan hasil pada Evaluation GAMBAR 5.
Classification report IJCSR: The Indonesian Journal of Computer Science Research E-ISSN 2963-9174 DOI prefix 10.
Volume 4.
No.
2 Juli 2025 https://subset.
id/index.
php/IJCSR Berdasarkan classification report pada gambar 5 performa model sangat baik dengan tingkat accuracy 84,26%, yang berarti 182 dari 216 data testing berhasil diklasifikasikan dengan benar.
Dari sisi precision model mampu mengidentifikasi sentimen negatif dengan tingkat ketepatan 80,7%, sentimen netral 88,8%, dan sentimen positif 82,3%, menunjukkan accuracy prediksi yang tinggi untuk setiap kelas.
Sementara itu recall dengan 79,3% untuk sentimen negatif, 91% untuk sentimen netral, dan 81,2% untuk sentimen positif, dengan sentimen netral memiliki tingkat recall tertinggi.
F1-score juga menunjukkan hasil yang baik, dengan skor 80% untuk sentimen negatif, 89,9% untuk sentimen netral, dan 81,7% untuk sentimen positif.
KESIMPULAN
Penelitian ini membuktikan bahwa algoritma BERT dapat digunakan secara efektif untuk melakukan analisis sentimen terhadap opini publik terkait Kominfo di media sosial X.
Proses dimulai dari pengumpulan data melalui teknik scraping, dilanjutkan dengan tahap pre-processing yang komprehensif seperti cleaning, case folding, translate, tokenize, stopword removal, hingga stemming.
Label sentimen diperoleh dari menggunakan lexicon VADER dengan perolehan sentimen positif, negatif dan netral.
Pemodelan BERT dilakukan dengan membagi data ke dalam data training, validation, dan testing, yang kemudian melalui tokenize dan diproses dalam batch untuk efisiensi.
Hasil evaluation menunjukkan bahwa model BERT berhasil mencapai akurasi sebesar 84% dan performa yang stabil pada seluruh kelas sentimen.
Keberhasilan model tidak terlepas dari pemilihan hyperparameter yang tepat.
Jumlah epoch ditetapkan sebanyak 10 untuk menghindari overfitting, sementara batch size sebesar 16 dipilih agar sesuai dengan kapasitas GPU yang tersedia.
Max length sebesar 100 dinilai cukup untuk menangani teks pendek seperti tweet.
Learning rate yang digunakan adalah 2e-5, yang aman untuk proses fine-tuning pada pre-trained BERT, dan dropout rate sebesar 0.
3 ditambahkan untuk mengurangi risiko overfitting.
Kombinasi hyperparameter ini memungkinkan model untuk belajar secara optimal dari data tanpa mengorbankan stabilitas atau efisiensi proses training.
Hasil ini menunjukkan bahwa BERT merupakan model yang handal untuk klasifikasi sentimen berbasis teks dalam konteks isu publik kominfo di media sosial.
DAFTAR PUSTAKA