BULLETIN OF COMPUTER SCIENCE RESEARCH
ISSN 2774-3659 (Media Onlin.
Vol 6.
No 1.
December 2025 | Hal 63-74 https://hostjournals.
com/bulletincsr DOI: 10.
47065/bulletincsr.
Kinerja Metode Fine-Tuning IndoBERT untuk Klasifikasi Emosi Multi-Kelas pada Teks Informal Bahasa Indonesia Haikal Fawwaz Karim1,*.
Adityo Permana Wibowo2 1 Fakultas Sains dan Teknologi.
Program Studi Informatika.
Universitas Teknologi Yogyakarta.
Sleman.
Indonesia Fakultas Sains dan Teknologi.
Program Studi Sistem Informasi.
Universitas Teknologi Yogyakarta.
Sleman.
Indonesia Email: 1,*haikalfkarim@gmail.
com, 2adityopw@uty.
Email Penulis Korespondensi: haikalfkarim@gmail.
AbstrakOeAnalisis emosi otomatis pada teks informal berbahasa Indonesia merupakan tugas yang menantang karena tingginya variasi linguistik, penggunaan bahasa gaul, dan singkatan.
Penelitian ini berfokus pada pengembangan dan evaluasi model klasifikasi emosi yang akurat, yang dapat menjadi komponen dasar yang andal untuk berbagai aplikasi Natural Language Processing (NLP) yang Metode yang diusulkan adalah fine-tuning model bahasa pre-trained IndoBERT untuk mengklasifikasikan teks dari media sosial Twitter (X) ke dalam lima kelas emosi: AoangerAo .
AofearAo .
AohappyAo .
AoloveAo .
, dan AosadnessAo .
Sebuah dataset kustom yang terdiri dari 4.
940 cuitan Twitter dibangun melalui proses scraping bertarget dan pelabelan yang tervalidasi secara statistik untuk memastikan relevansi dan keseimbangan data.
Eksperimen menunjukkan bahwa setelah melalui tahapan prapemrosesan teks yang komprehensif, termasuk normalisasi menggunakan kamus singkatan kustom dan stemming, model yang di-finetuning mampu mencapai kinerja yang sangat tinggi.
Hasil evaluasi pada data uji menunjukkan model berhasil mencapai akurasi sebesar 94% dan F1-score rata-rata tertimbang 0.
Analisis kurva pembelajaran juga mengonfirmasi bahwa model tidak mengalami overfitting dan memiliki kemampuan generalisasi yang baik.
Hasil ini membuktikan bahwa pendekatan fine-tuning IndoBERT merupakan solusi yang sangat efektif dan andal untuk klasifikasi emosi pada domain teks informal bahasa Indonesia.
Kata Kunci: Klasifikasi Emosi.
IndoBERT.
Fine-Tuning.
Teks Informal.
Twitter AbstractOeAutomatic emotion analysis on informal Indonesian texts is a challenging task due to high linguistic variation, the use of slang, and abbreviations.
This research focuses on the development and evaluation of an accurate emotion classification model, which can serve as a core component various relevant Natural Language Processing (NLP) applications.
The proposed method is the finetuning of the pre-trained language model IndoBERT to classify texts from the social media platform Twitter (X) into five emotion classes: anger, fear, happy, love, and sadness.
A custom dataset consisting of 4,940 Twitter posts was built through a targeted scraping process and statistically validated labeling to ensure data relevance and balance.
Experiments show that after undergoing a comprehensive text preprocessing stage, including normalization using a custom abbreviation dictionary and stemming, the fine-tuned model achieved very high performance.
Evaluation results on the test data show the model successfully reached an accuracy of 94% and a weighted average F1-score of 0.
Learning curve analysis also confirms that the model did not suffer from overfitting and possesses good generalization capabilities.
These results demonstrate that the IndoBERT fine-tuning approach is a highly effective and reliable solution for emotion classification in the informal Indonesian text domain.
Keywords: Emotion Classification.
IndoBERT.
Fine-Tuning.
Informal Text.
Twitter
PENDAHULUAN
Era digital telah mentransformasi interaksi manusia, dengan media sosial seperti Twitter (X) menjadi ruang publik global tempat jutaan pengguna mencurahkan opini, berbagi pengalaman, dan mengungkapkan emosi.
Setiap hari, ratusan juta cuitan dihasilkan, menciptakan volume data tekstual tidak terstruktur yang sangat besar.
Data ini, yang dikenal sebagai User-Generated Content (UGC), merupakan sumber daya yang begitu berharga untuk mengekstraksi wawasan mendalam mengenai sentimen publik, tren sosial, dan kondisi psikologis masyarakat.
Namun, mengekstraksi makna dari data ini bukanlah tugas yang mudah.
Teks yang berasal dari media sosial memiliki karakteristik unik yang menjadi tantangan besar bagi pemrosesan bahasa alami/Natural Language Processing (NLP).
Teks tersebut sangat informal, penuh dengan bahasa slang, singkatan non-standar .
isalnya, "bgt", "yg", "gue"), kesalahan ketik, dan seringkali memiliki struktur kalimat yang tidak baku.
Secara historis, analisis teks otomatis sering berfokus pada analisis sentimen, yang mengklasifikasikan teks ke dalam polaritas sederhana seperti positif, negatif, atau netral.
Meskipun berguna, pendekatan ini seringkali tidak memadai untuk menangkap spektrum penuh dari perasaan manusia.
Sebagai contoh, emosi AoangerAo .
dan AofearAo .
keduanya memiliki polaritas negatif, tetapi memiliki implikasi yang benar-benar berbeda.
Untuk aplikasi yang lebih personal dan mendalam, seperti sistem rekomendasi yang adaptif, diperlukan pemahaman emosi yang lebih bernuansa.
Oleh karena itu, penelitian di bidang klasifikasi emosi multi-kelas .
isalnya, membedakan antara senang, sedih, marah, takut, dan cint.
menjadi semakin krusial.
Tantangan utamanya adalah bagaimana membangun sebuah model yang tidak hanya dapat memproses teks informal bahasa Indonesia, tetapi juga mampu memahami konteks kalimat secara menyeluruh untuk membedakan nuansa emosi yang perbedaannya acapkali tidak kentara.
Sebagai solusi atas tantangan pemahaman konteks, kemajuan dalam arsitektur deep learning, khususnya model Transformer seperti BERT (Bidirectional Encoder Representations from Transformer.
, telah menunjukkan kinerja yang luar biasa .
Berbeda dengan model sekuensial terdahulu .
eperti RNN/Recurrent Neural Network atau LSTM/LongShort Term Memor.
Transformer mampu membaca seluruh kalimat sekaligus dan memahami hubungan kontekstual antara kata-kata melalui mekanisme self-attention .
Untuk domain bahasa Indonesia.
IndoBERT hadir sebagai model bahasa pre-trained yang telah dilatih secara ekstensif pada korpus besar bahasa Indonesia .
i antaranya adalah data berita.
Copyright A 2025 The Author.
Page 63 This Journal is licensed under a Creative Commons Attribution 4.
0 International License BULLETIN OF COMPUTER SCIENCE RESEARCH ISSN 2774-3659 (Media Onlin.
Vol 6.
No 1.
December 2025 | Hal 63-74 https://hostjournals.
com/bulletincsr DOI: 10.
47065/bulletincsr.
Wikipedia, dan media sosia.
IndoBERT menyediakan fondasi pemahaman bahasa yang kuat.
Namun, model pre-trained ini bersifat umum dan perlu diadaptasi untuk tugas yang sangat spesifik.
Solusi yang diusulkan dalam penelitian ini adalah menerapkan metode fine-tuning pada model IndoBERT.
Fine-tuning adalah proses mengadaptasi pengetahuan umum dari model pre-trained untuk dispesialisasi dalam tugas tertentu yang dalam hal ini adalah klasifikasi emosi dengan melatihnya pada dataset yang relevan.
Penelitian terkait klasifikasi emosi dan sentimen di Indonesia telah berkembang pesat.
Beberapa penelitian awal berfokus pada metode machine learning tradisional seperti Nayve Bayes dan Support Vector Machine (SVM) yang dikombinasikan dengan fitur leksikon .
, .
Meskipun menunjukkan hasil yang baik, metode ini sangat bergantung pada rekayasa fitur manual dan kamus sentimen yang terbatas.
Penelitian yang lebih baru mulai mengadopsi deep learning karena terbukti lebih unggul dibandingkan dengan machine learning, terutama dalam mendeteksi emosi yang terkandung dalam teks yang ada di media sosial.
Misalnya, penelitian yang menggunakan Long Short-Term Memory (LSTM) dengan metode word embedding untuk klasifikasi sentimen pada tweet tentang Covid-19 Varian Omicron, menunjukkan peningkatan dalam menangkap urutan kata, tetapi masih terbatas pada polaritas positif-negatif.
Penelitian lain juga mencoba melakukan analisis sentimen dua kelas, yaitu positif dan negatif menggunakan Convolutional Neural Network (CNN), tetapi menghadapi kesulitan dalam menangani ambiguitas kata-kata dalam teks informal.
Di sisi lain, beberapa penelitian telah menerapkan model berbasis BERT.
Sebuah penelitian membandingkan kinerja mBERT (BERT multilingua.
dengan IndoBERT untuk mendeteksi hoaks berbahasa Indonesia, hasilnya menunjukkan bahwa IndoBERT memiliki keunggulan untuk klasifikasi teks spesifik dalam bahasa Indonesia dibandingkan dengan mBERT yang lebih umum karena bersifat multilingual.
Keunggulan IndoBERT juga telah divalidasi dalam tugas-tugas NLP bahasa Indonesia lainnya.
Salah satu penelitian menggunakan IndoBERT untuk analisis sentimen yang terbukti lebih stabil dibandingkan dengan menggunakan CNN, tetapi dataset yang digunakan adalah berita formal, yang memiliki karakteristik sangat berbeda dari teks media sosial yang informal dan noisy .
Penelitian lain berhasil mengimplementasikan IndoBERT untuk melakukan analisis sentimen multi-kelas pada opini publik tentang calon presiden di media sosial Twitter, meski terbatas pada kelas positif, negatif, dan netral.
Dari tinjauan pustaka di atas, muncul sebuah gap analysis .
elah penelitia.
yang jelas: masih sedikit penelitian yang secara spesifik menguji dan mengevaluasi kinerja fine-tuning IndoBERT untuk tugas klasifikasi emosi multi-kelas .
ima kela.
pada domain teks yang sangat informal dan tidak terstruktur seperti cuitan Twitter.
Selain itu, banyak penelitian sebelumnya menggunakan dataset yang tidak seimbang .
, yang dapat menghasilkan model yang Penelitian ini dirancang untuk mengisi celah tersebut dengan membangun dataset kustom yang seimbang dan menerapkan proses fine-tuning yang dioptimalkan.
Berdasarkan uraian di atas, tujuan dari penelitian ini adalah untuk .
membangun sebuah dataset kustom berbahasa Indonesia dari Twitter untuk klasifikasi lima kelas emosi (AoangerAo.
AofearAo.
AohappyAo.
AoloveAo.
AosadnessA.
menerapkan dan mengoptimalkan metode fine-tuning pada model IndoBERT .
ndobenchmark/indobert-base-p.
melalui serangkaian tahapan pra-pemrosesan teks yang komprehensif.
menganalisis serta mengevaluasi kinerja model secara mendalam menggunakan metrik akurasi, presisi, recall.
F1-score, dan confusion matrix.
Harapan yang ingin dicapai adalah menghasilkan sebuah model klasifikasi emosi yang robust dan memiliki kinerja tinggi yang dapat dipertanggungjawabkan secara ilmiah.
Keberhasilan model ini diharapkan dapat menjadi benchmark .
olok uku.
bagi penelitian sejenis dan dapat diimplementasikan sebagai komponen inti yang andal dalam berbagai sistem personalisasi cerdas atau aplikasi NLP lainnya.
METODOLOGI PENELITIAN
1 Tahapan Penelitian Penelitian ini menggunakan pendekatan kuantitatif dengan metode eksperimental untuk membangun dan mengevaluasi model klasifikasi emosi.
Metodologi penelitian disusun dalam beberapa tahapan utama yang sistematis, meliputi:
pengumpulan data, pelabelan data, pra-pemrosesan teks, pembagian data latih & data uji, pemodelan dengan fine-tuning IndoBERT, dan evaluasi kinerja model.
Alur kerja dari penelitian ini diilustrasikan pada Gambar 1.
Gambar 1 Tahapan Penelitian Copyright A 2025 The Author.
Page 64 This Journal is licensed under a Creative Commons Attribution 4.
0 International License BULLETIN OF COMPUTER SCIENCE RESEARCH ISSN 2774-3659 (Media Onlin.
Vol 6.
No 1.
December 2025 | Hal 63-74 https://hostjournals.
com/bulletincsr DOI: 10.
47065/bulletincsr.
Dari Gambar 1 dapat dijelaskan:
Pengumpulan Data Data mentah berupa 4.
940 cuitan berbahasa Indonesia dikumpulkan dari platform media sosial Twitter (X) menggunakan teknik scraping.
Untuk mengurangi potensi ketidakseimbangan kelas .
lass imbalanc.
, proses scraping dilakukan secara bertarget untuk masing-masing dari lima kelas emosi: AoangerAo .
AofearAo .
AohappyAo .
AoloveAo .
, dan AosadnessAo .
Tiap-tiap emosi memiliki serangkaian kata kunci pencarian spesifik yang sering diasosiasikan dengan ekspresi emosi tersebut.
Sebagai contoh, untuk emosi 'senang', kata kunci yang digunakan antara lain "seneng banget", "bahagia sekali", dan "bersyukur".
Strategi ini bertujuan untuk mengurangi ketidakseimbangan kelas .
lass imbalanc.
sejak tahap awal pengumpulan data.
Pelabelan Data Setelah data mentah terkumpul, proses pelabelan dilakukan untuk membuat ground truth bagi pelatihan model.
Proses ini melibatkan dua orang pelabel .
yang memiliki pemahaman yang sama mengenai definisi operasional setiap kelas emosi, yaitu AoangerAo .
AofearAo .
AohappyAo .
AoloveAo .
, dan AosadnessAo .
Untuk memastikan objektivitas dan validitas ground truth, pelabelan dilakukan oleh 2 orang rater .
Konsistensi pelabelan diukur menggunakan metrik kesepakatan antar-pelabel (Inter-Rater Agreement - IRA).
Dalam penelitian ini, sebuah studi validasi post-hoc dilakukan pada 400 sampel acak.
Metrik yang digunakan adalah Cohen's Kappa .
arena dua pelabe.
dan didapatkan skor sebesar 0.
Skor ini menunjukkan tingkat kesepakatan "Baik" (Substantia.
antar pelabel, sehingga dataset yang dihasilkan dapat dianggap reliabel dan tidak bias secara subjektif .
, .
Pra-pemrosesan Teks Teks dari media sosial bersifat sangat noisy .
dan tidak terstruktur.
Oleh karena itu, serangkaian tahapan prapemrosesan teks diperlukan untuk membersihkan dan mengubah teks dalam dataset menjadi format yang dapat dipahami oleh model.
Tahapan yang dilakukan meliputi:
Cleaning: Menghapus elemen-elemen yang tidak relevan seperti URL, mention pengguna (@usernam.
, hashtag (#topi.
, serta karakter selain huruf dan spasi.
Case Foldinbg: Mengubah seluruh teks menjadi format huruf kecil .
untuk menyeragamkan kosakata.
Normalization: Melakukan normalisasi kata-kata tidak baku, seperti bahasa gaul dan singkatan, menjadi bentuk Stopword Removal: Menghapus kata-kata umum dalam Bahasa Indonesia yang tidak memiliki makna signifikan .
isalnya, "yang", "di", "dan", "ini") menggunakan pustaka Sastrawi.
Stemming: Mengubah kata-kata berimbuhan menjadi bentuk kata dasarnya untuk mengurangi variasi kata dengan makna inti yang sama .
isalnya, "menulis", "ditulis", "tulisan" diubah menjadi "tulis").
Proses ini juga menggunakan pustaka Sastrawi.
Pembagian Data Pembagian data dalam penelitian ini dilakukan dengan membagi dataset menjadi dua bagian: 80% data latih dan 20% data uji.
Pembagian ini dilakukan menggunakan metode stratified sampling untuk memastikan proporsi setiap kelas emosi pada data latih dan data uji tetap identik dengan distribusi pada data keseluruhan.
Dalam implementasi penelitian ini, 20% data uji .
menjalankan peran ganda.
Peran pertamanya adalah sebagai data validasi .
valuation datase.
selama proses pelatihan.
Data ini digunakan untuk memantau kinerja model .
val_loss, eval_f.
di akhir setiap epoch, yang menginformasikan mekanisme EarlyStopping dan load_best_model_at_end.
Kami mengakui bahwa dalam metodologi yang ketat, set validasi .
ang digunakan untuk early stopping dan pemilihan mode.
idealnya terpisah dari set uji final.
Namun, mengingat ukuran dataset kustom yang relatif terbatas .
, pendekatan 80/20 ini dipilih untuk memaksimalkan jumlah data latih, sekaligus menyediakan set evaluasi yang cukup stabil .
Oleh karena itu, laporan kinerja final .
i Bab .
disajikan pada set 20% ini, dengan pemahaman bahwa set tersebut juga telah digunakan untuk pemilihan model.
Pemodelan Penelitian ini menggunakan arsitektur Transformer melalui model pre-trained IndoBERT yang merupakan varian dari BERT.
Latar Belakang Arsitektur: BERT dan IndoBERT BERT merupakan singkatan dari Bidirectional Encoder Representations from Transformers.
BERT adalah sebuah model representasi bahasa, yakni model yang dirancang untuk menghasilkan representasi kata atau kalimat yang memahami konteks.
Berbeda dengan model-model lain yang memproses teks secara satu arah .
iri-ke-kanan atau kanan-ke-kir.
BERT menawarkan inovasi untuk melakukan pra-pelatihan representasi mendalam yang bersifat dua arah .
Hal ini dicapai dengan mengondisikan model pada konteks kiri dan kanan secara bersamaan pada semua lapisannya.
Ini artinya.
BERT mampu memahami makna sebuah kata dengan melihat keseluruhan kalimat, yang memberinya pemahaman kontekstual yang jauh lebih unggul.
Meskipun model BERT asli sangat kuat, ia dilatih secara dominan pada teks berbahasa Inggris.
Hal ini menjadi tantangan tatkala ia diimplementasikan pada bahasa lain yang memiliki sintaksis yang berbeda, seperti bahasa Indonesia seperti pada penelitian ini.
Apalagi jika ditambah dengan keragaman linguistik di Indonesia yang begitu beragam dengan lebih dari 700 bahasa dan dialek, sehingga dapat memunculkan adanya praktik code-switching .
ampur kode bahas.
yang sangat umum.
Model bahasa yang tidak dilatih secara spesifik pada data lokal akan kesulitan menangani kerumitan ini.
Untuk mengatasi tantangan yang dihadapi oleh BERT konvensional, dikembangkanlah IndoBERT.
IndoBERT adalah implementasi dari arsitektur BERT yang secara khusus melalui proses pra-pelatihan Copyright A 2025 The Author.
Page 65 This Journal is licensed under a Creative Commons Attribution 4.
0 International License BULLETIN OF COMPUTER SCIENCE RESEARCH ISSN 2774-3659 (Media Onlin.
Vol 6.
No 1.
December 2025 | Hal 63-74 https://hostjournals.
com/bulletincsr DOI: 10.
47065/bulletincsr.
dari awal menggunakan korpus data raksasa bahasa Indonesia yang berisi lebih dari 4 miliar kata yang berasal dari berbagai sumber teks bahasa Indonesia, termasuk artikel berita, media sosial, blog, dan Wikipedia.
Dengan dilatih pada miliaran kata yang relevan dengan konteks lokal.
IndoBERT memiliki pemahaman yang jauh lebih mendalam mengenai tata bahasa, kosakata, idiom, dan bahkan bahasa gaul yang umum digunakan di Indonesia .
, .
Model Dasar dan Proses Fine-Tuning Model dasar yang digunakan dalam penelitian ini adalah indobenchmark/indobert-base-p1.
Kemampuannya untuk memahami konteks kalimat dalam Bahasa Indonesia menjadikannya fondasi yang sangat kuat untuk tugas-tugas NLP.
Proses fine-tuning kemudian diterapkan, yang merupakan tahap di mana model IndoBERT diadaptasi untuk tugas spesifik klasifikasi emosi.
Bobot .
dari model pre-trained tidak dimulai dari nol, melainkan disesuaikan kembali menggunakan dataset emosi yang telah kita siapkan.
Lapisan klasifikasi baru ditambahkan di atas model IndoBERT untuk memetakan representasi teks ke salah satu dari lima kelas emosi.
Dataset dibagi menjadi 80% data latih dan 20% data uji.
Untuk meningkatkan kemampuan generalisasi dan mencegah overfitting, hyperparameter model dioptimalkan.
Model indobenchmark/indobert-base-p1 dilatih menggunakan optimizer AdamW (Adaptive Moment Estimation with Weight Deca.
dengan learning rate yang diatur ke 5e-06.
Secara spesifik, tingkat dropout pada attention dan hidden layer ditingkatkan menjadi 0.
3 untuk regularisasi.
Proses pelatihan dijalankan dengan batch size 16 dan direncanakan untuk maksimal 5 epoch.
Untuk memastikan model tidak overfitting dan mendapatkan hasil terbaik, diterapkan dua kebijakan: Early Stopping dengan patience 2 .
erhenti jika tidak ada perbaikan F1-score setelah 2 epoc.
dan load_best_model_at_end yang akan memuat kembali bobot model dengan metrik F1-score validasi tertinggi.
Evaluasi Kinerja Model Kinerja model dievaluasi menggunakan empat metrik standar untuk tugas klasifikasi.
Metrik ini didasarkan pada empat hasil dasar dari Confusion Matrix untuk setiap kelas: True Positive (TP).
True Negative (TN).
False Positive (FP), dan False Negative (FN).
Metrik yang pertama adalah akurasi .
Akurasi mengukur proporsi prediksi yang benar secara keseluruhan, dihitung menggunakan rumus .
yaycaycaycycycaycayc = ycNycE ycNycA ycNycE ycNycA yaycE yaycA Namun, untuk dataset yang mungkin sedikit tidak seimbang.
Akurasi saja tidak cukup.
Oleh karena itu, digunakan Presisi.
Recall, dan F1-Score yang dihitung per kelas.
Presisi (Precisio.
mengukur seberapa akurat prediksi positif yang dibuat oleh model.
Dihitung menggunakan rumus .
ycNycE ycEycyceycaycnycycnycuycu = ycNycE yaycE Recall .
isebut juga sensitivita.
mengukur seberapa baik model menemukan semua sampel positif yang relevan.
Dihitung menggunakan rumus .
ycNycE ycIyceycaycaycoyco = ycNycE yaycA F1-Score adalah rata-rata harmonis dari Presisi dan Recall, yang memberikan satu metrik tunggal yang menyeimbangkan kedua nilai tersebut.
Ini menjadi metrik utama untuk mengevaluasi performa model pada setiap kelas emosi.
Dihitung menggunakan rumus .
ycEycyceycaycnycycnycuycuyycIyceycaycaycoyco
ya1-ycIycaycuycyce = 2 y ycEycyceycaycnycycnycuycu ycIyceycaycaycoyco
HASIL DAN PEMBAHASAN
1 Pengumpulan Data Pengumpulan data dilakukan dengan teknik scraping menggunakan bahasa pemrograman python dan pustaka Selenium.
Data yang telah terkumpul berjumlah 4.
940 cuitan yang contohnya dapat dilihat pada Tabel 1.
Tabel 1.
Contoh Data Hasil Scraping Tweet Seneng banget pasti ini kak seneng banget dipercaya cust Manusia bijak adalah saat sukses bisa bersyukur saat gagalpun tetap bersyukur.
Karena sesungguhnya kekayaan dan kebahagian sejati ada didalam rasa syukur Dari gesturenya kelihatan Mbak Glory dam Mas Brein .
ang kabarnya dapat kesempatan menginap dan berenang di Aman NY), bahagia sekali, dapat bertemu dengan Presiden Prabowo Subianto.
dan rombongan.
guee bersyukur sekali ga di jam 2 ini match biasanyaa selalu ketiduran Copyright A 2025 The Author.
Page 66 This Journal is licensed under a Creative Commons Attribution 4.
0 International License BULLETIN OF COMPUTER SCIENCE RESEARCH ISSN 2774-3659 (Media Onlin.
Vol 6.
No 1.
December 2025 | Hal 63-74 https://hostjournals.
com/bulletincsr DOI: 10.
47065/bulletincsr.
Tabel 1 menyajikan lima contoh data mentah .
aw dat.
yang berhasil dikumpulkan.
Penjelasan ini mengilustrasikan karakteristik teks Twitter yang informal dan noisy, seperti penggunaan bahasa gaul ("seneng banget", "guee") dan tanda baca yang tidak standar, yang menjadi tantangan utama dalam penelitian ini.
2 Pelabelan Data Data yang telah dikumpulkan pada tahap sebelumnya masih berupa teks mentah tanpa label.
Untuk membuat dataset yang siap diproses, dilakukan pelabelan data.
Hasil dari tahapan ini adalah dataset final yang digunakan untuk semua proses Kelas yang digunakan adalah AoangerAo.
AofearAo.
AohappyAo.
AoloveAo, dan AosadnessAo.
Contoh hasil pelabelan dapat dilihat pada Tabel 2.
Tabel 2.
Contoh Data Setelah Pelabelan Label Tweet Seneng banget pasti ini kak seneng banget dipercaya cust Manusia bijak adalah saat sukses bisa bersyukur saat gagalpun tetap bersyukur.
Karena sesungguhnya kekayaan dan kebahagian sejati ada didalam rasa syukur Dari gesturenya kelihatan Mbak Glory dam Mas Brein .
ang kabarnya dapat kesempatan menginap dan berenang di Aman NY), bahagia sekali, dapat bertemu dengan Presiden Prabowo Subianto.
dan rombongan.
guee bersyukur sekali ga di jam 2 ini match biasanyaa selalu ketiduran Tabel 2 memberikan contoh konkrit dari hasil proses pelabelan data.
Tabel ini secara rinci menunjukkan bagaimana setiap data teks .
ada kolom 'Tweet') yang sebelumnya mentah, kini telah dipasangkan dengan salah satu dari lima kelas emosi yang ditentukan .
ada kolom 'Label').
Sebagai contoh, kelima sampel yang ditampilkan di tabel ini diidentifikasi memiliki emosi 'happy' .
eperti pada teks "Seneng banget pasti ini kak" dan "guee bersyukur sekali").
Pasangan data .
eks, labe.
inilah yang membentuk ground truth .
ebenaran dasa.
final untuk 4.
940 sampel, yang validitasnya akan dibuktikan secara statistik pada bagian selanjutnya .
tudi IRA) sebelum digunakan untuk prapemrosesan.
Sebelum dataset penuh digunakan untuk pelatihan, hasil dari studi validasi Inter-Rater Agreement (IRA) disajikan.
Seperti yang dijelaskan dalam metodologi penelitian, studi ini dilakukan pada 400 sampel acak menggunakan dua pelabel untuk menghitung Cohen's Kappa.
Hasil perhitungan menunjukkan skor Kappa sebesar 0.
70, yang mengindikasikan tingkat kesepakatan 'Baik' (Substantia.
Skor ini mengonfirmasi bahwa ground truth asli .
abel orisina.
yang digunakan untuk melatih model memiliki reliabilitas dan objektivitas yang tinggi, sehingga layak digunakan untuk pelatihan dan Untuk menganalisis lebih lanjut pola kesepakatan antar pelabel, confusion matrix dari studi IRA disajikan pada Gambar 2.
Gambar 2 Confusion Matrix Kesepakatan Antar Pelabel (IRA) Dari Gambar 2, dapat dilihat bahwa kesepakatan tertinggi terjadi pada kelas AosadnessAo .
dari 92 sepaka.
dan AoangerAo .
dari 82 sepaka.
Namun, terdapat pola ketidaksepakatan yang menarik dan signifikan secara statistik.
Pertama, terjadi kebingungan antara kelas AohappyAo dan AoloveAo: terdapat 21 kasus di mana Pelabel 1 memberi label AohappyAo, tetapi Pelabel 2 memberi label AoloveAo.
Kedua, terdapat ambiguitas antara AoloveAo dan AosadnessAo: ada 21 kasus di mana Pelabel 1 memberi label AoloveAo, tetapi Pelabel 2 memberi label AosadnessAo.
Ketiga, terdapat pula 11 kasus di mana Pelabel 1 menilai AohappyAo, sedangkan Pelabel 2 menilai AoangerAo.
Pola ketidaksepakatan antar-manusia ini sangat penting, karena Copyright A 2025 The Author.
Page 67 This Journal is licensed under a Creative Commons Attribution 4.
0 International License BULLETIN OF COMPUTER SCIENCE RESEARCH ISSN 2774-3659 (Media Onlin.
Vol 6.
No 1.
December 2025 | Hal 63-74 https://hostjournals.
com/bulletincsr DOI: 10.
47065/bulletincsr.
menunjukkan adanya ambiguitas alami .
atural ambiguit.
dalam ekspresi emosi tersebut pada teks informal, yang kemungkinan besar juga akan menjadi tantangan bagi model IndoBERT.
Distribusi kelas dari dataset final disajikan pada Gambar 3.
Gambar 3.
Distribusi Kelas Pada Dataset Seperti yang terlihat pada Gambar 3, kelas AosadnessAo memiliki jumlah sampel terbanyak .
058 sampe.
, diikuti oleh AoangerAo .
AofearAo .
AoloveAo .
, dan AohappyAo .
Meskipun strategi scraping bertarget telah diterapkan, ketidakseimbangan minor ini wajar terjadi karena perbedaan frekuensi penggunaan kata kunci pencarian di platform.
Ketidakseimbangan ini tidak ekstrem dan dapat dikelola.
Justru, hal ini memvalidasi pentingnya penggunaan metode stratify pada saat pembagian data latih dan uji, untuk memastikan bahwa proporsi minoritas .
eperti kelas AohappyA.
tetap terwakili secara adil di kedua dataset, sehingga evaluasi model tetap objektif.
3 Pra-pemrosesan Teks 1 Cleaning Tahap pertama dalam pra-pemrosesan adalah cleaning, tugasnya untuk membersihkan teks dari tanda baca, emoji, dan Hasil pembersihan .
dapat dilihat pada Tabel 3.
Tabel 3.
Contoh Data Setelah Cleaning Teks Asli Seneng banget pasti ini kak seneng banget dipercaya cust Manusia bijak adalah saat sukses bisa bersyukur saat gagalpun tetap bersyukur.
Karena sesungguhnya kekayaan dan kebahagian sejati ada didalam rasa syukur Dari gesturenya kelihatan Mbak Glory dam Mas Brein .
ang kabarnya dapat kesempatan menginap dan berenang di Aman NY), bahagia sekali, dapat bertemu dengan Presiden Prabowo Subianto.
guee bersyukur sekali ga di jam 2 ini match biasanyaa selalu ketiduran Teks Cleaning Seneng banget pasti ini kak seneng banget dipercaya cust Manusia bijak adalah saat sukses bisa bersyukur saat gagalpun tetap bersyukur Karena sesungguhnya kekayaan dan kebahagian sejati ada didalam rasa syukur Dari gesturenya kelihatan Mbak Glory dam Mas Brein yang kabarnya dapat kesempatan menginap dan berenang di Aman NY bahagia sekali dapat bertemu dengan Presiden Prabowo Subiantodan rombongan guee bersyukur sekali ga di jam ini match biasanyaa selalu ketiduran Tabel 3 menyajikan perbandingan antara teks asli dengan hasil dari tahapan Cleaning.
Seperti yang dapat dilihat, proses ini berhasil menghapus elemen-elemen noise yang tidak relevan.
Contohnya pada baris ke-4, tanda baca seperti tanda kutip (") dan koma (,) serta tanda kurung ((, )) dan titik (.
) telah dihilangkan, menghasilkan teks yang lebih bersih dan siap untuk tahapan Case Folding.
2 Case Folding Tahap lanjutan setelah dilakukannya cleaning adalah case folding, ini berguna untuk membuat teks menjadi seragam, dari sebelumnya mengandung huruf kapital distandarkan seluruhnya menjadi huruf kecil.
Contoh data yang diproses dengan case folding dapat dilihat pada Tabel 4.
Tabel 4.
Contoh Data Setelah Case Folding Teks Cleaning Seneng banget pasti ini kak seneng banget dipercaya cust Manusia bijak adalah saat sukses bisa bersyukur Teks Case Folding seneng banget pasti ini kak seneng banget dipercaya cust manusia bijak adalah saat sukses bisa bersyukur saat Copyright A 2025 The Author.
Page 68 This Journal is licensed under a Creative Commons Attribution 4.
0 International License BULLETIN OF COMPUTER SCIENCE RESEARCH ISSN 2774-3659 (Media Onlin.
Vol 6.
No 1.
December 2025 | Hal 63-74 https://hostjournals.
com/bulletincsr DOI: 10.
47065/bulletincsr.
Teks Cleaning saat gagalpun tetap bersyukur Karena sesungguhnya kekayaan dan kebahagian sejati ada didalam rasa syukur Dari gesturenya kelihatan Mbak Glory dam Mas Brein yang kabarnya dapat kesempatan menginap dan berenang di Aman NY bahagia sekali dapat bertemu dengan Presiden Prabowo Subiantodan guee bersyukur sekali ga di jam ini match biasanyaa selalu ketiduran Teks Case Folding gagalpun tetap bersyukur karena sesungguhnya kekayaan dan kebahagian sejati ada didalam rasa dari gesturenya kelihatan mbak glory dam mas brein yang kabarnya dapat kesempatan menginap dan berenang di aman ny bahagia sekali dapat bertemu dengan presiden prabowo subiantodan rombongan guee bersyukur sekali ga di jam ini match biasanyaa selalu ketiduran Tabel 4 mendemonstrasikan hasil dari tahap Case Folding.
Tujuan dari langkah ini adalah untuk menyeragamkan seluruh teks ke dalam format huruf kecil .
, menghilangkan ambiguitas yang mungkin timbul karena perbedaan penggunaan huruf kapital.
Perubahan paling jelas dapat diamati pada baris ke-3 dan ke-4.
Pada kolom 'Teks Cleaning' baris ke-3, kata "Manusia", "Karena", "Kekayaan", dan "Kebahagian" diawali dengan huruf kapital.
Demikian pula pada baris ke-4, nama dan tempat seperti "Mbak Glory", "Mas Brein", "Aman NY", dan "Presiden Prabowo" juga menggunakan huruf kapital.
Setelah proses Case Folding .
i kolom 'Teks Case Folding'), semua kata tersebut telah berhasil diubah menjadi huruf kecil .
isalnya, "manusia", "karena", "mbak glory", "presiden prabowo").
Penyeragaman ini sangat penting sebelum melangkah ke tahap Normalisasi dan Stemming.
3 Normalization Setelah case folding telah berhasil dilakukan, selanjutnya dilakukan normalization .
Normalisasi kata merupakan hal yang sangat penting untuk mengatasi tingginya variasi bahasa gaul dan singkatan dalam data Twitter.
Proses normalisasi dilakukan dengan memetakan kata-kata tidak baku ke bentuk bakunya.
Untuk melakukan ini, sebuah kamus singkatan kustom yang disimpan dalam berkas berekstensi .
amus_singkatan.
dibangun dan digunakan.
Kamus ini berisi lebih dari 2.
000 entri yang dikumpulkan dari analisis dataset dan sumber bahasa gaul Indonesia, yang mencakup singkatan umum .
isalnya, "bgt" diubah menjadi "sangat", "yg" menjadi "yang") dan kata ganti informal .
isalnya, "gue" diubah menjadi "saya").
Contoh data hasil normalization dapat dilihat pada Tabel 5.
Tabel 5 Contoh Data Setelah Normalization Teks Case Folding seneng banget pasti ini kak seneng banget dipercaya cust manusia bijak adalah saat sukses bisa bersyukur saat gagalpun tetap bersyukur karena sesungguhnya kekayaan dan kebahagian sejati ada didalam rasa dari gesturenya kelihatan mbak glory dam mas brein yang kabarnya dapat kesempatan menginap dan berenang di aman ny bahagia sekali dapat bertemu dengan presiden prabowo subiantodan guee bersyukur sekali ga di jam ini match biasanyaa selalu ketiduran Teks Normalization senang sangat pasti ini kakak senang sangat dipercaya cust manusia bijaksana adalah saat sukses dapat bersyukur saat gagalpun tetap bersyukur karena sesungguhnya kekayaan dan kebahagian sejati ada didalam rasa syukur dari gesturenya kelihatan kakak glory dam kakak brein yang kabarnya dapat kesempatan menginap dan berenang di aman ny bahagia sekali dapat bertemu dengan presiden prabowo subiantodan rombongan saya bersyukur sekali tidak di jam ini match biasanyaa selalu tertidur Efektivitas tahap normalisasi, yang hasilnya disajikan pada Tabel 5, dapat terlihat jelas dengan merujuk pada beberapa contoh.
Dengan menggunakan kamus kustom yang telah disiapkan, kata-kata informal yang umum seperti 'seneng' dan 'banget' .
erlihat di baris ke-1 dan ke-.
berhasil distandarkan menjadi 'senang' dan 'sangat'.
Contoh yang lebih signifikan terlihat pada baris ke-5, di mana kata ganti informal 'guee' diubah menjadi 'saya' dan singkatan 'ga' diubah menjadi 'tidak'.
Selain itu, proses ini juga memperbaiki ejaan yang ambigu seperti pada baris ke-3, di mana 'bijak' diubah menjadi 'bijaksana'.
Dengan memetakan ribuan variasi bahasa gaul dan singkatan ini ke bentuk baku yang konsisten, dataset menjadi jauh lebih seragam dan bersih, sehingga siap untuk tahap stopword removal.
4 Stopword Removal Setelah teks berhasil dinormalisasi, maka tahap selanjutnya dalam penelitian ini adalah stopword removal, yaitu tahap untuk membuang kata-kata yang tidak terlalu diperlukan, biasanya mencakup konjungsi, seperti AudanAy.
AutetapiAy.
AuatauAy, kemudian juga preposisi, seperti AuiniAy.
AuituAy, kata ganti seperti AusayaAy.
AukamuAy.
AudiaAy, dan sebagainya yang tidak memberikan makna penting dalam kalimat.
Contoh data hasil stopword removal dapat dilihat pada Tabel 6.
Tabel 6 Contoh Data Setelah Stopword Removal Teks Normalization senang sangat pasti ini kakak senang sangat dipercaya cust Teks Stopword Removal senang sangat ini kakak senang sangat dipercaya cust Copyright A 2025 The Author.
Page 69 This Journal is licensed under a Creative Commons Attribution 4.
0 International License BULLETIN OF COMPUTER SCIENCE RESEARCH ISSN 2774-3659 (Media Onlin.
Vol 6.
No 1.
December 2025 | Hal 63-74 https://hostjournals.
com/bulletincsr DOI: 10.
47065/bulletincsr.
Teks Normalization manusia bijaksana adalah saat sukses dapat bersyukur saat gagalpun tetap bersyukur karena sesungguhnya kekayaan dan kebahagian sejati ada didalam rasa syukur dari gesturenya kelihatan kakak glory dam kakak brein yang kabarnya dapat kesempatan menginap dan berenang di aman ny bahagia sekali dapat bertemu dengan presiden prabowo subiantodan saya bersyukur sekali tidak di jam ini match biasanyaa selalu tertidur Teks Stopword Removal manusia bijaksana sukses bersyukur saat gagalpun tetap bersyukur sesungguhnya kekayaan kebahagian sejati didalam rasa syukur gesturenya kelihatan kakak glory dam kakak brein kabarnya kesempatan menginap berenang aman ny bahagia sekali bertemu presiden prabowo subiantodan bersyukur sekali di jam match biasanyaa selalu tertidur Tahap Stopword Removal, yang hasilnya ditunjukkan pada Tabel 6, bertujuan untuk mengurangi noise lebih lanjut dengan menghapus kata-kata umum .
yang tidak memiliki makna emosional signifikan.
Dapat dilihat pada baris ke-1 bahwa preposisi 'ini' dihilangkan.
Contoh yang lebih jelas ada pada baris ke-3, di mana kata-kata seperti 'adalah', 'saat', 'dapat', 'karena', 'dan', 'ada', 'didalam' dihilangkan, sehingga kalimat menjadi lebih padat ("manusia bijaksana sukses bersyukur gagalpun tetap bersyukur sesungguhnya kekayaan kebahagian sejati rasa syukur").
Demikian pula, pada baris ke-5, kata ganti 'saya' dan preposisi 'tidak' dan 'di' telah dihapus.
Dengan menghilangkan kata-kata non-informatif ini, teks yang tersisa menjadi lebih fokus pada kata-kata inti yang mengandung sentimen, yang sangat penting untuk tahap akhir, yaitu Stemming.
5 Stemming Tahapan stemming adalah tahapan pra-pemrosesan teks terakhir dalam penelitian ini.
Stemming bertindak untuk mengembalikan setiap kata dikembalikan ke dalam bentuk kata dasarnya.
Misalnya, "bersyukur" menjadi "syukur", yang membantu model mengonsolidasikan kata-kata dengan makna inti yang sama.
Contoh hasil data setelah stemming ada pada Tabel 7.
Tabel 7 Contoh Data Setelah Stemming Teks Stopword Removal Teks Stemming 1 senang sangat ini kakak senang sangat ini kakak 2 senang sangat dipercaya cust senang sangat percaya cust 3 manusia bijaksana sukses bersyukur saat gagalpun manusia bijaksana sukses syukur saat gagal tetap syukur tetap bersyukur sesungguhnya kekayaan kebahagian sungguh kaya kebahagian sejati dalam rasa syukur sejati didalam rasa syukur 4 gesturenya kelihatan kakak glory dam kakak brein gesturenya lihat kakak glory dam kakak brein kabar kabarnya kesempatan menginap berenang aman ny sempat inap renang aman ny bahagia sekali temu presiden bahagia sekali bertemu presiden prabowo prabowo subiantodan rombong subiantodan rombongan 5 bersyukur sekali di jam match biasanyaa selalu syukur sekali di jam match biasanyaa selalu tidur Tabel 7 mengilustrasikan langkah terakhir dan paling transformatif dalam pipeline pra-pemrosesan, yaitu Stemming.
Tujuan dari tahap ini adalah untuk mengonsolidasikan berbagai kata berimbuhan ke dalam satu kata dasar .
ata aka.
yang seragam.
Efek dari proses ini sangat terlihat di seluruh sampel.
Pada baris ke-3, kata "bersyukur" dan "sesungguhnya" berhasil diubah menjadi kata dasarnya, "syukur" dan "sungguh".
Contoh yang lebih drastis terlihat pada baris ke-4, di mana kata-kata kerja seperti "kelihatan", "menginap", "berenang", dan "bertemu" semuanya berhasil dikembalikan ke akarnya menjadi "lihat", "inap", "renang", dan "temu".
Demikian pula pada baris ke-5, "bersyukur" menjadi "syukur" dan "tertidur" menjadi "tidur".
Hasil dari kolom 'Teks Stemming' ini adalah corpus akhir yang bersih dan terstandarisasi, yang siap digunakan untuk melatih model IndoBERT.
Untuk memvalidasi lebih lanjut kualitas dataset yang telah dibersihkan, dilakukan analisis data eksploratif menggunakan word cloud untuk setiap kelas emosi, seperti yang ditunjukkan pada Gambar 3.
Gambar 4.
Visualisasi Wordcloud Setiap Kelas Emosi Copyright A 2025 The Author.
Page 70 This Journal is licensed under a Creative Commons Attribution 4.
0 International License BULLETIN OF COMPUTER SCIENCE RESEARCH ISSN 2774-3659 (Media Onlin.
Vol 6.
No 1.
December 2025 | Hal 63-74 https://hostjournals.
com/bulletincsr DOI: 10.
47065/bulletincsr.
Hasil visualisasi pada Gambar 4 memberikan beberapa pengetahuan yang penting.
Pertama, keberhasilan pipeline pra-pemrosesan terkonfirmasi secara visual.
kata-kata yang dominan adalah kata-kata inti yang penuh dengan makna emosional, bukan stopword.
Kedua, validitas dataset terbukti, di mana setiap kelas emosi secara jelas didominasi oleh kosakata yang relevan.
Kelas AoangerAo didominasi oleh kata seperti "sial" dan AumuakAy.
Kelas AofearAo didominasi oleh "takut", "ngeri", dan "merinding".
Kelas AohappyAo oleh "senang" dan "syukur".
Kelas AoloveAo oleh "cinta", "sayang", dan "haru".
Dan kelas AosadnessAo oleh "sedih" dan "kecewa".
Visualisasi ini menegaskan bahwa data yang telah disiapkan memiliki makna emosional yang kuat dan siap untuk digunakan dalam pelatihan model.
4 Pembagian Data Dataset yang telah bersih .
940 sampe.
dibagi menjadi dua bagian: 80% data latih .
952 sampe.
dan 20% data uji .
Data latih dijadikan sebagai bahan pembelajaran bagi model IndoBERT, sedangkan data uji adalah data untuk mengetes kinerja model IndoBERT.
Distribusi kelas di dalam data latih dan data uji ditunjukkan dalam Tabel 8.
Tabel 8 Distribusi Sampel Data Latih dan Data Uji per Kelas Total Kelas Emosi Data Latih .
%) Data Uji .
%) Total Tabel 8 menyajikan hasil akhir dari proses pembagian data .
% latih dan 20% uj.
yang telah dijelaskan pada paragraf sebelumnya.
Tabel ini secara kuantitatif membuktikan bahwa metode stratified sampling yang digunakan telah Dapat diamati bahwa proporsi dari setiap kelas emosi dipertahankan secara ketat di kedua dataset.
Sebagai contoh, kelas happy, yang merupakan kelas minoritas .
7% dari total dat.
, secara proporsional terbagi menjadi 699 sampel latih .
7% dari data lati.
dan 175 sampel uji .
7% dari data uj.
Hal yang sama berlaku untuk kelas mayoritas seperti sadness .
4% dari tota.
, yang juga terbagi secara proporsional .
latih dan 212 uj.
Distribusi yang seimbang ini sangat krusial untuk memastikan bahwa model dilatih pada dataset yang representatif dan dievaluasi secara adil pada data uji yang memiliki proporsi kelas yang identik.
5 Pemodelan Stabilitas proses pelatihan model dievaluasi melalui kurva Training & Validation Loss per epoch, seperti yang ditunjukkan pada Gambar 4.
Grafik ini memplot nilai kesalahan model pada data latih (Training Los.
dan data validasi (Validation Los.
di setiap akhir epoch.
Gambar 5 Grafik Training dan Validation Loss Seperti yang terlihat pada Gambar 5, kedua kurva, baik Training Loss .
maupun Validation Loss .
, sama-sama menunjukkan tren menurun yang konsisten.
Yang terpenting, kedua kurva bergerak sangat berdekatan dan tidak menunjukkan adanya celah .
yang melebar.
Hal ini merupakan indikator kuat bahwa model tidak mengalami overfitting dan memiliki kemampuan generalisasi yang sangat baik.
Proses pelatihan yang stabil ini merupakan hasil dari penerapan hyperparameter yang tepat, termasuk peningkatan dropout rate menjadi 0.
3 dan penggunaan learning rate yang lebih rendah .
, yang berhasil mencegah model terlalu menghafal data latih.
6 Evaluasi Kinerja Model Proses fine-tuning model IndoBERT pada dataset klasifikasi emosi yang telah disiapkan menunjukkan hasil yang sangat Model dilatih selama 5 epoch dan berhasil mencapai kinerja yang sangat tinggi pada data uji yang belum pernah Copyright A 2025 The Author.
Page 71 This Journal is licensed under a Creative Commons Attribution 4.
0 International License BULLETIN OF COMPUTER SCIENCE RESEARCH ISSN 2774-3659 (Media Onlin.
Vol 6.
No 1.
December 2025 | Hal 63-74 https://hostjournals.
com/bulletincsr DOI: 10.
47065/bulletincsr.
dilihat sebelumnya.
Evaluasi akhir dilakukan pada 988 sampel data uji.
Hasil evaluasi disajikan secara rinci pada Tabel Secara keseluruhan, model yang di-fine-tuning berhasil mencapai akurasi sebesar 94%.
Nilai F1-Score rata-rata tertimbang .
eighted av.
juga mencapai 0.
94, yang mengindikasikan bahwa model memiliki performa yang sangat baik dan seimbang di semua kelas emosi.
Tabel 9.
Hasil Evaluasi Final pada Data Uji Label macro avg weighted avg Precision Recall F1-Score Support Tabel 9 menunjukkan bahwa performa tertinggi dicapai pada kelas AofearAo (F1-Score 0.
, di mana model mampu mengidentifikasi hampir semua sampel dengan benar.
Performa terendah, meskipun masih tergolong sangat baik, tercatat pada kelas happy (F1-Score 0.
Hal ini kemungkinan menunjukkan bahwa ekspresi kebahagiaan dalam teks informal memiliki variasi linguistik yang lebih luas atau lebih sering bersifat ambigu dibandingkan emosi lainnya.
Untuk memahami pola kesalahan yang dibuat oleh model.
Confusion Matrix disajikan pada Gambar 5.
Matriks ini memvisualisasikan perbandingan antara label aktual dengan label yang diprediksi oleh model dalam bentuk persentase.
Gambar 6 Confusion Matrix Penelitian Garis diagonal confusion matrix pada Gambar 6 menunjukkan persentase prediksi yang benar, yang nilainya sangat dominan .
erkisar antara 89.
71% hingga 99.
49%).
Angka di luar diagonal menunjukkan kesalahan klasifikasi.
Untuk label AoangerAo, 4,83% sampel salah diprediksi sebagai AohappyAo, 1,45% sebagai AofearAo, 1,45% sebagai AosadnessAo, dan 0,97% sebagai AoloveAo.
untuk AofearAo hampir semua benar, hanya 0,51% yang tersasar ke AoloveAo.
untuk AohappyAo, kesalahan terbesar adalah 5,71% dikira AoangerAo, disusul 3,43% ke AoloveAo dan 1,14% ke AofearAo.
untuk AoloveAo, 3,55% tertukar menjadi AohappyAo, 2,03% menjadi AofearAo dan 1,02% menjadi AosadnessAo.
sedangkan untuk AosadnessAo, 2,83% salah ke AohappyAo, 1,89% ke AoangerAo, 1,42% ke AoloveAo dan 0,47% ke AofearAo.
Pola ini menunjukkan bahwa kebingungan paling signifikan terjadi antara pasangan AohappyAo dengan AoangerAo dan AohappyAo dengan AoloveAo, sedangkan untuk AofearAo nyaris tidak tertukar dengan kelas lain.
Menariknya, pola kebingungan model ini .
i mana 'happy' sering tertukar dengan 'anger' dan 'love') mencerminkan pola ambiguitas yang sama dengan yang ditemukan antar pelabel manusia pada Gambar 2, di mana ketidaksepakatan juga banyak terjadi antara kelas-kelas tersebut.
KESIMPULAN
Penelitian ini berhasil menunjukkan efektivitas metode fine-tuning model IndoBERT untuk tugas klasifikasi emosi multikelas pada teks informal bahasa Indonesia yang berasal dari media sosial Twitter.
Dengan membangun sebuah dataset Copyright A 2025 The Author.
Page 72 This Journal is licensed under a Creative Commons Attribution 4.
0 International License BULLETIN OF COMPUTER SCIENCE RESEARCH ISSN 2774-3659 (Media Onlin.
Vol 6.
No 1.
December 2025 | Hal 63-74 https://hostjournals.
com/bulletincsr DOI: 10.
47065/bulletincsr.
kustom yang seimbang melalui scraping bertarget dan menerapkan proses pelabelan yang tervalidasi secara statistik, model yang dikembangkan mampu mengatasi tantangan linguistik seperti penggunaan bahasa gaul dan singkatan.
Hasil evaluasi pada data uji membuktikan bahwa model yang di-fine-tuning mencapai kinerja yang sangat tinggi dengan akurasi sebesar 94% dan F1-Score rata-rata tertimbang 0.
Analisis kurva pembelajaran juga mengonfirmasi bahwa model yang dilatih sehat secara teknis dan tidak mengalami overfitting, sehingga memiliki kemampuan generalisasi yang andal pada data baru.
Kinerja yang kuat dan seimbang di kelima kelas emosi .
arah, takut, senang, cinta, dan sedi.
menegaskan bahwa IndoBERT, ketika diadaptasi dengan benar, merupakan solusi yang sangat kuat untuk tugas-tugas Natural Language Processing pada domain teks informal bahasa Indonesia.
Kinerja model yang tinggi ini menunjukkan potensinya sebagai komponen inti yang andal untuk berbagai aplikasi praktis yang bergantung pada pemahaman emosi Selain itu, model ini dapat diaplikasikan dalam analisis sentimen publik, pemantauan citra merek, atau layanan pelanggan cerdas.
Meskipun model IndoBERT menunjukkan kinerja yang sangat tinggi, penelitian ini memiliki beberapa keterbatasan yang dapat menjadi arahan untuk penelitian selanjutnya.
Keterbatasan utama adalah fokus penelitian yang hanya mengevaluasi satu arsitektur model (IndoBERT) tanpa melakukan perbandingan formal dengan model baseline lain, seperti machine learning tradisional .
SVM atau Nayve Baye.
atau arsitektur deep learning alternatif .
eperti LSTM/Bi-LSTM).
Selain itu, seperti yang telah dibahas di metodologi, validasi model dapat diperkuat dengan menggunakan pembagian data 3-lapis .
atih/validasi/uj.
yang terpisah secara ketat atau menerapkan metode k-fold crossvalidation.
Penelitian selanjutnya juga dapat dilakukan dengan menambahkan kelas emosi yang lebih beragam .
isalnya, terkejut atau jiji.
atau mengembangkan teknik khusus untuk mendeteksi ekspresi emosi yang lebih kompleks seperti sarkasme dan ironi.
REFERENCES