Jurnal Teknologi Informasi dan Ilmu Komputer (JTIIK) Vol.
No.
Februari 2026, hlm.
p-ISSN: 2355-7699
e-ISSN: 2528-6579
KLASIFIKASI EMOSI PADA DATA TEKS PIDATO POLITIK MENGGUNAKAN
METODE RoBERTa Safitri Ramadhayanti Saputro1.
Deni Arifianto2.
Triawan Adi Cahyanto*3 1,2,3 Universitas Muhammadiyah Jember.
Jember Email: safitriramadhyanti@gmail.
com, 2deniarifianto@unmuhjember.
id, 3triawanac@unmuhjember.
*Penulis Korespondensi (Naskah masuk: 30 Oktober 2025, diterima untuk diterbitkan: 20 Desember 2.
Abstrak Analisis emosi dalam teks merupakan salah satu cabang penting dalam Natural Language Processing (NLP), khususnya dalam memahami pesan tersirat pada pidato politik.
Pidato politik tidak hanya menyampaikan informasi, tetapi juga emosi yang bertujuan membentuk opini publik.
Penelitian ini memanfaatkan model RoBERTa untuk mengklasifikasikan emosi dalam pidato Presiden Joko Widodo selama periode 2014Ae2024.
Data diperoleh dari transkrip video resmi, menghasilkan 2952 paragraf yang telah dilabeli secara otomatis menggunakan model pre-trained `Indonesian-roberta-base-emotion-classifier`.
Langkah praproses dilakukan melalui tahapan cleaning, lowercasing, tokenisasi, dan one-hot encoding.
Selanjutnya, model RoBERTa dilakukan fine-tuning menggunakan batch size 16, learning rate 1e-5, dan 3 epoch.
Evaluasi performa dilakukan dengan confusion matrix dan metrik akurasi, presisi, recall, dan F1-score.
Hasil menunjukkan model mampu mengklasifikasikan lima emosi .
nger, fear, happy, love, dan sadnes.
dengan akurasi 90%, presisi 91%, recall 90%, dan F1-score 0,91.
Temuan ini menunjukkan bahwa RoBERTa efektif digunakan untuk klasifikasi emosi dalam teks pidato politik berbahasa Indonesia dan memberikan kontribusi terhadap pengembangan NLP dalam konteks komunikasi Kata kunci: Bahasa Indonesia.
Fine-Tuning.
Klasifikasi Emosi.
Natural Language Processing.
Pidato Politik.
RoBERTa
EMOTION CLASSIFICATION IN POLITICAL SPEECH TEXTS USING THE
ROBERTa MODEL Abstract Emotion analysis in texts is a significant branch of Natural Language Processing (NLP), particularly in understanding implicit messages in political speeches.
Political speeches not only convey information but also express emotions to shape public opinion.
This study utilizes the RoBERTa model to classify emotions in the speeches of President Joko Widodo during the 2014Ae2024 period.
The dataset was obtained from official video transcripts, resulting in 2952 paragraphs labeled automatically using the pre-trained model `Indonesian-robertabase-emotion-classifier`.
The preprocessing stages included text cleaning, lowercasing, tokenization, and one-hot The RoBERTa model was fine-tuned using a batch size of 16, a learning rate of 1e-5, and 3 epochs.
Performance evaluation was conducted using a confusion matrix and metrics such as accuracy, precision, recall, and F1-score.
The results show that the model can classify five emotions .
nger, fear, happy, love, and sadnes.
with 90% accuracy, 91% precision, 90% recall, and an F1-score of 0.
These findings demonstrate that RoBERTa is effective for emotion classification in Indonesian political speech texts and contributes to the development of NLP in political communication contexts.
Keywords: Indonesian.
Fine-Tuning.
Emotional Classification.
Natural Language Processing.
Political Speech.
RoBERTa teks pidato politik saat ini mempunyai peran penting terhadap dinamika sosial dan politik di masyarakat.
Salah satu bidang yang mengalami kemajuan pesat adalah Natural Language Processing (NLP) adalah bidang multidisipliner yang berfokus pada upaya membuat mesin mampu memahami, menafsirkan, dan menghasilkan bahasa manusia dengan cara yang berakna dan relevan secara konteks (Kinzler.
Rayhan
PENDAHULUAN
Teknologi informasi dan ilmu komputer menjadi salah satu bidang yang berkembang pesat dalam beberapa dekade terakhir.
Cara orang memandang dan menganalisis data terutama data berbasis teks pun ikut berubah.
Tidak hanya sekadar hal yang bersifat akademis, klasifikasi emosi pada 212 Jurnal Teknologi Informasi dan Ilmu Komputer (JTIIK).
Vol.
No.
Februari 2026, hlm.
and Rayhan, 2.
Salah satu aplikasi utama NLP adalah analisis emosi .
motion analysi.
, yaitu proses mengidentifikasi dan mengklasifikasikan emosi dalam suatu teks.
Klasifikasi emosi adalah proses untuk mengidentifikasi dan menetapkan jenis emosi tertentu yang terkandung dalam suatu kalimat atau paragraf dan juga kemampuan untuk memprediksi emosi dari data teks secara akurat yang memungkinkan memperoleh wawasan mendalam terhadap sentimen dan membuat keputudan yang lebih tepat berdasarkan ekspresi emosional yang dianalisis (Subramani, 2.
Selain itu, klasifikasi emosi pada data teks pidato politik juga memiliki relevansi yang tinggi dalam konteks sosial dan Pidato politik sering kali digunakan sebagai alat untuk memengaruhi pendengar, menyampaikan pesan, dan membangkitkan reaksi tertentu (Makuta.
Dengan membaca emosi dalam pidato, politisi bisa merancang strategi komunikasi yang lebih tepat sasaran dan mengukur dampaknya ke publik.
Klasifikasi emosi dalam pidato politik penting untuk mengungkap bagaimana politisi menyusun pesan untuk membangun hubungan emosional dengan masyarakat dan memperkuat citra Emosi seperti optimisme, kemarahan atau kesedihan dalam pidato dapat membentuk persepsi publik.
NLP memang sudah banyak membantu untuk analisis emosi pada teks, namun pendekatan lama yang hanya mengandalkan leksikon sering gagal untuk menangkap nuansa emosi, apalagi dalam konteks pidato politik.
Saif M.
Mohammad pernah menyoroti soal ini, bahwa pendekatan berbasis kamus mempunyai batasan terutama saat harus memahami makna emosional yang sangat bergantung pada konteks dan makna tersembunyi di balik kalimat.
Ia juga menekankan bahwa penggunaan leksikon harus dilakukan dengan hati-hati karena asosiasi emosi dalam leksikon umumnya didasarkan pada makna dominan kata dan persepsi mayoritas (Mohammad.
Penelitian dari (Adoma.
Henry and Chen, 2.
membuktikan RoBERTa sebagai model dengan performa terbaik untuk klasifikasi emosi berbasis teks, mengungguli BERT.
XLNet, dan DistilBERT pada dataset ISEAR bahasa Inggris.
RoBERTa mencatat akurasi 74,31% lebih tinggi dari model lain dalam mengenali emosi dari teks.
Studi tersebut menyimpulkan bahwa RoBERTa adalah kandidat optimal untuk klasifikasi emosi.
Penelitian tentang klasifikasi emosi berbasis teks dalam bahasa Indonesia masih relatif terbatas dibandingkan dengan bahasa Inggris.
Penelitian yang dilakukan oleh (Basbeth, 2.
membandingkan performa tiga model transformer populer, yaitu BERT.
RoBERTa, dan DistilBERT.
Setelah diuji di dataset bahasa Indonesia .
ndo4B) dengan finetuning dan hyperparameter tuning.
RoBERTa meraih akurasi 90,83% dan F1-score 91%.
Angka ini melampaui BERT yang bernilai F1-score sebesar 90% dan DistilBERT dengan nilai F1-score sebesar Meskipun penelitian yang dilakukan oleh (Basbeth, 2.
membuktikan keunggulan RoBERTa dalam klasifikasi emosi teks berbahasa Indonesia secara umum, penerapannya dalam konteks teks politik terutama pidato presiden masih jarang Penelitian soal klasifikasi emosi dalam teks pidato berbahasa Indonesia, apalagi pidato kenegaraan, masih sangat terbatas.
Kebanyakan studi sebelumnya lebih fokus ke teks-teks umum, seperti ulasan produk, media sosial, atau berita.
Belum banyak penelitian yang menyoroti terkait wacana politik formal.
Selain itu belum banyak penelitian yang secara spesifik tentang emosi dalam pidato Presiden Indonesia menggunakan pendeketan transformer seperti RoBERTa, meskipun model ini terbukti efektif pada data berbahasa Indonesia di domain umum.
Transformer muncul sebagai arsitektur model yang mempercepat proses pelatihan pembelajaran mesin, terutama untuk data berurutan seperti teks.
Model ini tidak lagi tergantung pada mekanisme rekursi seperti Recurrent Neural Network (RNN) dan Long Short-Term Memory (LTSM) yang cenderung melambat saat memproses data secara berurutan (Vaswani et al.
, 2.
Oleh karena itu memilih pidato Presiden sebagai objek penelitian menjadi kontribusi ilmiah yang signifikan untuk NLP berbasis bahasa Indonesia.
Selain itu studi tentang klasifikasi emosi pada pidato politik Presiden di Indonesia masih sedikit, terutama yang menggunakan metode transformer salah satunya metode RoBERTa.
Penelitian ini memanfaatkan metode RoBERTa sebagai pendekatan modern untuk menjawab kebutuhan klasifikasi emosi yang kontekstual dan akurat, khususnya dalam bahasa Indonesia yang digunakan untuk mengevaluasi muatan emosional dalam pidato Presiden Joko Widodo sepanjang dua periode kepemimpinannya.
Penelitian ini memiliki kontribusi unik dengan menerapkan metode RoBERTa untuk pertama kalinya secara terfokus pada teks pidato politik berbahasa Indonesia Presiden Indonesia.
Novelty dalam penelitian ini yaitu menggunakan metode RoBERTa dalam mengklasifikasi emosi pada data teks pidato politik yang belum pernah dilakukandan juga dataset yang digunakan juga berasal dari hasil transkrip video menjadi teks yang diambil dari youtube secretariat kabinet.
Banyak penelitian sebelumnya hanya menganalisis sentimen dari dataset publik atau komentar media sosial dalam Bahasa Indonesia dengan metode machine learning, atau mengklasifikasi emosi pada dataset bahasa Inggris memakai deep learning.
Di penelitian ini, pendekatan Deep Learning menggunakan RoBERTa dipakai untuk mengklasifikasi emosi pada dataset unik, yaitu berdasarkan transkrip video pidato politik yang diubah menjadi teks.
Hal inilah yang menjadi kebaruan dari riset ini baik dari sisi metode maupun Saputro, dkk.
Klasifikasi Emosi pada Data A 213
METODE PENELITIAN
Penelitian ini dilaksanakan melalui enam tahapan, yaitu: pengumpulan data, pelabelan emosi secara otomatis, praproses data, pelatihan dan penyetelan lanjutan .
ine-tunin.
model RoBERTa, dan evaluasi model.
Berikut penjelasan detail tiap 1 Pengumpulan Data Data yang digunakan dalam penelitian ini berupa teks pidato politik Presiden Joko Widodo pada periode 2014-2024.
Sumber data adalah dari kanal Youtube Sekretariat Kabinet, khusus video rapat terbatas, total ada 273 video.
Semua video tersebut kemudian ditranskripsi otomatis menjadi teks menggunakan aplikasi Sound Type AI, cukup tempel link dari video saja.
Setelah semua video berubah menjadi teks, kemudian pecah setiap videonya ke dalam paragraf-paragraf dengan bantuan library Indonesian-sbert-large (Ihsan, 2.
Dari sini, terkumpul 1645 paragraf.
Mengingat distribusi data yang belum seimbang untuk kebutuhan klasifikasi, dilakukan proses data augmentation dengan menghasilkan data sintesis dari kelas minoritas menggunakan metode yang dijelaskan oleh (Synchez Caparrys, 2.
Setelah proses tersebut, jumlah total paragraf meningkat menjadi 2.
952 Dataset tema rapat terbatas dipilih karena hanya Presiden Joko Widodo yang berbicara di situ.
Kalau mengambil tema video lain seperti siaran pers, bisa saja ada pembicara lain, dan itu tidak sesuai dengan fokus penelitian, yaitu klasifikasi emosi pidato Presiden Jokowi.
Untuk pembagian dataset menggunakan skema 80% training, 10% validation dan 10% testing.
2 Labeling Emosi Otomatis Tahap berikutnya melakukan labeling emosi otomatis dengan model Indo RoBERTa Emotion Classifier (Limcorn, 2.
lewat pipeline textclassification dari huggingface.
Model ini menghasilkan lima label emosi: anger, fear, happy, love dan sadness.
Labeling otomatis ini sangat menghemat waktu untuk ribuan data teks.
Namun labeling otomatis juga memiliki keterbatasan yang perlu dicermati, salah satunya soal potensi bias Bias model ini dapat muncul karena pada pidato politik ini seringkali menggunakan Bahasa formal yang bisa saja bisa saja ditafsirkan berbeda oleh model yang dilatih dengan konteks percakapan umum atau teks social media.
Untuk meminimalisir kesalahan labeling dilakukan pengecekan kembali secara manual pada seluruh data.
3 Praproses Data Setelah data terlabeli, berikutnya melanjutkan ke praproses agar data siap diproses model.
Ada beberapa tahap:
Cleaning text untuk membersihkan teks dari berbagai karakter khusus, tanda baca, angka yang gak relevan, simbol tidak penting, dan menghapus spasi berlebih menggunakan library spaCy (Matthew et al.
, 2.
Lowercasing mengubah seluruh huruf besar pada teks menjadi huruf kecil.
Tokenisasi untuk Langkah awal dalam proses prapemrosesan NLP yang melibatkan pemecahan teks menjadi unit-unit yang lebih kecil, biasanya berupa kata atau sub kata yang disebut token (Kinzler.
Rayhan and Rayhan, 2.
Langkah selanjutnya adalah tokenisasi yang digunakan untuk penerapan RoBERTa.
Setelah diubah kembali menjadi string kemudian dilakukan teknik one hot encoding yaitu mengubah label emosi menjadi format vektor biner 0 dan 1 yang menampilkan ada atau tidak ada kategori dalam sampel data tersebut untuk memudahkan proses pembelajaran model (Andika Surya.
Cahyanto and Muharom, 2.
4 Pelatihan dan Fine-tuning model RoBERTa Dalam proses klasifikasi emosi menggunakan RoBERTa (Huggingface.
RobertaTokenizer,RoBERTaForSequenceClassificati on.
Trainer, dan TrainerArguments.
Proses training menggunakan Torch (Facebook AI Research, 2.
sebagai framework utama serta AdamW (Loshchilov and Hutter, 2.
untuk optimizer dan get linear schedule with warmup untuk pengaturan learning rate, softmax dari scipy.
special digunakan untuk menghitung probabilitas dari output model.
Pada tahap ini dilakukan pelatihan dan fine-tuning model RoBERTa yaitu Roberta base dengan spesifikasi 12 hidden layers yaitu lapisan dalam jaringan yang mengubah input melakukan transformasi nonlinier sehingga jaringan dapat mempelajari pola kompleks dari data (Goodfellow.
Bengio and Courville, 2.
12 model multi head attention adalah kombinasi dari beberapa attention heads yang bekerja secara parallel setiap head belajar menyoroti informasi yang berbeda dari input lalu semua hasilnya digabungkan untuk membentuk representasi akhir yang lebih kompleks (Vaswani et al.
, 2.
, 768 model hidden size, 512 panjang token dan 50265 vocab size (Liu et , 2.
Fine-tuning yaitu teknik model menggunakan model yang sudah terlatih untuk tugas tertentu dan menyatukan beberapa layer terakhir dari model tersebut untuk memecahkan tugas baru dan fine-tuning bisa meningkatkan kinerja model (Sun et , 2.
Fine-tuning akan dilakukan dengan menambahkan output layer dan loss function cross entropy, dengan hyperparameter batch size 16, learning rate 1e-5, dan epoch 3.
5 Evaluasi Model Evaluasi model dilakukan untuk menilai performa model dalam mengklasifikasikan emosi pada teks pidato.
Evaluasi ini menggunakan confusion matrix yang berisi hasil kelas prediksi dan 214 Jurnal Teknologi Informasi dan Ilmu Komputer (JTIIK).
Vol.
No.
Februari 2026, hlm.
hasil kelas sebenarnya yang menghitung semua klasifikasi pada setiap model (Xu.
Zhang and Miao.
Confusion matrix adalah struktur tabel berbentuk matriks persegi yang digunakan untuk mengevaluasi kinerja model klasifikasi yang barisnya menunjukkan label actual model sedangkan kolom menunjukkan prediksi model.
Model confusion matrix yang digunakan adalah model multiclass confusion matrix karena memiliki lebih dari 2 kelas (Sathyanarayanan and Tantri, 2.
Pada multiclass confusion matrix mempunyai 4 kombinasi berbeda dari nilai prediksi yaitu true positive.
Ketika nilai sebenarnya dan prediksi positif, false positive ketika prediksi bernilai positif tetapi nilai sebenarnya negative, true negative ketika nilai sebenarnya dan prediksi negatif, false negative ketika nilai prediksi negatif tetapi nilai sebenarnya positif.
Pada evaluasi model ini menggunakan confusion matrix dan empat metrik utama yaitu akurasi, presisi, recall dan, f1score.
HASIL DAN PEMBAHASAN
Bagian ini menyajikan hasil dari setiap tahapan penelitian, mulai dari pengumpulan data, praproses data, pelatihan dan penyetelan .
ine-tunin.
model RoBERTa hingga evaluasi model serta hasil analisis klasifikasi emosi.
Berikut penjelasan secara lengkap.
1 Hasil Pengumpulan Data Data penelitian terdiri dari 2952 paragraf teks hasil penyeimbangan .
ata balancin.
sebagaimana dijelaskan pada subbab 2.
Data bersumber dari transkrip video pidato politik Presiden Joko Widodo dalam forum rapat terbatas pada periode 2014-2024.
Kemudian dataset dibagi menjadi tiga bagian 80% untuk training, 10% untuk validation dan 10% untuk Distribusi jumlah data per label emosi disajikan pada Tabel 1 berikut.
Tabel 1 Distribusi Data per Label Emosi Label Anger Fear Happy Love Sadness Training Validation Testing Dataset akhir terdiri atas lima kategori emosi, dengan distribusi sebagai berikut: sadness merupakan label terbanyak dengan 733 paragraf .
8%) sedangkan fear menjadi yang paling sedikit dengan 500 paragraf .
9%).
Label yang lain antara lain: happy .
%), anger .
25%) dan love .
%).
Distribusi ini Gambar memperlihatkan keseimbangan relatif antar label Gambar 1 Keseimbangan data per label Data hasil pengumpulan dapat diakses pada laman zenodo (Saputro.
Arifianto and Cahyanto, 2.
2 Hasil Praproses Data Sebelum melakukan training, langkah awal yang dilakukan yaitu praproses text.
Hasil dari praproses text terdapat pada tabel 2.
Pada kolom paragraf asli berisi salah satu paragraf sebelum dilakukan praproses dan kolom praproses text sesudah dilakukan praproses.
Praproses dilakukan dengan cara cleaning text, lowercasing dan tokenisasi seperti yang telah dijelaskan pada subbab 2.
Contoh hasil praproses disajikan pada Tabel 2.
Tabel 2 Praproses dan label emosi Paragraf asli Praproses text Assalamualaikum wabarakatuh Rapat terbatas pada siang hari ini akan kita bahas lagi mengenai LRT di Palembang di Bandung dan di Jabodetabek Ini adalah sebuah rapat yang ke6 Artinya perlu harus ratas dan harus saya wabarakatuh rapat terbatas pada siang hari ini akan kita bahas lagi mengenai lrt di palembang di bandung dan di jabodetabek ini adalah sebuah rapat yang ke6 artinya perlu harus ratas dan harus saya putuskan Setelah praproses selesai, label emosi diubah menjadi representasi numerik melalui teknik one-hotencoding, sebagaimana ditunjukkan pada Tabel 3.
One-hot-encoding adalah teknik representasi numerik dipresentasikan sebagai vektor biner.
Tabel 3 Label emosi dan one hot encoding Label Emosi One hot encoding Anger Fear Happy Love Sadness Teknik one-hot-encoding digunakan agar data kategorikal seperti label emosi dapat diolah secara matematis oleh pemodelan pembelajaran mesin.
Saputro, dkk.
Klasifikasi Emosi pada Data A 215 3 Hasil Hyperparameter dan Fine-tuning Proses pelatihan menggunakan model RoBERTa dengan konfigurasi hyperparameter ditunjukkan pada Tabel 4.
Tabel 4 Arsitektur Hyperparameter RoBERTa Batch Dropout Att Epoch Learning Size Dropout Rate RoBERTa Model Pemilihan batch size sebesar 16 didasarkan pada kestabilan pelatihan di perangkat CPU dengan kapasitas terbatas, sekaligus efisien untuk dataset yang kurang dari 10.
000 data.
Untuk mengatur seberapa cepat model belajar dari setiap data digunakan nilai learning rate dalam fine-tuning yang optimal berada pada range 1e-5 hingga 5e-5 (Devlin et al.
, 2.
Nilai yang terlalu tinggi dapat membuat model belajar terlalu cepat sedangkan nilai yang terlalu rendah bisa membuat proses belajar menjadi terlalu lambat dan kurang efektif.
Dalam kasus ini karena dataset yang digunakan tergolong kecil jadi menggunakan learning rate 1e-5 untuk mencegah adanya indikasi overfitting.
Selanjutnya Epoch 3 digunakan karena dengan dataset 2952 dan bacth size 16, setiap 1 epochnya ada 184 iterasi, artinya jika dilakukan sebanyak 3 epoch maka totalnya 552 iterasi yang berarti sudah cukup untuk mencapai konvergensi tanpa kehilangan generalisasi model.
Arsitektur penyetelan lanjutan model ditampilkan pada Tabel 5.
Gambar 2 Training dan validation loss Memasuki epoch kedua, peningkatannya tidak terlalu besar, ini menunjukkan bahwa model tetap belajar dan memperbaiki dirinya.
Kemudian pada epoch ketiga terlihat ada kenaikan kecil dalam performa yang menunjukkan bahwa model membaik.
Pada garis grafik ini menunjukkan perkembangan yang stabil dan konsisten.
Tidak ada gejala penurunan performa atau ketidakseimbangan yang biasanya terjadi saat model terlalu menghafal data.
Tabel 5 Arsitektur Fine-tuning RoBERTa Model Layer Input_ids = 256 Attention_mask = 256 RoBERTa RoBERTa = 768 Output_layer = 5 4 Hasil Kinerja Training Hyperparameter dan Fine-tuning RoBERTa Selama proses pelatihan model menunjukkan performa yang stabil dan konvergen.
Gambar 2 memperlihatkan penurunan nilai loss pada data pelatihan dan validasi secara konsisten di setiap Pada epoch pertama terjadi penurunan tajam yang menunjukkan peningkatan kemampuan model dalam mengenali pola.
Memasuki epoch kedua laju peningkatan mulai melambat namun tetap konsisten, model terus membaik meskipun tidak secepat pada epoch pertama.
Pola ini terlihat pada kedua garis yang terus menurun dengan jarak antar garis yang tetap seimbang, yang artinya proses stabil tanpa ada indikasi overfitting.
Pada epoch ketiga garis validasi tetap menurun, hal ini menunjukkan bahwa model benar-benar memahami pola dasar dari data yang Disisi Gambar perkembangan nilai validation accuracy.
Epoch pertama model sudah mencapai hasil yang cukup baik, ini mengindikasikan bahwa sejak awal model sudah mampu menangkap pola dasar dari data.
Gambar 3 Validation accuracy 5 Hasil Klasifikasi Emosi dan Evaluasi Kinerja Model Hasil klasifikasi emosi pada RoBERTa dapat dilihat pada Gambar 4 .
onfusion matri.
, berikut Anger Sebanyak 43 data menunjukkan label anger dengan benar (True Positiv.
tetapi terdapat 17 data yang seharusnya diklasifikasikan sebagai anger menjadi emosi lain yaitu 3 fear, 5 love dan 9 sadness (False Negativ.
Sedangkan 2 data dari label lain sebagai anger (False Positiv.
yaitu 2 love, 234 data memang bukan anger berhasil diprediksi dengan benar (True Negativ.
Fear Sebanyak 43 data menunjukkan emosi fear dengan benar (True Positiv.
, 7 data yang seharusnya fear tapi salah diklasifikasikan ke label lain 5 love dan 2 sadness (False Negativ.
6 data yang bukan fear yang masing-masing berasal dari 3 anger, 1 love dan 2 sadness salah diprediksi sebagai fear (False 216 Jurnal Teknologi Informasi dan Ilmu Komputer (JTIIK).
Vol.
No.
Februari 2026, hlm.
Positiv.
dan sebanyak 240 data yang bukan fear sebagai bukan fear (TN).
Happy Sebanyak 50 data menunjukkan emosi happy dengan benar (True Positiv.
, tidak ada data salah yang seharusnya diklasifikasikan ke emosi lain (False Negativ.
Tidak ada data dari label lain salah diprediksi sebagai happy (False Positiv.
, dan sebanyak 246 data yang bukan happy berhasil diklasifikasi bukan happy (True Negativ.
Love Sebanyak 58 data menunjukkan label love dengan benar (True Positiv.
, ada 4 data label love yang diklasifikasikan sebagai emosi lain yaitu 2 anger, 1 fear, 1 sadness (False Negativ.
Ada 10 data dari label lain yang salah di prediksi sebagai label love yaitu 5 anger dan 5 fear (False Positiv.
, sebanyak 224 data yang bukan label love berhasil diklasifikasi dengan benar sebagai bukan label love (True Negativ.
Sadness Sebanyak 72 data menunjukan label sadness dengan benar (True Positiv.
, ada 2 data yang sebenarnya sadness tetapi salah diklasifikasikan ke emosi lain 2 fear (False Negativ.
Terdapat 12 data dari label lain 9 anger, 2 fear, 1 love yang salah diklasifikasikan sebagai sadness (False Positiv.
, dan sebanyak 210 data yang bukan sadness berhasil diklasifikasi dengan benar sebagai bukan sadness (True Negativ.
Gambar 4 Confusion matrix Pada Gambar 5 menyajikan classification report yang mencakup precision, recall, dan f1-score untuk masing-masing label.
Label happy memperoleh skor sempurna di semua metrik yaitu precision, recall, dan f1-score sebesar 1.
00, menunjukkan bahwa model sangat efektif dalam mengenali label happy.
Label sadness juga menunjukkan performa sangat baik dengan f1-score sebesar 0.
Rata-rata nilai makro untuk precision, recall, dan f1-score masing-masing 91, 0.
90, dan 0.
90 sedangkan akurasi keseluruhan model adalah 90%.
Hal ini menunjukkan bahwa model bekerja cukup optimal dalam mengenali emosi dalam teks pidato politik berbahasa Indonesia.
Gambar 5 Classification report Pada tabel 6 ditampilkan berbagai pasangan emosi yang sering mengalami kekeliruan dalam proses pengenalan emosi oleh model.
Jumlah kesalahan yang tercatat berasal dari hasil analisis yang ditunjukkan pada gambar 4 confusion matrix.
Kesalahan yang paling banyak terjadi antara label emosi anger dan sadness, untuk lebih jelasnya dapat dilihat pada tabel berikut.
Tabel 6 Pasangan Kesalahan Emosi
Pasangan Emosi Kesalahan % Penyebab Utama AngerIiSadness 9 (FN) A Model mungkin kurang sensitif
terhadap nada
A Tidak ada kata eksplisit seperti AumarahAy AngerIiLove 5 (FN) 8,3% A Model kurang peka terhadap A Kritik
sering salah AngerIiFear
3 (FN)
A Model lebih sensitif terhadap kata-kata yang ancaman atau A Lebih dekat dengan fear mengenali emosi marah yang tersirat secara FearIiLove 5 (FN) A Model cenderung keliru karena tidak mengenali emosi implisit dalam teknokratik, dan A Terlalu kata kunci positif atau Saputro, dkk.
Klasifikasi Emosi pada Data A 217
Pasangan Emosi
Kesalahan FearIiSadness 2 (FN) LoveIiSadness 1 (FN) 1,6% LoveIiAnger 2 (FN) 3,2% SadnessIiFear
2 (FN)
2,7%
Penyebab Utama A Model dan kesedihan A Model tidak dilatih cukup pada emosi love yang berbahasa formal jadi gagal mengenali love dalam konteks seperti pidato A Banyak model emosi terutama jika tidak dilatih kalimat tegas sebagai marah A Model kesulitan kesedihan secara implisit dan alternatif lain seperti fear karena kalimat disusun dalam gaya naratif formal bukan 6 Analisis Berdasarkan Karakteristik Linguistik 1 Kesalahan pada Kalimat Kompleks Contoh paragraf : AuAssalamualaikum warahmatullahi Rapat terbatas pada siang hari ini akan kita bahas lagi mengenai LRT di Palembang, di Bandung, dan di Jabodetabek.
Ini adalah sebuah rapat yang ke-6.
Artinya perlu harus ratas dan harus saya Ay Label asli : Anger .
Label prediksi : Sadness .
Analisis :
Paragraf ini memuat gabungan antara informasi dan keputusan tegas.
Kalimat "sudah rapat ke-6" dan "harus saya putuskan" menunjukkan adanya ketegasan tinggi yang mengandung emosi marah.
Karena bentuknya berupa kalimat informatif dan tidak menggunakan kata-kata kasar atau ekspresif, model tidak secara langsung mengenali nada "anger" dan pada bagian "bahas lagi", "rapat ke-6" yang terdengar lebih ke arah lelah atau putus asa lalu ditafsirkan sebagai sadness.
Kesalahan pada Bahasa implisit Emosi "anger" pada contoh paragraf diatas tidak disampaikan melalui kata emosional secara eksplisit tetapi melalui struktur kalimat dan konteks keputusan, seperti "ini adalah sebuah rapat yang ke6" menunjukan kejenuhan atau tekanan, lalu "harus saya putuskan" menyiratkan ketegasan atau tekanan.
Namun karena paragraf ditulis dalam gaya formal, netral dan tanpa ekspresi emosional langsung model sulit mengenali emosi sebenarnya.
Kesalahan pada konteks Panjang Dalam penelitian ini mempunyai rata-rata panjang token yang benar 61,50 token dan rata- rata panjang token yang salah 66,89 token.
Perbedaan ini menunjukan bahwa semakin panjang teks semakin besar kemungkinan model melakukan kesalahan Hal ini bisa terjadi karena emosi tersebar dalam paragraf yang panjang tidak langsung muncul di awal, model kesulitan mempertahankan konteks emosional secara utuh pada paragraf yang panjang, adanya perpaduan emosi sehingan membuat model
KESIMPULAN
Penelitian ini bertujuan untuk melakukan klasifikasi emosi pada teks pidato politik berbahasa Indonesia dengan memanfaatkan model RoBERTa.
Data penelitian terdiri atas 2952 paragraf pidato Presiden Joko Widodo yang diperoleh dari transkrip rapat terbatas periode 2014-2024.
Lima kategori emosi yang digunakan meliputi anger, fear, happy, love dan sadness.
Pelabelan awal dilakukan secara otomatis menggunakan library Indonesian-robertabase-emotion-classifier yang tersedia pada platform Hugging Face.
Tahapan pengolahan data meliputi praproses teks, penyeimbangan distribusi data, dan konversi label ke dalam bentuk one hot encoding.
Model RoBERTa dilatih dengan konfigurasi hyperparameter dengan batch size sebesar 16, dropout 0,2, attention dropout 0,1, learning rate 1e-5 dan jumlah epoch Hasil pelatihan menunjukkan bahwa model memiliki performa stabil dan tidak mengalami gejala Berdasarkan hasil evaluasi, diperoleh akurasi sebesar 90% dengan rata-rata precision sebesar 91%, recall sebesar 90% dan F1-score sebesar 90%.
Label happy bahkan mendapatkan skor sempurna 1,00 pada seluruh metrik evaluasi, sementara label lainnya juga memperoleh skor yang tinggi dan konsisten.
Secara umum, hasil penelitian ini membuktikan bahwa pendekatan deep learning berbasis transformer, khususnya model RoBERTa, efektif mengenali emosi tersirat pada data teks pidato politik berbahasa Indonesia yang bersifat formal dan Temuan ini menjadi kontribusi penting dalam pengembangan kajian Natural Language Processing (NLP), khususnya yang berfokus pada analisis emosi dan wacana politik dalam bahasa Indonesia.
218 Jurnal Teknologi Informasi dan Ilmu Komputer (JTIIK).
Vol.
No.
Februari 2026, hlm.
Selain itu, untuk bidang keilmuan, penelitian ini memberikan kontribusi terhadap NLP berbasis transformer khususnya RoBERTa dan menambah literatur tentang NLP dalam analisis teks politik terutama dalam konteks bahasa Indonesia.
Penelitian ini bersifat akademik yang memberikan manfaat dalam analisis pidato politik.
Metode RoBERTa yang digunakan dapat dapat membantu peneliti maupun lembaga pemerintah dalam mengidentifikasi pola emosi dalam teks pidato politik.
Saran untuk penelitian selanjutnya adalah melakukan validasi ulang yang dilakukan oleh ahli bahasa untuk meningkatkan akurasi dan mengurangi potensi bias.
Selain itu, penelitian mendatang disarankan untuk menambahkan kategori emosi lain yang lebih beragam mencakup berbagai konteks komunikasi politik seperti debat publik, wawancara, atau pidato kebijakan, untuk meningkatkan kemampuan generalisasi model terhadap variasi bahasa dan gaya tutur.
Selanjutnya perlu dilakukan eksplorasi terhadap model transformer lain seperti IndoBERT.
XLM-RoBERT atau DistilBERT guna mengetahui kinerja dan arsitektur yang paling optimal terhadap karakteristik bahasa Indonesia.
DAFTAR PUSTAKA