Sienna (E -ISSN: 2745-9861 | P-ISSN: 2745-987X) https://jurnal.
id/index.
php/sienna DOI: https://doi.
org/10.
47637/sienna.
Analisis Sentimen Masyarakat terhadap Kebijakan Penggunaan BBM Campuran Etanol di X (Twitte.
Menggunakan Transformers (IndoBERT) Arraffy Abbyu Arrasyid1.
Andreas Pradana2 rasyid@gmail.
com1, andreas.
perdana@dharmawacana.
Universitas Dharma Wacana.
Indonesia Universitas Dharma Wacana.
Indonesia *Korespondensi:
rasyid@gmail.
Abstrak The transition toward sustainable energy has become a strategic Status Artikel:
priority for Indonesia, particularly through the implementation of Diterima: 15-05-2026 bioethanol-blended fuel policies.
However, public perception toward Direvisi: 29-05-2026 this policy remains diverse and dynamic, especially on social media Diterima: 02-06-2026 platforms such as X.
This study aims to analyze public sentiment Kata Kunci:
regarding the implementation of bioethanol-blended fuel policies Natural language processing.
and to compare the performance of Support Vector Machine (SVM) Support vector machine.
and IndoBERT in sentiment classification.
Grid search.
This research adopts a quantitative experimental approach using Dual pipeline.
Natural Language Processing (NLP).
A total of 2,501 tweets were VADER lexicon.
collected through web crawling and processed using a dual pipeline preprocessing approach.
Sentiment labeling was conducted using the VADER method with manual validation.
SVM was used as the baseline model, while IndoBERT was used as the Transformer-based Additional experiments using class weighting and Synthetic Minority Oversampling Technique (SMOTE) were conducted to evaluate the effect of class imbalance on model performance.
Model performance was evaluated using accuracy, precision, recall.
F1score, macro-F1, weighted-F1, and confusion matrix.
The results show that IndoBERT outperforms SVM, achieving an accuracy of 82.
83% and a weighted F1-score of 82.
72%, compared to SVM with an accuracy of 72.
46% and a weighted F1-score of SMOTE improved SVM performance to 76.
85% accuracy 07% weighted F1-score, but remained lower than IndoBERT.
The sentiment distribution indicates that public opinion is predominantly positive, although technical, economic, and infrastructure concerns remain.
A 2026 Arraffy Abbyu Arrasyid.
Andreas Pradana This work is licensed under a Creative Commons Attribution-ShareAlike 4.
0 International License.
PENDAHULUAN
Ketahanan energi dan perubahan iklim merupakan isu strategis global yang menuntut transformasi sistem energi menuju sumber yang lebih berkelanjutan.
Indonesia, sebagai negara Jurnal Sienna Volume 7 Nomor 1 Arraffy Abbyu Arrasyid.
Andreas Pradana Analisis Sentimen Masyarakat terhadap KebijakanA berkembang dengan tingkat konsumsi energi yang terus meningkat, masih menghadapi ketergantungan signifikan terhadap bahan bakar fosil impor (Herindrasti et al.
, 2.
Kondisi ini tidak hanya menekan neraca perdagangan, tetapi juga menjadi hambatan dalam pencapaian target Net Zero Emission (NZE) tahun 2060 (Zahira & Fadillah, 2.
Oleh karena itu, pemerintah mendorong transisi energi melalui pemanfaatan Energi Baru Terbarukan (EBT), salah satunya melalui kebijakan penggunaan bioetanol sebagai campuran bahan bakar minyak (BBM) sebagaimana diatur dalam Peraturan Presiden Nomor 40 Tahun 2023.
Implementasi kebijakan tersebut diwujudkan melalui peluncuran Pertamax Green 95 (E.
serta rencana peningkatan kadar campuran menjadi E10.
Meskipun kebijakan ini diarahkan untuk mendukung energi bersih dan mengurangi ketergantungan impor BBM, respons masyarakat menunjukkan dinamika yang kompleks (Chaerul et al.
, 2.
Di satu sisi, kebijakan ini dipandang sebagai langkah progresif menuju keberlanjutan energi.
Namun di sisi lain, muncul kekhawatiran terkait dampak teknis terhadap kendaraan, potensi peningkatan biaya operasional, serta isu food versus fuel akibat pemanfaatan bahan baku pangan untuk energi (Adit, 2.
Kompleksitas respons ini menunjukkan pentingnya analisis berbasis data untuk memahami persepsi publik secara objektif.
Media sosial, khususnya platform X (Twitte.
, telah menjadi ruang diskursif utama bagi masyarakat dalam menyampaikan opini terhadap kebijakan publik.
Karakteristiknya yang realtime, terbuka, dan berbasis teks menjadikannya sumber data yang kaya untuk analisis sentimen (Laksono & Rahmadani, 2.
Namun demikian, teks pada media sosial memiliki sifat tidak terstruktur dan mengandung berbagai bentuk bahasa non-standar seperti slang, singkatan, serta ekspresi informal lainnya, sehingga menimbulkan tantangan signifikan dalam menangkap makna kontekstual secara akurat.
Penelitian sebelumnya menunjukkan bahwa analisis sentimen berbasis machine learning telah banyak digunakan untuk memahami opini publik pada media sosial.
Studi oleh (Obie & Abu Jihad Plaza R.
, 2.
menunjukkan bahwa algoritma Support Vector Machine (SVM) mampu menghasilkan performa klasifikasi yang lebih baik dibandingkan Naive Bayes dengan akurasi mencapai 68,40%.
Temuan ini menunjukkan bahwa pendekatan machine learning efektif dalam menangkap pola opini publik berbasis data teks, khususnya pada isu sosial yang berkembang di media digital.
Selain itu, penelitian lain juga menunjukkan bahwa metode klasifikasi tradisional masih memiliki keterbatasan dalam menangkap hubungan semantik antar kata karena menggunakan pendekatan berbasis bag-of-words yang mengabaikan urutan kata (Darwis et al.
, 2.
Seiring perkembangan Natural Language Processing (NLP), model berbasis Transformer seperti Bidirectional Encoder Representations from Transformers (BERT) yang diperkenalkan oleh (Devlin et al.
, 2.
menunjukkan kemampuan superior dalam memahami konteks bahasa melalui mekanisme self-attention.
Pendekatan ini memungkinkan representasi teks yang bersifat kontekstual dan bidirectional, sehingga mampu menangkap makna kata berdasarkan konteks kalimat secara lebih akurat.
Dalam konteks bahasa Indonesia.
IndoBERT yang dikembangkan oleh (Koto et al.
, 2020.
Santika et al.
, 2.
telah dilatih menggunakan korpus skala besar sehingga mampu merepresentasikan hubungan semantik secara lebih baik dibandingkan metode konvensional.
Selain itu, pengembangan model lanjutan seperti IndoBERTweet (Koto et al.
, 2.
menunjukkan peningkatan performa dalam menangani teks media sosial yang bersifat informal.
Namun demikian, penelitian ini menggunakan IndoBERT Arraffy Abbyu Arrasyid.
Andreas Pradana Analisis Sentimen Masyarakat terhadap KebijakanA sebagai model utama untuk menjaga konsistensi arsitektur model serta efisiensi komputasi dalam proses pelatihan dan evaluasi (Christian et al.
, 2.
Perkembangan terbaru dalam Natural Language Processing mengindikasikan bahwa model berbasis Transformer dan Large Language Models (LLM) semakin mendominasi tugas analisis sentimen karena kemampuannya dalam memahami konteks bahasa yang kompleks dan representasi semantik yang lebih kaya dalam tugas analisis sentimen karena kemampuannya dalam memahami konteks bahasa yang kompleks dan representasi semantik yang lebih kaya(Tan et al.
, 2023.
Aljabar et al.
, 2024.
Amrullah, 2.
Studi-studi terkini juga menunjukkan bahwa pendekatan berbasis pre-trained language models mampu memberikan performa yang lebih stabil dan akurat dibandingkan metode tradisional, terutama pada data teks tidak terstruktur seperti media sosial (Sasikumar et al.
, 2.
Berdasarkan uraian tersebut, terdapat kesenjangan penelitian .
esearch ga.
berupa keterbatasan studi yang secara spesifik mengkaji efektivitas model Transformer dalam menganalisis sentimen publik terhadap kebijakan energi berbasis bioetanol pada data media sosial berbahasa Indonesia.
Sebagian besar penelitian terdahulu masih berfokus pada isu sosial umum atau hanya melakukan komparasi algoritma klasifikasi sentimen tanpa mempertimbangkan konteks kebijakan publik yang spesifik dan dinamis (A.
Latief et al.
Selain itu, pendekatan preprocessing yang digunakan pada penelitian sebelumnya umumnya bersifat seragam untuk seluruh model, sehingga belum mempertimbangkan kebutuhan representasi data yang berbeda antara metode machine learning tradisional dan model berbasis Transformer.
Berbeda dengan penelitian sebelumnya yang umumnya berfokus pada perbandingan performa algoritma klasifikasi sentimen secara generik, studi ini menekankan pendekatan domain-specific policy analysis dengan mengkaji persepsi publik terhadap kebijakan energi berbasis bioetanol di Indonesia.
Pendekatan ini memungkinkan analisis yang lebih kontekstual karena mempertimbangkan dinamika opini masyarakat terhadap isu kebijakan publik yang spesifik dan aktual.
Selain itu, penelitian ini secara khusus berfokus pada data media sosial berbahasa Indonesia dari platform X, yang memiliki karakteristik linguistik unik seperti penggunaan bahasa informal, slang, serta struktur kalimat tidak baku (Indonesian social media contex.
, yang menjadi tantangan signifikan dalam analisis sentimen(Hidayatullah et al.
, 2024.
Supriyadi & Makatita, 2.
Lebih lanjut, penelitian ini mengadopsi pendekatan dual pipeline preprocessing sebagai strategi untuk menyesuaikan tahapan prapemrosesan dengan karakteristik masing-masing model tanpa mengubah arsitektur algoritma yang digunakan (Br Sembiring et al.
, 2.
Pada pendekatan ini, preprocessing untuk SVM dilakukan secara lebih agresif melalui stemming dan stopword removal untuk mengoptimalkan representasi fitur berbasis TF-IDF, sedangkan pada IndoBERT dilakukan preprocessing minimal guna mempertahankan konteks linguistik dan struktur semantik kalimat.
Pendekatan adaptif ini masih relatif terbatas dalam literatur analisis sentimen berbahasa Indonesia, khususnya pada konteks kebijakan energi berbasis media sosial.
Dengan demikian, penelitian ini tidak hanya berkontribusi pada evaluasi performa model klasifikasi sentimen, tetapi juga menawarkan pendekatan analisis yang lebih kontekstual terhadap respons publik pada kebijakan energi nasional berbasis data media sosial.
Selain itu, strategi dual pipeline preprocessing yang diterapkan dalam penelitian ini menunjukkan bahwa penyesuaian tahapan prapemrosesan terhadap karakteristik model dapat menjadi faktor penting Arraffy Abbyu Arrasyid.
Andreas Pradana Analisis Sentimen Masyarakat terhadap KebijakanA dalam meningkatkan kualitas representasi teks dan performa klasifikasi sentimen pada data tidak terstruktur berbahasa Indonesia.
Penelitian ini menjadi relevan karena analisis sentimen berbasis media sosial dapat digunakan sebagai instrumen evaluasi awal terhadap penerimaan kebijakan publik secara realtime dan berbasis data.
Berdasarkan kesenjangan dan pendekatan yang diusulkan tersebut, penelitian ini bertujuan untuk: .
menganalisis sentimen masyarakat terhadap kebijakan penggunaan BBM campuran etanol di platform X (Twitte.
, serta .
membandingkan performa model IndoBERT dengan SVM dalam klasifikasi sentimen.
Kontribusi utama penelitian ini terletak pada dua aspek.
Pertama, memberikan pemetaan empiris mengenai persepsi publik terhadap kebijakan energi berbasis bioetanol sebagai bagian dari transisi energi nasional.
Kedua, mengevaluasi secara komparatif efektivitas model berbasis Transformer dibandingkan metode machine learning tradisional dalam konteks data teks tidak terstruktur berbahasa Indonesia.
Dengan demikian, penelitian ini diharapkan tidak hanya memberikan kontribusi akademik dalam pengembangan metode analisis sentimen, tetapi juga menjadi referensi bagi pengambil kebijakan dalam memahami respons masyarakat secara lebih berbasis data.
METHODS
Penelitian ini merupakan penelitian kuantitatif eksperimental yang menerapkan pendekatan NLP untuk melakukan analisis sentimen terhadap data teks media sosial.
Penelitian ini bertujuan untuk membandingkan performa model berbasis Transformer (IndoBERT) dengan metode machine learning tradisional (Support Vector Machin.
dalam mengklasifikasikan sentimen publik terhadap kebijakan bahan bakar campuran etanol (E.
(Firdaus et al.
, n.
Sipayung et al.
, n.
Santoso & S.
Candra, 2.
Alur penelitian disusun secara sistematis yang meliputi tahapan pengumpulan data, filter Data, pelabelan data, pembagian dataset, pelatihan model, serta evaluasi performa untuk memastikan validitas eksperimen dan kemudahan replikasi(N.
Haqimi et al.
, 2.
Alur tahapan penelitian secara keseluruhan diilustrasikan Pada Gambar 1.
Arraffy Abbyu Arrasyid.
Andreas Pradana Analisis Sentimen Masyarakat terhadap KebijakanA Gambar 1 Diagram Alur Penelitian Pengumpulan data dilakukan melalui teknik web crawling (Kahlon & Singh, 2.
pada platform X (Twitte.
menggunakan tools Tweet Harvest yang terintegrasi dengan X API v2 (Ferdinan et al.
, n.
Proses crawling dilakukan dengan menggunakan sejumlah kata kunci yang relevan dengan kebijakan bahan bakar campuran etanol, yaitu AuPertamax GreenAy.
AuBBM etanolAy.
AuE10 IndonesiaAy.
AubioetanolAy, dan AuBBM campuran etanolAy.
Data dikumpulkan dalam rentang waktu 1 Januari 2024 hingga 25 Januari 2026 untuk menangkap dinamika opini publik pada fase awal implementasi kebijakan.
Parameter data yang diambil meliputi teks tweet dan waktu publikasi .
tanpa menyertakan informasi identitas pribadi pengguna.
Proses pengambilan data dibatasi pada bahasa Indonesia dan tweet publik, serta tidak mencakup retweet duplikatif.
Data dikumpulkan sesuai dengan kebijakan platform X (Twitte.
dan hanya menggunakan data publik tanpa menyertakan identitas personal pengguna.
Seluruh proses pengambilan dan pengolahan data dilakukan dengan mempertimbangkan prinsip etika penelitian serta perlindungan privasi pengguna.
Seluruh proses ini dilakukan dengan mempertimbangkan aspek etika penelitian dan kepatuhan terhadap kebijakan penggunaan data publik pada platform X (Twitte.
Dari proses tersebut diperoleh sebanyak 3.
136 tweet mentah, yang kemudian melalui tahap pembersihan data dari duplikasi dan noise sehingga diperoleh 501 tweet sebagai dataset utama.
Arraffy Abbyu Arrasyid.
Andreas Pradana Analisis Sentimen Masyarakat terhadap KebijakanA Pelabelan sentimen dilakukan menggunakan pendekatan weak labeling dengan metode VADER (Valence Aware Dictionary and Sentiment Reasone.
(Satria & Husaini, n.
Mengingat VADER dikembangkan untuk bahasa Inggris, dilakukan proses lexicon adaptation untuk menyesuaikan dengan karakteristik bahasa Indonesia non-standar pada media social (A.
Parashar et al.
, 2.
Adaptasi dilakukan dengan menambahkan sekitar A120 kosakata baru yang mencakup slang, singkatan, dan ekspresi informal seperti AugakAy.
AunggakAy.
AumantapAy.
AujelekAy.
AumahalAy, dan Auworth itAy, yang masing-masing diberikan skor sentimen berdasarkan konteks penggunaannya.
Selain itu, dilakukan penyesuaian terhadap beberapa skor pada leksikon asli untuk meningkatkan sensitivitas terhadap konteks lokal.
Proses threshold tuning juga dilakukan untuk mengoptimalkan batas klasifikasi sentimen, di mana ambang batas ditetapkan menjadi Ou 0,03 untuk sentimen positif.
O -0,03 untuk sentimen negatif, dan nilai di antaranya dikategorikan sebagai netral.
Untuk memastikan kualitas pelabelan, proses anotasi dilakukan oleh peneliti sebagai annotator utama yang memiliki pemahaman terhadap analisis sentimen dan konteks bahasa Indonesia pada media sosial (A.
Latief et al.
, 2.
Untuk meminimalkan subjektivitas, dilakukan validasi melalui anotasi pembanding oleh seorang ahli .
yang memiliki kompetensi di bidang terkait.
Sebelum proses anotasi, disusun pedoman anotasi .
nnotation guidelin.
yang berisi definisi masing-masing kelas sentimen .
ositif, negatif, netra.
beserta contoh kasus untuk menyamakan persepsi.
Tingkat kesesuaian antara hasil anotasi peneliti dan annotator pembanding diukur menggunakan CohenAos Kappa yang dirumuskan sebagai berikut:
yco= ycE! Oe ycE" 1 Oe ycE" Di mana yco mewakili nilai Cohen's Kappa, ycE! adalah proporsi kesepakatan aktual, dan ycE" adalah probabilitas kesepakatan acak (A.
Latief et al.
, 2.
Nilai yco > 0,70 dikategorikan sebagai tingkat kesepakatan yang kuat (Ferdinan et al.
, n.
Hasil evaluasi awal menunjukkan nilai 0,5334, sehingga dilakukan proses optimasi melalui lexicon adaptation, threshold tuning, dan ground truth refinement hingga diperoleh nilai 0,7086 yang termasuk kategori kesepakatan Dengan demikian, dataset yang digunakan dalam penelitian ini dinilai memiliki tingkat reliabilitas yang memadai untuk digunakan dalam proses pelatihan model.
Pada tahap prapemrosesan, penelitian ini menerapkan pendekatan Dual Pipeline Preprocessing untuk mengakomodasi perbedaan karakteristik algoritma.
Pada pipeline SVM, dilakukan pembersihan teks secara intensif meliputi case folding, penghapusan URL, mention, hashtag, simbol, tokenisasi, stopword removal, serta stemming menggunakan pustaka Sastrawi untuk menyederhanakan representasi fitur berbasis bag-of-words(N.
Hasanati et al.
, 2.
Sementara itu, pada pipeline IndoBERT, prapemrosesan dilakukan secara minimal dengan hanya melakukan case folding dan penghapusan simbol non-alfabet guna mempertahankan struktur kalimat dan konteks semantik (Geni et al.
, 2023.
Budianoor et al.
, 2.
Tahapan preprocessing memiliki peran penting dalam meningkatkan kualitas data dan performa model, karena data yang tidak terstruktur dapat menurunkan akurasi klasifikasi (Prasetya et al.
, 2.
Dataset kemudian dibagi menggunakan metode stratified random sampling dengan proporsi 80% sebagai data latih dan 20% sebagai data uji untuk menjaga distribusi kelas tetap seimbang (R.
Satrya et al.
, 2022.
Wibowo et al.
, 2.
Untuk memastikan konsistensi hasil Arraffy Abbyu Arrasyid.
Andreas Pradana Analisis Sentimen Masyarakat terhadap KebijakanA eksperimen, seluruh proses yang melibatkan komponen acak dilakukan dengan menetapkan random seed sebesar 42.
Pada tahap ekstraksi fitur, model SVM menggunakan metode TF-IDF dengan batas maksimum 5.
000 fitur (Riansyahputra et al.
, n.
Zhao & Che, 2.
, sedangkan model IndoBERT menggunakan pre-trained tokenizer dengan panjang maksimum input sebesar 128 token (Leelawat et al.
, 2022.
Zahra et al.
, 2.
Pipeline SVM menghasilkan representasi fitur berbentuk matriks TF-IDF dengan 000 fitur.
Dengan jumlah data latih sebanyak 2.
000 data, representasi data latih pada pipeline SVM berbentuk matriks sparse berukuran maksimum 2.
000 y 5.
Proses pelatihan SVM relatif lebih ringan karena hanya melibatkan transformasi TF-IDF dan optimasi model berbasis machine learning tradisional.
Pipeline IndoBERT memiliki proses komputasi yang lebih kompleks karena setiap teks diubah menjadi token menggunakan tokenizer IndoBERT dengan panjang maksimum 128 Dengan 2.
000 data latih, proses fine-tuning melibatkan pembaruan parameter model Transformer melalui beberapa epoch.
Pada eksperimen IndoBERT dengan class weighting, pelatihan berhenti pada epoch ke-8 karena mekanisme early stopping, dengan waktu pelatihan sekitar 217 detik pada GPU Google Colab.
Perbedaan ini menunjukkan bahwa pipeline IndoBERT membutuhkan sumber daya komputasi lebih besar dibandingkan pipeline SVM, tetapi memiliki kemampuan representasi konteks yang lebih kuat.
Pelatihan model utama dilakukan menggunakan dua pendekatan, yaitu SVM sebagai model baseline dan IndoBERT sebagai model berbasis Transformer.
Pada pipeline SVM, teks direpresentasikan menggunakan TF-IDF dengan maksimum 5.
000 fitur, kemudian diklasifikasikan menggunakan SVM.
Pada pipeline IndoBERT, teks diproses menggunakan tokenizer IndoBERT dengan panjang maksimum 128 token dan dilatih melalui proses finetuning.
Selain eksperimen utama, penelitian ini menambahkan eksperimen tambahan untuk mengevaluasi pengaruh ketidakseimbangan kelas terhadap performa model.
Pada eksperimen tambahan pipeline SVM, digunakan dua strategi penanganan imbalance, yaitu class weighting dan SMOTE.
Class weighting diterapkan melalui parameter class_weight='balanced', sedangkan SMOTE diterapkan pada representasi fitur TF-IDF dan hanya dilakukan pada data latih untuk menghindari data leakage.
Pada pipeline IndoBERT, eksperimen tambahan dilakukan menggunakan class weighting pada fungsi loss berdasarkan distribusi kelas pada data latih.
Eksperimen tambahan ini digunakan sebagai analisis pendukung untuk menjawab potensi bias akibat distribusi kelas yang tidak seimbang, sehingga tidak menggantikan hasil utama Pada pipeline IndoBERT, penelitian ini menguji IndoBERT baseline dan IndoBERT dengan class weighting.
Model IndoBERT dilatih melalui proses fine-tuning menggunakan optimizer AdamW, panjang maksimum input 128 token, batch size 32, learning rate 5e-05, dan maksimum 50 epoch.
Early stopping diterapkan dengan nilai patience sebesar 3 untuk mencegah overfitting.
Pada skenario IndoBERT dengan class weighting, bobot kelas diterapkan pada fungsi Cross Entropy Loss berdasarkan distribusi kelas pada data latih.
Arraffy Abbyu Arrasyid.
Andreas Pradana Analisis Sentimen Masyarakat terhadap KebijakanA Eksperimen dilakukan dengan random seed 42 untuk menjaga konsistensi hasil.
Evaluasi dilakukan pada data uji yang sama untuk seluruh skenario agar perbandingan antar model tetap Evaluasi performa model dilakukan menggunakan confusion matrix yang terdiri dari True Positive (TP).
True Negative (TN).
False Positive (FP), dan False Negative (FN).
Metrik evaluasi digunakan untuk mengukur kinerja model secara komprehensif dalam klasifikasi sentimen, yang dirumuskan sebagai berikut:
yaycaycaycycycaycayc = ycNycE ycNycA ycNycE ycNycA yaycE yaycA ycEycyceycaycnycycuycu = ycNycE ycNycE yaycE ycNycE ycNycE yaycA ycEycyceycaycnycycuycu y ycIyceycaycaycoyco ya1 ycycaycuycyce = 2 y ycEycyceycaycnycycuycu ycIyceycaycaycoyco ycIyceycaycaycoyco = Mengingat karakteristik dataset yang cenderung tidak seimbang, metrik F1-score digunakan sebagai indikator utama dalam mengevaluasi performa model karena mampu memberikan keseimbangan antara precision dan recall.
Penanganan Ketidakseimbangan Data Distribusi kelas pada dataset menunjukkan adanya ketidakseimbangan, dengan jumlah data positif sebanyak 1.
319, netral sebanyak 654, dan negatif sebanyak 528.
Setelah pembagian data menggunakan stratified random sampling, data latih terdiri atas 1.
055 data positif, 523 data netral, dan 422 data negatif, sedangkan data uji terdiri atas 264 data positif, 131 data netral, dan 106 data negatif.
Pembagian ini mempertahankan proporsi kelas pada data latih dan data Untuk mengevaluasi dampak ketidakseimbangan kelas terhadap performa model, penelitian ini menambahkan skenario penanganan imbalance.
Pada pipeline SVM, digunakan dua pendekatan, yaitu class weighting dan Synthetic Minority Oversampling Technique (SMOTE).
Class weighting diterapkan melalui parameter class_weight='balanced', sedangkan SMOTE diterapkan pada representasi fitur TF-IDF dan hanya dilakukan pada data latih untuk menghindari data leakage.
Pada pipeline IndoBERT, penanganan imbalance dilakukan menggunakan class weighting pada fungsi loss.
Bobot kelas dihitung berdasarkan distribusi data latih, yaitu 1,5798 untuk kelas negatif, 1,2747 untuk kelas netral, dan 0,6319 untuk kelas positif.
Bobot yang lebih besar diberikan kepada kelas minoritas agar kesalahan prediksi pada kelas negatif dan netral memperoleh penalti yang lebih besar selama proses pelatihan.
SMOTE tidak diterapkan secara langsung pada pipeline IndoBERT karena input IndoBERT berbentuk urutan token, sehingga oversampling berbasis vektor tidak secara langsung merepresentasikan struktur semantik teks.
Arraffy Abbyu Arrasyid.
Andreas Pradana Analisis Sentimen Masyarakat terhadap KebijakanA Untuk memastikan model tidak bias terhadap kelas positif sebagai kelas mayoritas, evaluasi tidak hanya dilakukan menggunakan accuracy, tetapi juga macro-F1, weighted-F1, recall per kelas, dan confusion matrix.
RESULTS AND DISCUSSION
Hasil Pengumpulan dan Prapemrosesan Data Tahap pengumpulan data menghasilkan 3.
136 tweet mentah dari platform X (Twitte.
yang diperoleh melalui proses crawling.
Data tersebut mengandung berbagai bentuk noise seperti URL, mention, hashtag, dan emotikon.
Setelah dilakukan pembersihan dan penghapusan duplikasi, diperoleh sebanyak 2.
501 tweet yang digunakan sebagai dataset utama Tabel 1 mendemonstrasikan perbandingan transformasi teks mentah menjadi format yang siap diekstraksi oleh SVM dan IndoBERT.
Table 1 Perbandingan Sampel Teks pada Dual Pipeline Preprocessing Teks Mentah Pertamina melakukan penyesuaian harga pada BBM nonsubsidi kecuali Pertamax.
#bisnisupdate #update #bisnis #oneliner https://t.
co/pBg5Sal9lL https://t.
co/18jyoJUPIm Pipeline SVM pertamina laku sesuai harga bbm nonsubsidi pertamax bisnisupdate update bisnis Pipeline IndoBERT Pertamina melakukan penyesuaian harga pada bbm nonsubsidi kecuali pertamax bisnisupdate update bisnis oneliner @SBRwaras Hai Sobat.
Saat ini BBM Pertamax Green 95 belum tersedia di wilayah Kota/Kabupaten Semarang.
Nantikan di kota selanjutnya ya Sob.
Terima kasih.
Firman hai sobat ini bbm pertamax green sedia wilayah kota kabupaten semarang nanti kota lanjut sob terima kasih hai sobat saat ini bbm pertamax green belum tersedia di wilayah kota kabupaten semarang nantikan di kota selanjutnya ya sob terima kasih firman Tabel 1 menunjukkan bahwa pipeline SVM yang menerapkan stopword removal dan stemming cenderung menghilangkan kata-kata penting, termasuk kata negasi seperti AutidakAy.
AubelumAy, dan AukecualiAy, yang berperan dalam menentukan makna sentimen.
Sebaliknya, pipeline IndoBERT mempertahankan struktur kalimat dengan melakukan prapemrosesan minimal.
Temuan ini menunjukkan bahwa pelestarian konteks linguistik menjadi faktor kunci dalam meningkatkan kualitas representasi teks, terutama pada data media sosial yang bersifat tidak baku.
Hal ini sejalan dengan prinsip kerja model Transformer yang memanfaatkan hubungan kontekstual antar kata.
Arraffy Abbyu Arrasyid.
Andreas Pradana Analisis Sentimen Masyarakat terhadap KebijakanA Hasil Validasi Pelabelan dan Distribusi Data Evaluasi awal terhadap pelabelan menggunakan VADER menunjukkan nilai CohenAos Kappa sebesar 0,5334 yang termasuk kategori moderat.
Setelah dilakukan optimasi melalui lexicon adaptation, threshold tuning, dan ground truth refinement, nilai tersebut meningkat menjadi 0,7086.
Peningkatan ini mengindikasikan bahwa penyesuaian leksikon dan parameter secara signifikan meningkatkan reliabilitas pelabelan otomatis, sehingga dataset layak digunakan untuk proses pelatihan model.
Distribusi sentimen menunjukkan dominasi kelas positif sebanyak 1.
319 data, diikuti oleh netral .
dan negatif .
Dominasi sentimen positif mencerminkan kecenderungan penerimaan masyarakat terhadap kebijakan BBM campuran etanol, meskipun masih terdapat kritik yang berkaitan dengan aspek ekonomi dan teknis.
Dari perspektif kebijakan publik, hasil ini menegaskan bahwa analisis sentimen dapat digunakan sebagai indikator awal dalam mengevaluasi penerimaan kebijakan berbasis data Table 2.
Distribusi Train-Test Kelas Sentimen Total Data Data Latih Data Uji Negatif Netral Positif Total Tabel 2 menunjukkan bahwa pembagian data menggunakan stratified random sampling mempertahankan proporsi kelas pada data latih dan data uji.
Meskipun demikian, kelas positif tetap menjadi kelas mayoritas, sehingga eksperimen tambahan menggunakan class weighting dan SMOTE dilakukan untuk mengevaluasi potensi bias model terhadap kelas mayoritas.
Hasil Pelatihan Dan Evaluasi Model Tahap pelatihan model dilakukan untuk mengevaluasi performa SVM sebagai model baseline dan IndoBERT sebagai model berbasis Transformer.
Pada model SVM, teks terlebih dahulu direpresentasikan ke dalam bentuk vektor menggunakan TF-IDF.
Selanjutnya, proses optimasi hyperparameter dilakukan menggunakan Grid Search dengan pendekatan 5-Fold Cross Validation.
Grid Search dilakukan terhadap 12 kombinasi parameter, yang melibatkan variasi kernel, nilai C, dan gamma, sehingga menghasilkan total 60 proses fitting.
Hasil tuning hyperparameter SVM ditunjukkan pada Tabel 3.
Table 3.
Hasil Tuning Hyperparameter SVM Parameter Metode evaluasi Jumlah kandidat parameter Total proses fitting Kernel terbaik C terbaik Nilai 5-Fold Cross Validation 12 kombinasi 60 fits Linear Arraffy Abbyu Arrasyid.
Andreas Pradana
Analisis Sentimen Masyarakat terhadap KebijakanA
Gamma terbaik Akurasi rata-rata validasi
Standar deviasi
Scale
69,55%
A1,65%
Berdasarkan Tabel 3, konfigurasi terbaik SVM diperoleh pada kernel linear dengan nilai C = 1 dan gamma = scale.
Konfigurasi ini menghasilkan akurasi rata-rata validasi sebesar 69,55% dengan standar deviasi A1,65%.
Nilai standar deviasi yang relatif kecil menunjukkan bahwa performa SVM cukup stabil pada proses validasi silang.
Model terbaik tersebut kemudian digunakan sebagai baseline pada tahap evaluasi data uji.
Sementara itu, model IndoBERT dilatih melalui proses fine-tuning dengan beberapa kombinasi hyperparameter.
Pengujian dilakukan terhadap kombinasi batch size dan learning rate untuk memperoleh konfigurasi terbaik.
Rekapitulasi hasil pengujian hyperparameter IndoBERT ditunjukkan pada Tabel 4.
Table 4 Hasil Pengujian Hyperparameter IndoBERT .
-Fol.
Skenario
Batch Size
Learning Rate
Rata-rata Akurasi
80,25%
81,30%
81,70%
79,15%
79,85%
82,40%
Berdasarkan Tabel 4, konfigurasi terbaik IndoBERT diperoleh pada skenario 6, yaitu batch size 32 dan learning rate 5e-05, dengan rata-rata akurasi validasi sebesar 82,40%.
Konfigurasi ini kemudian digunakan sebagai model IndoBERT terbaik untuk evaluasi pada data uji.
Selama proses fine-tuning, early stopping diterapkan untuk mencegah overfitting dan mempertahankan model dengan performa validasi terbaik.
Komparasi Evaluasi Model pada Data Uji Evaluasi pada data uji dilakukan untuk membandingkan performa model SVM dan IndoBERT terhadap data yang tidak digunakan dalam proses pelatihan.
Hasil evaluasi ditunjukkan pada Tabel 5.
Table 5 Evaluasi Komparasi Kinerja Algoritma Klasifikasi
Algoritma Model Accuracy Precision Recall F1-score
SVM
72,46%
72,07% 72,46% 72,02%
IndoBERT
82,83%
82,81% 82,83% 82,72%
Berdasarkan Tabel 5.
IndoBERT menunjukkan performa yang lebih baik dibandingkan SVM pada seluruh metrik evaluasi.
IndoBERT memperoleh accuracy sebesar 82,83%, precision sebesar 82,81%, recall sebesar 82,83%, dan F1-score sebesar 82,72%.
Sementara itu.
SVM memperoleh accuracy sebesar 72,46%, precision sebesar 72,07%, recall sebesar 72,46%, dan F1-score sebesar 72,02%.
Selisih akurasi sebesar 10,37 poin persentase menunjukkan Arraffy Abbyu Arrasyid.
Andreas Pradana Analisis Sentimen Masyarakat terhadap KebijakanA bahwa IndoBERT lebih efektif dalam menangkap konteks semantik pada teks media sosial dibandingkan pendekatan TF-IDF dan SVM.
Keunggulan IndoBERT dapat dijelaskan melalui kemampuan model Transformer dalam memahami konteks kata secara dua arah.
Berbeda dengan SVM yang menggunakan representasi TF-IDF berbasis frekuensi kata.
IndoBERT mampu mempertimbangkan hubungan antar kata dalam kalimat sehingga lebih baik dalam menangani teks tidak terstruktur, negasi, dan variasi bahasa informal pada platform X.
Analisis Performa Berdasarkan Kelas Sentimen Selain mengevaluasi performa secara keseluruhan, analisis juga dilakukan pada masing-masing kelas sentimen untuk mengetahui kemampuan model dalam mengenali kelas negatif, netral, dan positif.
Evaluasi per kelas dilakukan menggunakan metrik precision, recall, dan F1-score.
Hasil evaluasi per kelas pada model SVM ditunjukkan pada Tabel 6.
Table 6.
Performa SVM Berdasarkan Kelas Sentimen
Kelas Sentimen Precision Recall F1-score
Negatif
71,11% 60,38% 65,31%
Netral
65,55% 59,54% 62,40%
Positif
75,68% 83,71% 79,50%
Berdasarkan Tabel 6, model SVM menunjukkan performa terbaik pada kelas positif dengan F1-score sebesar 79,50%.
Sebaliknya, performa pada kelas netral dan negatif relatif lebih rendah, dengan F1-score masing-masing sebesar 62,40% dan 65,31%.
Perbedaan performa ini menunjukkan bahwa model SVM cenderung lebih mudah mengenali kelas positif yang merupakan kelas mayoritas dalam dataset.
Rendahnya recall pada kelas netral dan negatif mengindikasikan bahwa sebagian data pada kedua kelas tersebut masih salah diklasifikasikan ke kelas lain.
Hasil evaluasi per kelas pada model IndoBERT ditunjukkan pada Tabel 7.
Table 7 Rincian Performa IndoBERT Berdasarkan Kelas Sentimen
Kelas Sentimen
Precision Recall F1-score
Negatif
76,64% 77,36% 77,00%
Netral
83,62% 74,05% 78,54%
Positif
84,89% 89,39% 87,08%
Rata-rata Weighted 82,81% 82,83% 82,72% Tabel 7 menunjukkan bahwa IndoBERT menghasilkan performa yang lebih baik dibandingkan SVM pada seluruh kelas sentimen.
Peningkatan paling signifikan terlihat pada kelas negatif dan netral yang sebelumnya memiliki performa terendah pada SVM.
Pada kelas negatif.
F1-score meningkat dari 65,31% menjadi 77,00%, sedangkan pada kelas netral meningkat dari 62,40% menjadi 78,54%.
Arraffy Abbyu Arrasyid.
Andreas Pradana Analisis Sentimen Masyarakat terhadap KebijakanA Kelas positif tetap menjadi kelas dengan performa tertinggi pada kedua model.
Namun demikian, peningkatan performa pada kelas negatif dan netral menunjukkan bahwa IndoBERT memiliki kemampuan yang lebih baik dalam memahami konteks kalimat dan hubungan antar kata dibandingkan pendekatan berbasis TF-IDF yang digunakan oleh SVM.
Kemampuan representasi kontekstual ini memungkinkan IndoBERT mengurangi kesalahan klasifikasi pada kelas minoritas sehingga menghasilkan performa yang lebih seimbang antar kelas.
Meskipun performa kelas positif masih lebih tinggi dibandingkan kelas lainnya, hasil evaluasi menunjukkan bahwa IndoBERT mampu mempertahankan keseimbangan precision dan recall pada seluruh kelas sentimen.
Oleh karena itu, dilakukan analisis tambahan terhadap ketidakseimbangan data menggunakan class weighting dan SMOTE untuk mengevaluasi potensi bias model terhadap kelas mayoritas.
Analisis Pengaruh Penanganan Ketidakseimbangan Data Distribusi kelas pada dataset menunjukkan bahwa kelas positif memiliki jumlah data yang lebih besar dibandingkan kelas netral dan negatif.
Kondisi ini berpotensi menyebabkan model lebih cenderung mempelajari pola dari kelas mayoritas dibandingkan kelas minoritas.
Oleh karena itu, dilakukan eksperimen tambahan menggunakan strategi penanganan ketidakseimbangan data untuk mengevaluasi pengaruhnya terhadap performa model dan memastikan bahwa model tidak bias terhadap kelas positif.
Pada pipeline SVM, dua pendekatan digunakan, yaitu class weighting dan Synthetic Minority Oversampling Technique (SMOTE).
Sementara itu, pada pipeline IndoBERT digunakan class weighting pada fungsi loss dengan bobot kelas sebesar 1,5798 untuk negatif, 1,2747 untuk netral, dan 0,6319 untuk positif.
Eksperimen ini dilakukan sebagai analisis tambahan dan tidak menggantikan hasil utama penelitian.
Hasil evaluasi seluruh skenario ditunjukkan pada Tabel 8.
Table 8.
Perbandingan Strategi Penanganan Ketidakseimbangan Data
Model
Accuracy Macro-F1 Weighted-F1
SVM Baseline 72,46% 72,02% SVM Class Weight
75,85%
73,24%
76,34%
SVM SMOTE
76,85%
73,85%
77,07%
IndoBERT Baseline 82,83% 82,72% IndoBERT Class Weight
73,05%
71,04%
73,49%
Berdasarkan Tabel 8, penerapan class weighting dan SMOTE berhasil meningkatkan performa SVM dibandingkan model baseline.
SVM Class Weight meningkatkan accuracy dari 72,46% menjadi 75,85%, sedangkan SVM SMOTE menghasilkan performa terbaik pada kelompok model SVM dengan accuracy sebesar 76,85%, macro-F1 sebesar 73,85%, dan weighted-F1 sebesar 77,07%.
Meskipun demikian, performa terbaik SVM yang diperoleh melalui SMOTE masih berada di bawah IndoBERT baseline yang mencapai accuracy sebesar 82,83% dan weightedF1 sebesar 82,72%.
Hasil ini menunjukkan bahwa peningkatan kualitas representasi teks yang Arraffy Abbyu Arrasyid.
Andreas Pradana Analisis Sentimen Masyarakat terhadap KebijakanA diberikan oleh model Transformer masih memberikan keuntungan yang lebih besar dibandingkan strategi penanganan imbalance pada model machine learning tradisional.
Untuk mengevaluasi kemampuan model dalam mengenali kelas minoritas, analisis juga dilakukan berdasarkan nilai recall pada masing-masing kelas sentimen.
Hasilnya ditunjukkan pada Tabel 9.
Table 9.
Recall Per Kelas pada Strategi Penanganan Ketidakseimbangan Data
Model
Recall Negatif Recall Netral Recall Positif
SVM Class Weight
72,64%
72,52%
78,79%
SVM SMOTE
69,81%
70,99%
82,58%
IndoBERT Class Weight
69,81%
74,05%
73,86%
Tabel 9 menunjukkan bahwa class weighting pada SVM menghasilkan recall negatif dan netral yang lebih tinggi dibandingkan SMOTE.
Temuan ini mengindikasikan bahwa class weighting lebih efektif dalam meningkatkan sensitivitas model terhadap kelas minoritas.
Sebaliknya.
SMOTE menghasilkan performa agregat yang lebih tinggi serta recall positif yang lebih besar.
Pada IndoBERT, penerapan class weighting menghasilkan peningkatan perhatian model terhadap kelas minoritas, tetapi menurunkan performa agregat dibandingkan IndoBERT Accuracy menurun dari 82,83% menjadi 73,05%, sedangkan weighted-F1 menurun dari 82,72% menjadi 73,49%.
Hasil ini menunjukkan bahwa strategi penanganan ketidakseimbangan data tidak selalu memberikan dampak positif pada seluruh jenis model.
Secara keseluruhan, eksperimen tambahan ini menunjukkan bahwa penanganan ketidakseimbangan data dapat meningkatkan performa pada pipeline SVM, terutama melalui penggunaan SMOTE.
Namun.
IndoBERT baseline tetap menjadi model dengan performa terbaik pada penelitian ini.
Temuan tersebut menunjukkan bahwa kemampuan representasi kontekstual yang dimiliki IndoBERT memiliki pengaruh yang lebih besar terhadap performa klasifikasi dibandingkan strategi penanganan imbalance yang diterapkan pada penelitian ini.
Analisis Confusion Matrix Selain menggunakan metrik accuracy, precision, recall, dan F1-score, evaluasi model juga dilakukan menggunakan confusion matrix untuk melihat pola kesalahan klasifikasi pada masing-masing kelas sentimen.
Analisis ini penting untuk mengetahui apakah model cenderung bias terhadap kelas tertentu, khususnya kelas positif yang merupakan kelas mayoritas dalam dataset.
Arraffy Abbyu Arrasyid.
Andreas Pradana Analisis Sentimen Masyarakat terhadap KebijakanA Gambar 2 Confusion Matrix SVM Gambar 3 Confusion Matrix IndoBERT Berdasarkan Gambar 2, model SVM berhasil mengklasifikasikan 64 dari 106 data negatif, 78 dari 131 data netral, dan 221 dari 264 data positif secara benar.
Kesalahan klasifikasi terbesar pada SVM terjadi pada kelas netral yang diprediksi sebagai positif sebanyak 42 data, serta kelas negatif yang diprediksi sebagai positif sebanyak 29 data.
Pola ini menunjukkan bahwa SVM masih memiliki kecenderungan memprediksi sebagian data ke kelas positif sebagai kelas mayoritas.
Sebaliknya, berdasarkan Gambar 3, model IndoBERT menunjukkan pola prediksi yang lebih baik.
IndoBERT berhasil mengklasifikasikan 69 dari 106 data negatif, 101 dari 131 data netral, dan 244 dari 264 data positif secara benar.
Dibandingkan SVM, jumlah prediksi benar IndoBERT meningkat pada seluruh kelas, yaitu dari 64 menjadi 69 pada kelas negatif, dari 78 menjadi 101 pada kelas netral, dan dari 221 menjadi 244 pada kelas positif.
Peningkatan paling terlihat terjadi pada kelas netral.
Pada model SVM, sebanyak 42 data netral masih salah diklasifikasikan sebagai positif, sedangkan pada IndoBERT jumlah Arraffy Abbyu Arrasyid.
Andreas Pradana Analisis Sentimen Masyarakat terhadap KebijakanA kesalahan tersebut menurun menjadi 20 data.
Hal ini menunjukkan bahwa IndoBERT lebih mampu membedakan ekspresi netral dari ekspresi positif maupun negatif.
Kemampuan ini berkaitan dengan representasi kontekstual pada model Transformer yang dapat menangkap hubungan antar kata secara lebih baik dibandingkan representasi TF-IDF pada SVM.
Secara keseluruhan, hasil confusion matrix memperkuat temuan evaluasi metrik sebelumnya bahwa IndoBERT memiliki performa klasifikasi yang lebih baik dibandingkan SVM.
Distribusi prediksi IndoBERT yang lebih terkonsentrasi pada diagonal utama menunjukkan bahwa model ini lebih efektif dalam memetakan pola sentimen masyarakat terhadap kebijakan penggunaan BBM campuran etanol di platform X.
Implikasi Penelitian Hasil penelitian ini memiliki implikasi metodologis dan praktis.
Dari sisi metodologis, temuan penelitian menunjukkan bahwa model berbasis Transformer, khususnya IndoBERT, memiliki kemampuan yang lebih baik dibandingkan SVM dalam mengklasifikasikan sentimen pada teks media sosial berbahasa Indonesia.
Keunggulan tersebut terlihat dari hasil evaluasi pada data uji, di mana IndoBERT memperoleh accuracy dan F1-score yang lebih tinggi dibandingkan SVM.
Hal ini menunjukkan bahwa representasi kontekstual yang digunakan oleh IndoBERT lebih efektif dalam menangkap makna kalimat, termasuk pada teks yang mengandung bahasa informal, negasi, dan struktur kalimat tidak baku Selain itu, hasil eksperimen tambahan terhadap ketidakseimbangan data menunjukkan bahwa strategi penanganan imbalance tidak memberikan dampak yang sama pada setiap Pada pipeline SVM, penerapan SMOTE dan class weighting mampu meningkatkan performa dibandingkan baseline.
SMOTE menghasilkan performa agregat yang lebih tinggi, sedangkan class weighting lebih sensitif terhadap kelas minoritas.
Sebaliknya, pada pipeline IndoBERT, penerapan class weighting tidak meningkatkan performa agregat dibandingkan IndoBERT baseline.
Temuan ini mengindikasikan bahwa pemilihan strategi penanganan ketidakseimbangan data perlu disesuaikan dengan karakteristik model dan bentuk representasi data yang digunakan.
Dari sisi praktis, hasil analisis sentimen menunjukkan bahwa opini masyarakat terhadap kebijakan penggunaan BBM campuran etanol cenderung positif.
Hal ini dapat menjadi indikasi awal adanya penerimaan publik terhadap kebijakan energi berbasis bioetanol.
Namun demikian, masih terdapat sentimen netral dan negatif yang berkaitan dengan aspek teknis, ekonomi, kesiapan infrastruktur, serta kekhawatiran masyarakat terhadap dampak penggunaan bahan bakar campuran etanol pada kendaraan.
Oleh karena itu, hasil penelitian ini dapat digunakan sebagai masukan bagi pemerintah dan pemangku kebijakan dalam merumuskan strategi komunikasi publik yang lebih tepat sasaran.
Secara lebih luas, penelitian ini menunjukkan bahwa analisis sentimen berbasis media sosial dapat digunakan sebagai instrumen pendukung dalam memahami respons masyarakat terhadap kebijakan publik.
Meskipun tidak dapat menggantikan survei formal atau kajian kebijakan mendalam, pendekatan ini dapat memberikan gambaran awal yang bersifat real-time mengenai dinamika opini publik.
Dengan demikian, integrasi analisis sentimen dalam proses evaluasi kebijakan dapat membantu pengambil keputusan untuk mengidentifikasi isu, kekhawatiran, dan persepsi masyarakat secara lebih cepat dan berbasis data.
Arraffy Abbyu Arrasyid.
Andreas Pradana
Analisis Sentimen Masyarakat terhadap KebijakanA
SIMPULAN
Penelitian ini berhasil menganalisis sentimen masyarakat terhadap kebijakan penggunaan BBM campuran etanol berdasarkan data media sosial X menggunakan pendekatan NLP.
Hasil analisis menunjukkan bahwa sentimen masyarakat didominasi oleh opini positif, yang mengindikasikan adanya kecenderungan penerimaan terhadap kebijakan energi berbasis Meskipun demikian, masih terdapat sentimen netral dan negatif yang menunjukkan adanya kekhawatiran masyarakat terkait aspek teknis kendaraan, biaya, kesiapan infrastruktur, serta implementasi kebijakan di lapangan.
Dari sisi metodologi, model berbasis Transformer, yaitu IndoBERT, menunjukkan performa yang lebih unggul dibandingkan SVM.
IndoBERT memperoleh accuracy sebesar 82,83% dan F1-score sebesar 82,72%, sedangkan SVM memperoleh accuracy sebesar 72,46% dan F1-score sebesar 72,02%.
Hasil ini menunjukkan bahwa IndoBERT lebih efektif dalam menangkap konteks semantik pada teks media sosial berbahasa Indonesia dibandingkan pendekatan berbasis TF-IDF dan SVM.
Eksperimen tambahan terhadap ketidakseimbangan data menunjukkan bahwa strategi penanganan imbalance memberikan dampak yang berbeda pada setiap model.
Pada pipeline SVM.
SMOTE menghasilkan performa agregat terbaik dengan accuracy sebesar 76,85% dan weighted-F1 sebesar 77,07%, sedangkan class weighting lebih efektif dalam meningkatkan sensitivitas terhadap kelas minoritas.
Pada pipeline IndoBERT, penerapan class weighting tidak meningkatkan performa agregat dibandingkan IndoBERT baseline.
Oleh karena itu.
IndoBERT baseline tetap dipertahankan sebagai model utama penelitian.
Penelitian ini memberikan kontribusi metodologis dalam penerapan model Transformer untuk analisis sentimen bahasa Indonesia, khususnya pada konteks kebijakan energi berbasis bioetanol.
Selain itu, penelitian ini juga memberikan kontribusi praktis sebagai dasar awal bagi pemangku kebijakan dalam memahami persepsi publik berbasis data media Hasil penelitian menunjukkan bahwa analisis sentimen dapat digunakan sebagai instrumen pendukung untuk mengidentifikasi respons, kekhawatiran, dan kecenderungan opini masyarakat terhadap kebijakan publik.
Meskipun demikian, penelitian ini memiliki beberapa keterbatasan.
Dataset yang digunakan masih relatif terbatas, yaitu 2.
501 tweet, sehingga berpotensi membatasi generalisasi model terhadap variasi opini masyarakat yang lebih luas.
Selain itu, distribusi kelas yang tidak sepenuhnya seimbang masih menjadi tantangan dalam klasifikasi sentimen, terutama pada kelas minoritas.
Penelitian selanjutnya disarankan untuk menggunakan dataset yang lebih besar dan lebih beragam, mengeksplorasi model yang lebih sesuai untuk teks media sosial seperti IndoBERTweet, serta mempertimbangkan pendekatan lain seperti data augmentation, focal loss, weighted sampler, atau Large Language Model untuk meningkatkan performa klasifikasi pada kelas minoritas.
REFERENSI