Jurnal Kecerdasan Buatan dan Teknologi Informasi Vol.
No.
Mei 2025, hlm.
e-ISSN: 2964-2922, p-ISSN: 2963-6191 DOI : https://doi.
org/10.
69916/jkbti.
ANALISIS SENTIMEN PUBLIK DI MEDIA SOSIAL TERHADAP KENAIKAN PPN
12% DI INDONESIA MENGGUNAKAN INDOBERT
Michael Reynald Manoppo*1.
Indri Claudia Kolang2.
Daffa Nur Fiat3.
Reza Michelly Cantika Mawara4.
Anggraini Dwi Putri Sumarno5 .
Ade Yusupa6.
Victor Tarigan7
1,2,3,4,5,6,7
Teknik Informatika.
Fakultas Teknik.
Universitas Sam Ratulangi.
Manado.
Indonesia Email: 1mikelnoppo03@gmail.
com, 2claudiakolang@gmail.
com, 3nurfiatdaffa@gmail.
michellymawara@gamil.
com, 5anggrainipsumarno18@gmail.
com, 6ade@unsrat.
victortarigan@unsrat.
(Diterima : 24 April 2025.
Direvisi : 10 Mei 2025.
Disetujui : 18 Mei 2.
Abstrak Penelitian ini menganalisis sentimen publik terkait rencana kenaikan Pajak Pertambahan Nilai (PPN) 12% di Indonesia menggunakan model transformer berbasis Bahasa Indonesia.
IndoBERT.
Dengan mengumpulkan 2.
sampel data dari platform media sosial X.
Instagram, dan TikTok, penelitian ini BERTujuan untuk memahami respons publik secara mendalam.
Data melalui tahapan pra-pemrosesan, tokenisasi, dan label mapping sebelum dibagi 80/10/10 menjadi set pelatihan, validasi, dan pengujian.
Model IndoBERT dasar yang di-fine-tuned selama tiga epoch menunjukkan kinerja yang signifikan pada set pengujian.
Secara kuantitatif, model mencapai accuracy 84,94%, precision 85,60%, recall 84,94%, dan F1-score .
84,37%.
Analisis distribusi sentimen lebih lanjut menunjukkan bahwa sentimen publik yang dominan adalah negatif.
Tingginya nilai metrik evaluasi ini menegaskan efektivitas IndoBERT untuk tugas klasifikasi sentimen berbahasa Indonesia pada data media sosial.
Kesimpulannya, temuan ini tidak hanya menunjukkan kapabilitas model, tetapi juga memberikan dasar analisis yang kuat mengenai tingkat penerimaan atau penolakan publik terhadap kebijakan kenaikan PPN 12%, menawarkan nilai tambah bagi pemahaman dampak kebijakan publik.
Kata kunci: analisis sentimen.
IndoBert, kenaikan PPN, media sosial, natural language processing ANALYSIS OF PUBLIC SENTIMENT ON SOCIAL MEDIA TOWARDS THE 12% PPN
INCREASE IN INDONESIA USING INDOBERT
Abstract This research analyzes public sentiment regarding the planned 12% Value Added Tax (VAT) increase in Indonesia using an Indonesian-based transformer model.
IndoBERT.
By collecting 2581 data samples from social media platforms X.
Instagram, and TikTok, this research aims to understand public responses in depth.
The data went through pre-processing, tokenization, and label mapping stages before being divided 80/10/10 into training, validation, and testing sets.
The basic IndoBERT model fine-tuned over three epochs showed significant performance on the testing set.
Quantitatively, the model achieved 84.
94% accuracy, 85.
60% precision, 84.
recall, and 84.
37% F1-score .
Further sentiment distribution analysis shows that the dominant public sentiment is negative.
The high value of these evaluation metrics confirms the effectiveness of IndoBERT for the task of Indonesian sentiment classification on social media data.
In conclusion, these findings not only demonstrate the capabilities of the model, but also provide a strong analytical basis regarding the level of public acceptance or rejection of the 12% VAT increase policy, offering added value to the understanding of public policy impact.
Keywords: sentiment analysis.
IndoBert, tax increase vat, social media, natural language processing.
PENDAHULUAN
Pajak berfungsi sebagai salah satu cara untuk memperoleh pendapatan bagi suatu negara, termasuk Indonesia.
Pajak juga menn dan kritik publik dalam politik.
Informasi ini penting bagi pemerintah dalam menyusun kebijakan untuk meminimalkan dampak negatif dan memaksimalkan manfaat positif .
, .
Indonesia mengalami kemajuan dengan hadirnya turunan dari BERT.
IndoBERT.
Penelitian yang dilakukan oleh membuktikan bahwa IndoBERT Michael reynald manoppo, dkk, analisis sentimen publik di media sosial terhadap kenaikan ppn 12% di indonesia:
menggunakan indobert mampu mencapai tingkat akurasi yang lebih tinggi dalam mengklasifikasikan sentimen tweet berbahasa Indonesia dibandingkan metode machine learning konvensional.
BERT (Bidirectional Encoder Representations from Transformer.
adalah model bahasa yang dikembangkan oleh Google pada tahun 2018.
Model ini menggunakan arsitektur Transformer yang memungkinkannya memahami konteks kata secara dua arah .
, yakni dengan mempertimbangkan kata-kata sebelum dan sesudah dalam sebuah kalimat.
Hal ini menjadi keunggulan dibandingkan model-model sebelumnya yang umumnya hanya memproses teks secara satu arah .
Versi BERT Base terdiri atas 110 juta parameter, 12 lapisan .
, ukuran tersembunyi .
idden siz.
sebesar 768, serta 12 kepala perhatian diri .
elf-attention head.
Sementara itu.
BERT Large memiliki 340 juta parameter, 24 lapisan, hidden size sebesar 1.
024, dan 16 self-attention Konfigurasi ini memungkinkan BERT memahami kosakata, tata bahasa, serta hubungan antar-teks secara lebih mendalam.
Dalam versi yang disesuaikan untuk bahasa Indonesia, yaitu IndoBERT, terdapat dua tugas utama yang digunakan selama proses pre-training: Masked Language Modeling (MLM) dan Next Sentence Prediction (NSP).
Tugas MLM melatih model untuk memprediksi kata-kata yang sengaja dihilangkan dari sebuah kalimat, sementara NSP membantu model memahami hubungan logis antara dua kalimat.
Dengan pendekatan tersebut.
IndoBERT mampu memperoleh pemahaman yang kuat terhadap struktur dan konteks bahasa Indonesia bahkan sebelum proses pelatihan lebih lanjut .
ine-tunin.
Berbagai ulasan dan tanggapan dari pengguna di platform seperti X.
TikTok, dan Instagram mencerminkan penolakan mereka terhadap kenaikan PPN 12%, yang sering kali berisi kritik dan masukan.
Beberapa masyarakat bahkan menyatakan enggan untuk membayar pajak di tahun berikutnya karena dianggap memberatkan.
Hal ini menunjukkan adanya kebutuhan untuk memahami sentimen masyarakat terhadap kebijakan pemerintahan yang baru mengenai kenaikan PPN hingga 12%.
Penelitian terbaru mengenai IndoBERT dalam sentiment analysis dan klasifikasi teks dalam bahasa Indonesia menunjukkan bahwa mengintegrasikan Confident Learning dengan IndoBERT meningkatkan akurasi analisis sentimen dari 85,5% menjadi 86,03% .
Dengan memanfaatkan teknologi Natural Language Processing (NLP), khususnya model IndoBERT yang dirancang untuk bahasa Indonesia, analisis ini dapat membantu dalam mengklasifikasikan ulasan menjadi kategori sentimen positif, negatif, dan netral.
Model IndoBERT memiliki kemampuan untuk memahami bahasa Indonesia dengan baik, yang memungkinkan dihasilkannya analisis yang lebih akurat .
Penelitian .
menggunakan Naive Bayes untuk melakukan sentiment analysis terhadap tanggapan masyarakat Indonesia mengenai rencana kenaikan PPN menjadi 12% di media sosial X, dan hasil pengujian memperoleh akurasi 83% dengan presisi sebesar 68,8% dan recall sebesar 78,6%.
Penelitian .
menerapkan BERT (Bidirectional Encoder Representations from Transformer.
untuk melakukan sentiment analysis terhadap komentar YouTube terkait kenaikan PPN 12%.
Penelitian ini juga menyoroti pentingnya memahami dinamika sentimen publik melalui platform digital seperti YouTube untuk menilai persepsi masyarakat terhadap kebijakan ekonomi.
Temuan ini diharapkan dapat memberikan wawasan kepada pembuat kebijakan dalam merumuskan strategi komunikasi yang lebih efektif dan responsif terhadap kritik publik.
Sementara itu, penelitian .
membahas analisis sentimen publik di platform X terhadap rencana kenaikan PPN menjadi 12% menggunakan model BERT.
Hasil penelitian menunjukkan dominasi sentimen negatif .
,58%), dengan kekhawatiran masyarakat terhadap kenaikan biaya hidup, disusul oleh sentimen netral .
,39%) dan positif .
,03%).
Model BERT berhasil mencapai akurasi sebesar 83%, dan visualisasi word cloud mengungkap kata-kata seperti "harga", "rakyat", dan "beban" dalam kategori sentimen negatif.
Penelitian ini memberikan wawasan berbasis data untuk mitigasi dampak kebijakan.
Penelitian ini BERTujuan untuk menganalisis persepsi publik di Indonesia terhadap kebijakan kenaikan Pajak Pertambahan Nilai (PPN) menjadi 12%, dengan fokus pada pengguna platform X .
ebelumnya Twitte.
Analisis dilakukan melalui pendekatan sentiment analysis menggunakan model bahasa IndoBERT, yang dirancang khusus untuk memahami konteks dan nuansa bahasa Indonesia secara lebih akurat.
Dengan pendekatan ini, penelitian tidak hanya mengungkap distribusi sentimen positif, negatif, dan netral dari masyarakat, tetapi juga memberikan pemahaman yang lebih dalam tentang ekspresi dukungan maupun penolakan terhadap kebijakan tersebut.
Selain itu, hasil penelitian ini diharapkan dapat memberikan kontribusi nyata bagi pemerintah dalam merumuskan strategi komunikasi kebijakan publik yang lebih efektif dan responsif terhadap opini masyarakat, serta menjadi landasan dalam pengembangan studi lanjutan terkait kebijakan yang fiskal.
Michael reynald manoppo, dkk, analisis sentimen publik di media sosial terhadap kenaikan ppn 12% di indonesia:
menggunakan indobert
METODE PENELITIAN
Penelitian ini menerapkan pendekatan kuantitatif dengan metode analisis sentimen berbasis Natural Language Processing (NLP).
Proses penelitian ini mencakup beberapa tahapan utama, yaitu pengumpulan data, prapemrosesan data, implementasi model, serta evaluasi kinerja model.
Model yang digunakan dalam penelitian ini adalah IndoBERT indobenchmark/IndoBERT-base-p1, yang merupakan model berbasis Transformer yang telah dioptimalkan untuk pemrosesan bahasa Indonesia.
IndoBERT digunakan untuk mengklasifikasikan sentimen menjadi tiga kategori: positif, negatif, dan netral.
Model ini dipilih karena memiliki keunggulan dalam memahami konteks bahasa Indonesia dibandingkan metode klasik seperti Nayve Bayes atau Support Vector Machine (SVM) .
Metode berbasis pemrosesan bahasa alami (Natural Language Processing atau NLP) ini menggunakan teknik pemrosesan bahasa alami untuk dapat lebih meningkatkan kinerja kedua metode yang digunakan.
BERT dapat memahami makna kata dari berbagai sudut pandang karena kemampuan uniknya untuk menangkap konteks kata secara dua arah.
Dalam hal akurasi dan skor F1, model ini meningkatkan sistem baseline sebesar 48,5% dan 46,49% untuk TextBlob, 2,5% dan 14,49% untuk Multinomial Nayve Bayes, dan 3,5% dan 13,49% untuk Support Vector Machine.
Dengan metode Bidirectional Long Short-Term Memory dibandingkan dengan Long Short-Term Memory, hasil penelitian menunjukkan bahwa metode Bidirectional Long Short-Term Memory lebih baik daripada Long Short-Term Memory, dengan akurasi terbaik sebesar 91% dan kehilangan instruksi sebesar 28%.
Penelitian yang dilakukan oleh Dloifur Rohman Alghifari akan dilakukan pada tahun 2022 .
Gambar 1 .
Metodologi Penelitian Dalam penelitian ini terdapat metodologi penelitian yang dapat dilihat pada Gambar 1, di mana akan dilakukan sebuah pengumpulan data dengan cara scraping dan juga menggunakan AI yang selanjutnya masuk ke tahap labeling untuk menentukan data tersebut apakah bersifat netral, negatif, atau positif.
Setelah itu, masuk ke dalam pra-pemrosesan atau memproses teks dari non-informatif menjadi terstandarisasi dengan melakukan case folding, menghapus URL dan mention, normalisasi slang, dan ekstrak teks hashtag.
Pada bagian selanjutnya akan dilakukan preprocessing IndoBERT dengan membuat tokenizing dan juga label mapping dengan mengganti netral menjadi nilai Ao0Ao, negatif menjadi Ao1Ao, dan positif menjadi nilai Ao3Ao.
Setelah dilakukan sebuah preprocessing IndoBERT, data akan dibagi menjadi tiga bagian yaitu x, y, dan z di mana x merupakan data training, y data validasi, dan z sebagai data testing .
Pada data training akan digunakan untuk masuk ke dalam tahapan model training menggunakan IndoBERT yang nantinya hasil dari training model akan dilakukan evaluasi model untuk dapat mengetahui apakah model yang Michael reynald manoppo, dkk, analisis sentimen publik di media sosial terhadap kenaikan ppn 12% di indonesia:
menggunakan indobert digunakan bagus atau tidak dengan melihat dari akurasi, presisi, recall, dan F1-score.
Jika sudah melewati evaluasi model, maka tahap selanjutnya merupakan model testing di mana hasil training akan dilakukan pengujian untuk dapat mengetahui seberapa baik model dalam melakukan training dari dataset yang telah diberikan.
Kosakata bahasa Indonesia yang luas .
ebih dari 220 juta kat.
digunakan untuk membangun IndoBERT.
Kosakata ini diperoleh dari sumber bahasa yang menggunakan bahasa Indonesia yang baik dan benar, seperti koran daring, korpus web Indonesia, dan sumber lainnya .
Pengumpulan Data Pada bagian ini data akan diambil melalui ketiga platform yaitu Twitter.
Instagram, dan TikTok yang dikumpulkan melalui API dan scraping menggunakan tweet harvest.
Data yang sudah terkumpul akan digabungkan menjadi satu dataset utuh yang disimpan dalam bentuk csv.
Pengumpulan data difokuskan dengan melihat sebuah postingan dan komentar yang mengandung unsur kata kunci terkait kenaikan PPN 12%, seperti.
AuPPN 12%Ay.
AuPajak Pertambahan nilai naikAy.
AuDampak PPN 12%Ay.
AyKenaikan PPNAy.
Pada hasil pengumpulan dataset yang berhasil dikumpulkan untuk dilakukan sebuah klasifikasi sentimen mencakup rentang waktu dari 10 September 2024 .
ebagai data terlam.
hingga 17 April 2025 .
ebagai data terbar.
Labeling Setelah, pengumpulan data telah dilakukan, maka berikutnya akan dilakukan fase labeling data secara manual, dimana awalan dari melakukan labeling dengan cara membagi menjadi 5 bagian yang dimana setiap bagian terdapat 500 data yang nantinya akan dilakukan labeling secara manual untuk menentukan apakah data tersebut bersifat Netral.
Positif atau Negatif.
Tabel 1.
Contoh hasil Labeling Data Data Gw liat dari berita sih PPN 12% ini memang udah direncanakan sejak Refund PPN 12% non produk mewah ini lumayan membantu konsumen.
Semoga makin efisien prosesnya! Gara-gara PPN naik 12% jadi harus mikirin harga barang sebelum belanja.
Makin mahal aja hidup sekarang! Kategori Sentiment atau Labeling Netral Positif Negatif Dapat dilihat pada tabel 1 menampilkan sebuah contoh pelabelan data secara manual berdasarkan analisis sentimen terhadap kenaikan Pajak Pertambahan Nilai (PPN) sebesar 12%.
Proses pelabelan ini mengklasifikasikan data ke dalam tiga kategori: negatif, netral, dan positif.
Kategori negatif diberikan pada data yang mengandung katakata atau frasa bernada negatif, sarkastik, atau kritik yang secara implisit maupun eksplisit tidak mendukung implementasi kenaikan PPN 12%.
Kategori netral diterapkan pada data yang tidak menunjukkan dukungan maupun penolakan terhadap kenaikan PPN 12%, atau bersifat ambigu terkait isu tersebut.
Terakhir, kategori positif diberikan pada data yang mengandung pernyataan dukungan terhadap pemberlakuan PPN 12%.
Beberapa penelitian sebelumnya digunakan untuk melabelkan tweet sebagai berita dalam pedoman pelabelan yang kami buat .
Gambar 2 .
Persentase data untuk setiap kelas sentimen Michael reynald manoppo, dkk, analisis sentimen publik di media sosial terhadap kenaikan ppn 12% di indonesia:
menggunakan indobert Gambar 2 menyajikan distribusi jumlah sampel data untuk setiap kelas sentimen (Negatif.
Positif, dan Netra.
dalam dataset yang digunakan setelah proses pelabelan awal.
Secara visual, dapat diamati bahwa terdapat ketidakseimbangan dalam jumlah data antar kelas.
Distribusi ini menunjukkan bahwa sentimen Negatif merupakan kelas mayoritas, diikuti oleh sentimen Positif, sementara sentimen Netral menjadi kelas minoritas.
Ketidakseimbangan kelas .
lass imbalanc.
ini merupakan karakteristik penting dari dataset yang dapat mempengaruhi proses pelatihan dan evaluasi model.
Model machine learning cenderung lebih bias atau memiliki performa yang lebih baik pada kelas mayoritas jika ketidakseimbangan ini tidak ditangani dengan tepat.
Untuk mengatasi potensi bias akibat ketidakseimbangan kelas selama pelatihan model IndoBERT, penelitian ini menerapkan teknik pembobotan kelas .
lass weightin.
Secara spesifik, pada fungsi loss selama proses fine-tuning, bobot yang lebih besar diberikan kepada kelas minoritas (Netral dan Positi.
dan bobot yang lebih kecil kepada kelas mayoritas (Negati.
Tujuannya adalah untuk memberikan "penalti" yang lebih besar kepada model jika salah mengklasifikasikan sampel dari kelas minoritas, sehingga mendorong model untuk belajar mengenali pola dari semua kelas secara lebih seimbang, meskipun jumlah sampelnya berbeda.
Penggunaan weighted average untuk metrik evaluasi seperti F1-score juga dilakukan untuk memberikan gambaran performa yang lebih adil dalam situasi ketidakseimbangan kelas ini.
Pra-pemrosesan Data Pra-pemrosesan dilakukan setelah melakukan labeling data sesuai dengan kategori yang sudah ditentukan yaitu netral, positif, negatif .
Pada tahap ini data yang sudah dilakukan label, selanjutnya akan dilakukan Case folding yaitu melakukan perubahan teks menjadi huruf kecil untuk konsistensi.
Jika sudah maka akan masuk ke tahap berikutnya dengan menghilangkan elemen yang tidak relevan atau tidak bisa digunakan dalam klasifikasi sentimen seperti username dan URL.
Selanjutnya, akan masuk kedalam normalisasi slang yang dimana akan mengubah katakata seperti siang atau tidak baku dengan bentuk standar menggunakan kamus slang Bahasa Indonesia.
Menghilangkan tanda baca standar juga diperlukan dalam melakukan Fine-tuning dengan menghapus kalimat yang tidak diperlukan.
Pembersihan ini sangat diperlukan untuk analisis yang dapat dilakukan untuk lebih akurat.
Dengan melakukan praprocessing data yang baik, kita dapat menghasilkan dataset yang berkualitas dan dapat diandalkan untuk analisis lebih lanjut serta memastikan bahwa model yang akan dibangun berhasil .
Preprocessing BERT Data yang telah melalui pembersihan dan normalisasi di bagian pra-pemrosesan data.
Selanjutnya akan dilakukan sebuah tahapan preprocessing BERT untuk menyiapkan data agar dapat kompatibel dan arsitektur model IndoBERT.
Dalam bagian ini dilakukan dua tahapan preprocessing BERT, yaitu tokenisasi dan label mapping.
Metode ini digunakan dalam Python, bahasa pemrograman, untuk membagi komentar pengguna ke dalam tiga kategori sentimen: positif, netral, dan negatif .
Tokenizing Proses ini merupakan bagian dasar yang BERTujuan untuk mengkonversi data teks hasil pra-pemrosesan .
leaned_tex.
menjadi representasi numerik berupa urutan token ID yang dapat dipahami dan diproses oleh model IndoBERT.
Tokenisasi dilakukan menggunakan tokenizer yang sesuai dengan model IndoBERT yang dipilih, yaitu AutoTokenizer dari checkpoint indobenchmark/IndoBERT-base-p1 yang diperoleh dari library Transformers Hugging Face.
Label Mapping Label sentimen kategorikal (Positif.
Negatif.
Netra.
yang telah diatribusikan pada setiap data perlu dikonversi menjadi format numerik agar dapat diproses oleh model klasifikasi selama pelatihan dan evaluasi.
Tahap ini, yang dikenal sebagai Label Mapping, dilakukan dengan menetapkan nilai integer unik untuk setiap kategori sentimen.
Secara spesifik dalam penelitian ini, label 'NETRAL' dipetakan ke nilai 0, label 'NEGATIF' dipetakan ke nilai 1, dan label 'POSITIF' dipetakan ke nilai 2.
Pemetaan ini diterapkan secara konsisten pada seluruh sampel data di set pelatihan, validasi, dan pengujian, di mana nilai numerik ini berfungsi sebagai target atau ground truth yang akan dipelajari dan diprediksi oleh model IndoBERT.
Pemisahan Data (Data Splittin.
Setelah proses preprocessing selesai, maka langkah berikutnya adalah membagi data menjadi tiga subset: 80% untuk pelatihan .
4 sampe.
, 10% untuk validasi .
, dan 10% untuk pengujian .
Pembagian dilakukan untuk dapat memastikan model yang dilatih secara optimal dan pada pembagian data menggunakan metode stratified splitting untuk mempertahankan distribusi kelas sentimen asli (Positif.
Negatif.
Netra.
yang tidak seimbang di setiap subset.
Penggunaan random_state .
memastikan reprodusibilitas pembagian data.
Set pelatihan digunakan untuk fine-tuning model, set validasi untuk pemantauan kinerja selama pelatihan dan pemilihan checkpoint terbaik, dan set pengujian untuk evaluasi final kemampuan generalisasi model.
Michael reynald manoppo, dkk, analisis sentimen publik di media sosial terhadap kenaikan ppn 12% di indonesia:
menggunakan indobert Model Training Pada tahap ini, dilakukan proses melatih model klasifikasi teks menggunakan data untuk pelatihan model yang telah dilakukan pembagian dan untuk arsitektur dalam pemodelan ini menggunakan IndoBERT, dimana merupakan model pre-trained BERT yang dilatih menggunakan sebuah korpus bahasa Indonesia.
Di pemodelan ini menggunakan IndoBERT-base-p1 yang telah dilakukan pre-train selanjutnya masuk ke bagian fine-tuning untuk tugas klasifikasi sentimen tiga kelas yaitu Netral.
Positif, dan Negatif.
Proses ini dilakukan pada set pelatihan 2064 sampel menggunakan framework Hugging Face Trainer.
Parameter num_train_epochs per_devixe_train_batch_size warmup_steps weight_decay Tabel 2.
Parameter Inti Pelatihan Model Nilai Keterangan Jumlah iterasi kepada pelatihan dataset Jumlah sampel per batch di setiap GPU saat pelatihan Menstabilkan model dengan learning rate scheduler Regulasi dalam pencegahan overfitting Tabel 3.
Parameter Manajemen Pelatihan dan Evaluasi Model Nilai Keterangan AoepochAo Evaluasi terjadi setiap akhir epoch Model akan tersimpan setiap akhir save_strategy AoepochAo Model terbaik akan disimpan load_best_model_at_end True secara otomatis berdasarkan Penentuan model terbaik sesuai metric_for_best_model Aof1Ao dengan Metrik Aof1Ao Nilai metrik yang tinggi akan greater_is_better True dianggap lebih baik Frekuensi log dalam satuan logging_steps langkah pelatihan Ukuran batch per perangkat ketika per_device_eval_batch_size Tidak melaporkan ke platform report_to AononeAo Parameter eval_strategy Pada pelatihan model dibagi menjadi dua kelompok utama yang bisa dilihat pada Tabel 2 dan Tabel 3.
Parameter Inti Pelatihan yang dapat dilihat pada Tabel 2 merupakan parameter yang langsung mempengaruhi proses pembelajaran model yang dilakukan pengaturan dari jumlah epoch, ukuran epoch, langkah warm-up, dan Parameter ini akan menentukan seperti apa model dapat mengerti pola dari data pelatihan yang telah Selanjutnya untuk Tabel 3 yaitu Parameter Manajemen dan Evaluasi Model digunakan untuk melakukan manajemen dalam evaluasi model penyimpanan model, serta melacak model yang paling terbaik pada pelatihan model dilakukan.
Parameter tersebut digunakan agar pelatihan dapat berjalan dengan akurat, efisien dan mendapatkan hasil model terbaik dan dapat memonitoring secara berkala yang berguna untuk terjadinya sebuah Evaluating Model Setelah proses pelatihan model selesai, tahap berikutnya adalah evaluasi untuk mengukur performa dan kemampuan generalisasi model pada data yang belum pernah digunakan selama pelatihan.
Evaluasi ini dilakukan pada set pengujian, yang merupakan 10% dari total dataset dan telah dipisahkan secara stratifikasi untuk merepresentasikan distribusi kelas sentimen pada data aslinya.
Evaluasi model memanfaatkan metode evaluate() yang tersedia dalam pustaka Hugging Face Trainer.
Metode ini secara otomatis menghitung berbagai metrik performa dengan membandingkan prediksi model terhadap label sebenarnya pada seluruh sampel di set pengujian.
Metrik evaluasi yang dihitung dalam penelitian ini meliputi:
Accuracy (Akuras.
: Proporsi prediksi yang benar dari total sampel.
Precision (Presis.
: Proporsi positif sejati (True Positiv.
dari total prediksi positif oleh model.
Recall (Recal.
: Proporsi positif sejati (True Positiv.
dari total sampel yang seharusnya positif.
F1-score (F.
: Rata-rata harmonis dari presisi dan recall.
Michael reynald manoppo, dkk, analisis sentimen publik di media sosial terhadap kenaikan ppn 12% di indonesia:
menggunakan indobert Karena dataset ini memiliki distribusi kelas sentimen yang tidak seimbang, penggunaan metrik F1 dengan average 'weighted' dipilih.
Metode weighted average menghitung metrik untuk setiap kelas secara independen, lalu mengambil rata-rata dengan bobot berdasarkan jumlah sampel di setiap kelas.
Pendekatan ini memberikan gambaran performa model secara keseluruhan yang lebih akurat, terutama pada kelas minoritas.
Pengujian Model Dilakukan pengujian terhadap model yang telah dilakukan pelatihan dengan beberapa contoh teks yang berikan sesuai dari opini publik terhadap isu kenaikan PPN 12%.
Pengujian ini dilakukan untuk mengevaluasi seberapa bagus model dapat melakukan klasifikasi, memahami dan menerjemahkan berbagai bentuk opini masyarakat terhadap kenaikan PPN 12%, baik dari sebuah bentuk dukungan, penolakan atau tidak paham tentang kebijakan kenaikan PPN 12%.
Model yang telah dilatih ini BERTujuan untuk melihat kemampuan model dalam mencerna makna teks yang diberikan beberapa kalimat yang mewakili setiap jenis reaksi publik yaitu Netral.
Positif, dan Negatif seperti kalimat yang memberikan sebuah penolakan terhadap kebijakan kenaikan PPN 12%.
Pernyataan yang ketidakpahaman tentang kebijakan kenaikan PPN 12%, dan Kalimat setuju terhadap kebijakan kenaikan PPN
HASIL DAN PEMBAHASAN
Bagian ini menyajikan hasil eksperimen klasifikasi sentimen menggunakan model IndoBERT yang telah disetel .
ine-tune.
pada dataset media sosial terkait kenaikan PPN 12% di Indonesia.
Pembahasan mencakup performa model yang diukur menggunakan beberapa metrik evaluasi, perbandingan hasil dengan penelitian terkait, dan interpretasi temuan mengenai distribusi sentimen publik yang terekam dalam dataset.
Pada tahap pengambilan data untuk masing-masing platform dilakukan secara berbeda-beda, untuk data tweet dari X kita menggunakan teknik web scraping.
Proses ekstrak data dimulai dengan mendapatkan auth token dari akun X, dan diberikan ke library tweet harvest agar bisa memulai scraping dengan keyword PPN12%.
Untuk data dari Instagram dan TikTok, kita menggunakan API dari Apify, sehingga hanya perlu mencari sebuah postingan yang membahas tentang PPN12%, setelah itu menyalin tautan .
postingan tersebut dan memberikannya ke Apify, yang nanti akan melakukan proses scraping data, kemudian hasilnya dapat didownload sebagai file CSV.
Dataset yang digunakan dalam penelitian ini berjumlah total 2581 sampel data teks dari media sosial (X.
Instagram, dan TikTo.
yang relevan dengan topik kenaikan PPN 12% di Indonesia.
Tahapan selanjutnya masuk ke bagian pelabelan data, dimana 2581 data dibagi menjadi 5 batch, masing-masing berisi kurang lebih 500 data untuk melakukan pelabelan secara manual.
Dataset yang telah melalui proses pelabelan manual kemudian dilanjutkan ke tahap pra-pemrosesan awal.
Tahap ini BERTujuan untuk membersihkan noise dan artefak yang tidak relevan untuk pelatihan model.
Proses prapemrosesan mencakup case folding, penghapusan Uniform Resource Locators (URL) dan mention pengguna, serta normalisasi kata-kata slang menggunakan kamus slang bahasa Indonesia.
Hasil dari pra-pemrosesan ini akan menghasilkan teks yang bersih dan siap untuk masuk pada tahap pra-pemrosesan spesifik untuk model IndoBERT.
Pada tahap pra-pemrosesan IndoBERT, data akan diubah dari bentuk teks ke dalam format numerik yang dapat dipahami dan diproses oleh arsitektur model berbasis transformer.
Pra-pemrosesan spesifik IndoBERT dalam penelitian ini meliputi dua komponen utama: tokenization dan label mapping.
Dalam penelitian ini, proses tokenization dilakukan menggunakan AutoTokenizer dari library Hugging Face Tokenizer yang spesifik diambil dari checkpoint model indobenchmark/IndoBERT-base-p1 yang Tokenizer ini menggunakan skema subword tokenization .
eperti WordPiec.
yang efisien dalam menangani kosakata yang besar dan kata-kata yang belum pernah ditemui sebelumnya .
ut-of-vocabular.
Setiap sampel teks dari kolom cleaned_text diproses oleh tokenizer ini.
Untuk memastikan semua urutan input memiliki panjang yang seragam, yang merupakan syarat untuk pemrosesan batch oleh model, parameter padding=True diaktifkan.
Selain itu, untuk menangani teks yang panjangnya melebihi batas maksimum input model .
ada IndoBERT dasar biasanya 512 toke.
, parameter truncation=True diaktifkan.
Dalam implementasi ini, panjang maksimum urutan .
ax_lengt.
secara eksplisit diatur menjadi 512 token.
Gambar 3 .
Prosess pengambilan data Michael reynald manoppo, dkk, analisis sentimen publik di media sosial terhadap kenaikan ppn 12% di indonesia:
menggunakan indobert Model klasifikasi sentimen, terutama pada lapisan outputnya, memerlukan target berupa nilai numerik, bukan label kategorikal berupa string .
eperti 'NETRAL', 'NEGATIF', 'POSITIF').
Oleh karena itu, tahap label mapping dilakukan untuk mengkonversi label sentimen asli menjadi representasi integer yang unik untuk setiap kategori Secara spesifik dalam penelitian ini, label 'NETRAL' dipetakan ke nilai 0, label 'NEGATIF' dipetakan ke nilai 1, dan label 'POSITIF' dipetakan ke nilai 2.
Pemetaan ini diterapkan secara konsisten pada seluruh sampel data di set pelatihan, validasi, dan pengujian, di mana nilai numerik ini berfungsi sebagai target atau ground truth yang akan dipelajari dan diprediksi oleh model IndoBERT.
Setelah proses preprocessing selesai, maka langkah berikutnya adalah membagi data menjadi tiga subset: 80% untuk pelatihan .
4 sampe.
, 10% untuk validasi .
, dan 10% untuk pengujian .
Pembagian dilakukan untuk dapat memastikan model yang dilatih secara optimal dan pada pembagian data menggunakan metode stratified splitting untuk mempertahankan distribusi kelas sentimen asli (Positif.
Negatif.
Netra.
yang tidak seimbang di setiap subset.
Setelah dataset pra-pemrosesan dan label mapping selesai, model IndoBERT .
ndobenchmark/IndoBERT-base-p.
ine-tune.
untuk tugas klasifikasi sentimen tiga kelas (Netral.
Negatif.
Positi.
Proses fine-tuning dilakukan selama 3 epoch menggunakan set pelatihan, dengan pemantauan performa pada set validasi untuk memilih model terbaik.
Evaluasi akhir kinerja model dilakukan pada set pengujian yang sepenuhnya terpisah dan belum pernah digunakan selama pelatihan.
Evaluasi ini BERTujuan untuk mendapatkan estimasi objektif mengenai kemampuan generalisasi model pada data baru.
Metrik yang diukur meliputi Accuracy.
Precision.
Recall, dan F1-score, dengan F1-score dihitung menggunakan weighted average untuk menangani ketidakseimbangan distribusi kelas.
Model IndoBERT .
ndobenchmark/IndoBERT-base-p.
, yang merupakan model bahasa berbasis Transformer yang telah dilatih pada korpus Bahasa Indonesia, kemudian dilatih lanjut .
ine-tune.
pada set pelatihan selama 3 Konfigurasi parameter pelatihan, termasuk ukuran batch 16 per perangkat, langkah warmup 500, weight 01, dan penggunaan metrik F1 pada set validasi untuk menentukan model terbaik yang akan dimuat di akhir pelatihan, dijelaskan secara detail pada Tabel 2 dan Tabel 3 di bagian Metodologi.
Setelah proses pelatihan selesai, model terbaik yang diperoleh dievaluasi secara komprehensif pada set pengujian .
menggunakan metrik Accuracy.
Precision.
Recall, dan F1-score.
Mengingat adanya ketidakseimbangan distribusi kelas, metrik F1 dihitung menggunakan average 'weighted' untuk memberikan bobot performa pada setiap kelas sesuai dengan jumlah sampelnya, sehingga hasil evaluasi performa keseluruhan model lebih representatif.
Hasil numerik dari evaluasi model pada set pengujian disajikan pada Tabel 5.
Tabel 4.
Hasil Evaluasi Model Terhadap Data Uji Parameter Nilai eval_loss eval_accuracy eval_f1 eval_precision eval_recall eval_runtime eval_samples_per_second 264.
eval_steps_per_second Tabel 4 menyajikan hasil evaluasi akhir model IndoBERT pada data uji.
Berdasarkan tabel tersebut, kinerja model yang diperoleh dalam penelitian ini tergolong baik dan kompetitif dalam konteks analisis sentimen berbahasa Indonesia.
Performa akurasi mencapai 84,94% dan F1-score .
sebesar 84,37% menunjukkan bahwa model IndoBERT sangat efektif untuk tugas klasifikasi sentimen ini.
Hasil ini sebanding atau bahkan sedikit lebih tinggi dibandingkan beberapa penelitian sebelumnya yang menggunakan model bahasa serupa atau metode tradisional untuk analisis sentimen berbahasa Indonesia.
Sebagai contoh, studi oleh .
yang menganalisis sentimen terkait kenaikan PPN 12% menggunakan metode Decision Tree pada data dari media sosial X melaporkan akurasi sebesar 81,34%.
Sementara itu, penelitian oleh .
yang juga menggunakan model IndoBERT untuk analisis sentimen calon presiden di Twitter melaporkan akurasi keseluruhan 80%.
Perbandingan ini mengindikasikan bahwa model IndoBERT memiliki kapabilitas yang kuat dan dalam kasus penelitian ini, mampu menghasilkan kinerja yang solid, meskipun perbedaan hasil dapat dipengaruhi oleh karakteristik spesifik dataset dan isu yang dibahas.
Parameter lain seperti presisi .
dan recall .
pada data uji juga menunjukkan keseimbangan yang baik dalam kemampuan model untuk mengidentifikasi kelas sentimen secara benar.
Epoch Training Loss None Tabel 5.
Ringkasan Metrik Validasi per Epoch Validation Loss Validation Accuracy Validation F1 Learning rate Michael reynald manoppo, dkk, analisis sentimen publik di media sosial terhadap kenaikan ppn 12% di indonesia:
menggunakan indobert None None None None Gambar 4 .
Diagram Training dan Validation Loss Over Epochs Tabel 4 menyajikan ringkasan metrik validasi yang diamati pada setiap akhir epoch.
Tabel ini mencakup nilai training loss, validation loss, akurasi validasi.
F1-score validasi, dan laju pembelajaran .
earning rat.
yang digunakan pada setiap epoch.
Dari data pada Tabel 5 dan didukung oleh kurva loss pada Gambar 4, terlihat bahwa training loss menurun secara konsisten dari 0.
5857 pada epoch pertama menjadi 0.
3080 pada epoch ketiga.
Validation loss, setelah mengalami sedikit kenaikan dari 0.
, kemudian menurun secara signifikan ke nilai 0.
4451 pada epoch ketiga.
Fenomena kenaikan validation loss pada epoch kedua sementara training loss menurun mengindikasikan adanya potensi overfitting, namun penurunan kembali pada epoch ketiga menunjukkan bahwa model berhasil menemukan representasi fitur yang lebih generalizable.
Laju pembelajaran yang tercatat menunjukkan penyesuaian yang dilakukan oleh scheduler selama proses pelatihan, dimulai dari 0.
000012 pada epoch pertama dan berakhir pada 0.
000038 di epoch ketiga.
Kinerja F1-score tertinggi pada set validasi .
dicapai pada epoch ketiga, bersamaan dengan akurasi validasi tertinggi .
yang mengindikasikan bahwa model pada epoch ini memiliki keseimbangan terbaik antara presisi dan recall pada data validasi.
Gambar 5 .
Confusion Matrix Model pada Data Uji Gambar 5 menyajikan confusion matrix yang dihasilkan model IndoBERT pada data uji.
Diagram ini memberikan visualisasi kinerja klasifikasi untuk masing-masing kelas sentimen: NETRAL.
NEGATIF, dan POSITIF.
Dari Michael reynald manoppo, dkk, analisis sentimen publik di media sosial terhadap kenaikan ppn 12% di indonesia:
menggunakan indobert diagonal utama, terlihat bahwa model berhasil mengklasifikasikan 98 sampel NEGATIF dengan benar, 86 sampel POSITIF dengan benar, dan 30 sampel NETRAL dengan benar.
Hal ini menunjukkan bahwa model memiliki kemampuan yang baik dalam mengenali sentimen NEGATIF dan POSITIF.
Namun, terdapat beberapa kesalahan klasifikasi yang perlu diperhatikan.
Sebanyak 20 sampel NETRAL salah diklasifikasikan sebagai NEGATIF, yang merupakan jenis kesalahan paling umum untuk kelas NETRAL.
Selain itu, 12 sampel NEGATIF juga salah diklasifikasikan sebagai NETRAL.
Kesalahan klasifikasi antara kelas NETRAL dan NEGATIF ini kemungkinan disebabkan oleh ambiguitas dalam teks atau nuansa bahasa yang sulit dibedakan oleh model.
Sementara itu, model menunjukkan kinerja yang baik dalam membedakan sentimen POSITIF, dengan hanya 2 sampel POSITIF yang salah diklasifikasikan sebagai NEGATIF dan tidak ada yang salah diklasifikasikan sebagai NETRAL.
Secara keseluruhan, confusion matrix ini mengkonfirmasi bahwa model IndoBERT yang dilatih cukup efektif dalam tugas klasifikasi sentimen terkait kenaikan PPN, dengan performa yang lebih kuat pada kelas NEGATIF dan POSITIF dibandingkan kelas NETRAL.
Setelah tahap training dan evaluasi kita akan melakukan pengujian terhadap model yang dilatih.
Pengujian ini dilakukan untuk mengevaluasi seberapa bagus model dapat melakukan klasifikasi, memahami dan menerjemahkan berbagai bentuk opini masyarakat terhadap kenaikan PPN 12%, baik dari sebuah bentuk dukungan, penolakan, atau ketidakpahaman tentang kebijakan kenaikan PPN 12%.
Tabel 5.
Hasil Prediksi Model Terhadap Uji Teks Teks Hasil 'PPN naik = gaji harus naik' NEGATIF 'ppn itu apa bg ?' NETRAL 'saya suka kebijakan ppn12% naik POSITIF 'Kebijakan PPN 12% sangat NEGATIF membebani rakyat.
Akurasi Dapat dilihat pada Tabel 5 yang merupakan hasil pengujian terhadap beberapa contoh teks mengenai kebijakan kenaikan PPN 12% bahwa model dapat mengklasifikasi teks dengan tingkat akurasi lumayan tinggi seperti pada klasifikasi pernyataan yang berunsur Negatif 'PPN naik = gaji harus naik' dan 'Kebijakan PPN 12% sangat membebani rakyat.
' memiliki akurasi diatas 0.
8 yang menunjukkan bahwa model dapat membaca teks yang mengandung unsur ketidakpuasan dan keluhan terhadap kebijakan kenaikan PPN 12%.
Selain itu, pada kalimat 'ppn itu apa bg ?' yang masuk ke bagian teks bersifat netral berhasil di klasifikasikan oleh model dengan tingkat akurasi lumayan yaitu di atas 0.
Sementara itu, pada kalimat yang berunsur positif 'saya suka kebijakan ppn12% naik ini' memiliki nilai akurasi yang sangat tinggi yaitu 0.
Secara keseluruhan, model yang telah dilakukan uji teks dapat membedakan kelas sentimen secara akurat.
Selain evaluasi kuantitatif, dilakukan analisis kualitatif terhadap kasus-kasus misklasifikasi oleh model IndoBERT pada set pengujian untuk memahami batasan dan area potensial Beberapa contoh teks yang salah diklasifikasikan beserta analisis penyebabnya disajikan pada Tabel 6.
Tabel 6.
Contoh Misklasifikasi Model IndoBERT beserta Analisis Penyebab Prediksi Label Analisis Kemungkinan Penyebab Model Sebenarnya Misklasifikasi Model cenderung melihat kata-kata Mantap betul PPN 12%! Dompet "mantap betul", "dompet makin tebel".
POSITIF
NEGATIF
makin tebel nih gara-gara hemat "hemat", "makasih" sebagai indikator Makasih positif secara literal, tanpa menangkap nada sarkastik yang menyindir dampak Tentu, berdasarkan sebaliknya.
Teks Kenaikan tarif PPN menjadi 12
persen mulai 2025 akan berdampak pada pengeluaran POSITIF
NEGATIF
Ambiguitas Semantik & Kurangnya Sinyal Negatif Kuat: Kata "berdampak" bersifat netral.
Model mungkin gagal menangkap konotasi negatif yang sering "peningkatan pengeluaran masyarakat" tanpa adanya kata kunci negatif yang lebih eksplisit.
Probabilitas yang tidak terlalu tinggi .
ketidakpastian model.
Michael reynald manoppo, dkk, analisis sentimen publik di media sosial terhadap kenaikan ppn 12% di indonesia:
menggunakan indobert
Ayo membayar pajak demi kesejahteraan para penjabat POSITIF
NEGATIF
Kegagalan Mendeteksi Sarkasme Kuat:
Model menginterpretasikan frasa "Ayo "demi kesejahteraan" secara literal sebagai ajakan positif.
UnTentusur ironi yang ("kesejahteraan para penjabat") tidak berhasil mengubah klasifikasi model, yang terlihat dari probabilitas prediksi positif yang sangat KESIMPULAN Penelitian ini BERTujuan membangun dan mengevaluasi model klasifikasi sentimen terhadap kebijakan kenaikan PPN 12% di Indonesia menggunakan pendekatan Natural Language Processing (NLP) berbasis model Transformer, yaitu IndoBERT.
Data dikumpulkan dari platform media sosial X.
Instagram, dan TikTok, kemudian melalui tahap pra-pemrosesan teks untuk menghasilkan data bersih, tokenisasi, dan pemetaan label.
Model IndoBERT .
heckpoint indobenchmark/IndoBERT-base-p.
di-fine-tune pada dataset yang dibagi secara stratifikasi .
% pelatihan, 10% validasi, 10% pengujia.
selama tiga epoch.
Evaluasi akhir pada data uji menunjukkan performa model yang kuat dengan akurasi 84,94%, presisi .
0,8460, recall .
0,8494, dan F1score .
0,8437.
Angka-angka ini mencerminkan kemampuan model dalam memahami konteks bahasa dan nuansa sentimen pada teks media sosial terkait isu kenaikan PPN 12%.
Analisis distribusi sentimen mengungkap bahwa sentimen negatif mendominasi respons publik, memberikan wawasan penting bagi pemangku kepentingan mengenai potensi penolakan kebijakan.
Penelitian ini menegaskan keunggulan IndoBERT dalam menangkap representasi linguistik yang kompleks pada teks berbahasa Indonesia dari media sosial.
Untuk pengembangan lebih lanjut, disarankan memperluas cakupan data ke sumber lain seperti forum diskusi atau komentar berita guna meningkatkan kemampuan generalisasi model terhadap variasi gaya bahasa.
Optimalisasi tahap fine-tuning dan eksplorasi fitur linguistik tambahan juga dapat meningkatkan performa model.
Meskipun model Transformer ini memiliki performa yang kuat, penelitian sebelumnya menunjukkan kerentanannya terhadap input yang dimanipulasi atau kondisi stress test.
Oleh karena itu, menguji ketahanan model terhadap gangguan atau adversarial examples merupakan area penting untuk penelitian berikutnya demi memahami kelemahan model dalam kondisi dunia nyata yang tidak ideal.
DAFTAR PUSTAKA