32
JURNAL SISTEM DAN INFORMATIKA (JSI)
Perbandingan Metode Indobert Dan Xlnet Dalam Mengukur Kemiripan Semantik Antara Tweet Dan IKP 2024 Stevren Christian Emor1.
Irene R.
Tangkawarow2.
Audy A.
Kenap3
1,2,3
Universitas Negeri Manado e-mail: 20210034@unima.
id, 2irene.
tangkawarouw@unima.
id, 3audykenap@unima.
Diajukan: 01 Oktober 2025 .
Direvisi: 12 Oktober 2025.
Diterima: 21 Oktober 2025 Abstrak Pemilihan Umum (Pemil.
merupakan pilar demokrasi yang rentan terhadap polarisasi opini publik dan penyebaran disinformasi di media sosial.
Untuk memahami dinamika tersebut, diperlukan pendekatan analisis semantik guna mengidentifikasi potensi kerawanan pemilu.
Penelitian ini bertujuan membandingkan kinerja dua model berbasis transformer.
IndoBERT dan XLNet, dalam mengukur kemiripan semantik antara komentar media sosial (Twitter/X) dan indikator Indeks Kerawanan Pemilu (IKP) 2024.
Data diperoleh melalui teknik crawling sebanyak 574 tweet dengan kata kunci AuPemilu2024Ay.
Tahapan penelitian meliputi preprocessing .
embersihan data, tokenizing, normalisasi, dan stemmin.
, analisis menggunakan model IndoBERT dan XLNet, perhitungan cosine similarity, serta evaluasi melalui Confusion Matrix .
kurasi, presisi, recall.
F1-scor.
dan Expert Judgment.
Hasil menunjukkan bahwa XLNet memiliki performa lebih baik dengan akurasi 76%, presisi 69,5%, recall 80%, dan F1-score 74,3%, dibandingkan IndoBERT dengan akurasi 59,7%, presisi 54,3%, recall 60,9%, dan F1-score 57,3%.
Penelitian ini berkontribusi dalam pengembangan metode komparatif berbasis Natural Language Processing (NLP) untuk mendeteksi potensi isu kerawanan pemilu melalui analisis opini publik di media sosial sebagai dukungan bagi pengawasan partisipatif Bawaslu.
Kata kunci: IndoBERT.
XLNet.
Kemiripan Semantik.
Media Sosial.
Indeks Kerawanan Pemilu.
Abstract General elections are a vital pillar of democracy yet remain vulnerable to polarization of public opinion and the spread of disinformation on social media.
To address this issue, a semantic analysis approach is needed to identify potential election vulnerabilities reflected in online discussions.
This study aims to compare the performance of two transformer-based models.
IndoBERT and XLNet, in measuring semantic similarity between social media comments (Twitter/X) and the 2024 Election Vulnerability Index (IKP) indicators.
Data were collected through a crawling technique, resulting in 574 tweets with the keyword AuPemilu2024.
Ay The research stages included preprocessing .
ata cleaning, tokenizing, normalization, and stemmin.
, semantic analysis using IndoBERT and XLNet, similarity calculation with cosine similarity, and evaluation through a Confusion Matrix .
ccuracy, precision, recall.
F1-scor.
and Expert Judgment.
The results indicate that XLNet performed better with 76% accuracy, 69.
5% precision, 80% recall, and a 74.
3% F1-score, compared to IndoBERTAos 59.
7% accuracy, 54.
3% precision, 60.
recall, and 57.
3% F1-score.
This research contributes to the development of a comparative Natural Language Processing (NLP) approach for detecting potential election vulnerability issues through public opinion analysis on social media, supporting BawasluAos efforts in participatory electoral supervision.
Keywords: IndoBERT.
XLNet, semantic similarity, social media.
Election Vulnerability Index.
Pendahuluan Pemilihan umum .
merupakan salah satu pilar utama dalam sistem demokrasi modern yang berfungsi sebagai mekanisme untuk memilih pemimpin dan perwakilan rakyat.
Pemilu tidak hanya menjadi sarana legitimasi politik, tetapi juga instrumen untuk memperkuat partisipasi masyarakat dalam menentukan arah kebijakan negara Namun, di sisi lain, penyelenggaraan pemilu kerap menghadapi tantangan serius berupa kerawanan politik, sosial, dan keamanan.
Potensi kerawanan ini dapat menimbulkan konflik, menurunkan kepercayaan publik, serta mengganggu stabilitas demokrasi.
Untuk memetakan potensi kerawanan.
Badan Pengawas Pemilu (Bawasl.
mengembangkan Indeks Kerawanan Pemilu (IKP).
Instrumen ini mengukur tingkat kerawanan suatu daerah berdasarkan data p-ISSN: 1858-473X, e-ISSN: 2460-3732 historis, survei lapangan, serta pemetaan potensi konflik.
IKP edisi terbaru .
mencakup empat dimensi utama, yaitu: konteks sosial-politik, penyelenggaraan pemilu, kontestasi, dan partisipasi masyarakat .
, .
IKP tidak hanya berfungsi sebagai alat prediksi, tetapi juga sebagai instrumen pencegahan yang dapat membantu pemerintah dan penyelenggara pemilu mengambil langkah preventif .
Dalam konteks Indonesia, ancaman kerawanan pemilu semakin kompleks dengan hadirnya media sosial sebagai arena komunikasi politik.
Twitter (X) secara khusus menjadi platform yang banyak digunakan untuk kampanye politik, penyebaran informasi, hingga mobilisasi opini public .
Analisis terhadap percakapan dan komentar di media sosial menunjukkan bahwa opini publik dapat terbentuk dan berkembang dengan cepat, seringkali tidak terlepas dari fenomena disinformasi, ujaran kebencian, dan polarisasi politik .
, .
Penelitian di berbagai negara membuktikan bahwa media sosial memiliki potensi besar dalam memengaruhi preferensi politik masyarakat dan bahkan hasil pemilu.
Fenomena polarisasi politik di media sosial Indonesia juga semakin marak, terutama dengan adanya aktivitas coordinated behavior melalui penggunaan hashtag terkoordinasi.
Studi terbaru menemukan bahwa terdapat pola kampanye digital yang berpotensi memanipulasi opini publik serta meningkatkan kerawanan pemilu .
Oleh sebab itu, analisis semantik terhadap komentar media sosial menjadi penting untuk mengidentifikasi potensi kerawanan sekaligus memahami dinamika politik digital.
Selain itu, perkembangan media sosial sebagai ruang diskusi politik menjadikan analisis terhadap opini publik semakin penting untuk dilakukan.
Media sosial seperti Twitter/X telah menjadi salah satu wadah utama masyarakat dalam menyampaikan pandangan terkait Pemilu 2024, sehingga dapat memberikan gambaran mengenai dinamika persepsi public .
Hal ini menegaskan perlunya pemanfaatan teknologi analisis data untuk memetakan opini masyarakat yang terus berubah dengan cepat.
Tidak hanya melalui media sosial, berita daring juga memiliki peran strategis dalam memberikan informasi dan merekam tanggapan publik terhadap tahapan pemilu.
Kajian yang dilakukan menunjukkan bahwa informasi dari berita daring dapat digunakan untuk memahami sikap masyarakat, baik dalam bentuk opini positif maupun negatif, sehingga dapat mendukung pengawasan pemilu yang lebih efektif .
Lebih lanjut, analisis terhadap data publik menunjukkan adanya kecenderungan bahwa opini masyarakat di media sosial dapat dipetakan secara lebih akurat dengan memanfaatkan pendekatan komputasional .
Hal ini membuktikan bahwa data yang kompleks dan beragam dari media digital dapat diolah menjadi informasi yang berharga untuk memperkuat pemetaan kerawanan pemilu.
Dengan demikian, penggabungan analisis semantik pada data media sosial dengan indikator kerawanan pemilu menjadi penting untuk memperkaya strategi pencegahan potensi gangguan demokrasi.
Selain pada ranah opini publik, analisis kemiripan juga digunakan untuk mengevaluasi proses bisnis internal lembaga pengawas pemilu.
Hasil penelitian terkait Standar Operasional Prosedur (SOP) Bawaslu menunjukkan bahwa terdapat kesesuaian maupun perbedaan yang dapat diukur secara struktural maupun semantic .
Hal ini memberikan dasar penting bagi penyelarasan prosedur pengawasan agar lebih konsisten di semua tingkatan, baik pusat maupun daerah.
Untuk menganalisis opini publik di media sosial, digunakan teknik perhitungan kemiripan semantik, yaitu metode untuk mengukur kesamaan makna antara teks yang berbeda.
Di sinilah teknologi Natural Language Processing (NLP) memainkan peran penting.
Dua model bahasa berbasis transformer yang menonjol adalah IndoBERT dan XLNet.
IndoBERT merupakan adaptasi dari arsitektur BERT untuk bahasa Indonesia, yang dilatih dengan pendekatan masked language modeling.
Model ini mampu memahami konteks kata secara bidirectional dan telah menunjukkan kinerja unggul pada berbagai tugas NLP berbahasa Indonesia.
Sementara itu.
XLNet dikembangkan dengan pendekatan berbeda, yaitu permutation language modeling, yang memungkinkan model memprediksi kata dengan mempertimbangkan semua kemungkinan urutan kata.
Pendekatan ini memberikan keunggulan dalam menangkap relasi kata tanpa keterbatasan masking seperti pada BERT.
Studi sebelumnya menunjukkan bahwa XLNet seringkali lebih baik dalam memahami konteks panjang dan kompleks, meskipun dengan biaya komputasi yang lebih tinggi.
Perbandingan kedua model ini dalam konteks analisis semantik di media sosial Indonesia masih relatif Mengingat kompleksitas bahasa Indonesia yang kaya akan morfologi, variasi dialek, serta penggunaan bahasa gaul di media sosial, penelitian ini menjadi relevan untuk melihat sejauh mana IndoBERT dan XLNet mampu mendeteksi kesamaan makna komentar publik dengan indikator kerawanan Perbandingan ini penting dilakukan karena kedua model tersebut memiliki karakteristik arsitektur dan pendekatan pelatihan yang berbeda, sehingga dapat menghasilkan performa yang bervariasi dalam memahami konteks semantik bahasa Indonesia.
IndoBERT yang dilatih secara masked language modeling lebih fokus pada pemahaman konteks dua arah .
idirectional context understandin.
, sedangkan XLNet dengan pendekatan permutation language modeling mampu mempertimbangkan seluruh kemungkinan urutan kata dalam kalimat.
Dengan membandingkan kedua metode ini, penelitian ini bertujuan untuk JURNAL SISTEM DAN INFORMATIKA Vol.
No.
November 2025 mengidentifikasi model yang paling efektif dan akurat dalam menangkap makna semantik teks tidak terstruktur seperti komentar media sosial.
Hasil perbandingan ini diharapkan dapat memberikan kontribusi empiris terhadap pengembangan model pemrosesan bahasa alami (NLP) untuk bahasa Indonesia serta menjadi acuan bagi lembaga pengawas pemilu, seperti Bawaslu, dalam menentukan metode analisis yang paling tepat untuk mendeteksi potensi kerawanan politik berdasarkan opini publik di ruang digital.
Dengan demikian, penelitian ini bertujuan untuk mengkaji dan membandingkan efektivitas IndoBERT dan XLNet dalam perhitungan kemiripan semantik antara komentar media sosial Twitter (X) dengan indikator IKP Pemilu 2024.
Hasil penelitian diharapkan dapat memberikan kontribusi signifikan terhadap strategi mitigasi risiko kerawanan pemilu serta memperluas pemahaman akademis mengenai interaksi antara media sosial, opini publik, dan stabilitas demokrasi di Indonesia.
Metode Penelitian Data tweet yang berhubungan dengan pemilu 2024 .
Pengambilan sampel data tweet dilakukan secara acak pada tanggal 29 Agustus 2024.
Pengambilan sampel data menggunakan kata kunci Aupemilu 2024Ay dan mendapatkan data tweet sebanyak 574 tweet.
Data Indeks Kerawanan Pemilu 2024 ini mencakup indikator-indikator yang digunakan untuk mengukur kerawanan pemilu, seperti stabilitas politik, partisipasi pemilih, aspek teknis pemilu, dan kondisi Indikator-indikator ini diambil dari laporan resmi dan survei yang dilakukan oleh lembaga seperti Komisi Pemilihan Umum (KPU).
Badan Pengawas Pemilihan Umum (Bawasl.
, dan organisasi nonpemerintah yang memantau pemilu.
Crawling Data Proses pengambilan data menggunakan library Tweepy.
Penggunaan library ini membutuhkan akses berupa OAuth 1 yang bisa didapat dari website Twitter Developer.
Penggunaan OAuth 1 pada library ini mendapatkan izin untuk melakukan akses 10 menggunakan API yang tersedia.
Library ini memanfaatkan API Twiiter Berupa search yang bisa mencari tweet yang memiliki kecocokan dengan kata kunci yang diberikan.
Peneliti memberikan kata kunci berupa pemilu 2024.
Dari hasil pengambilan data tersebut yang berjumlah 574 Data tweet yang kemudian disimpan dalam format CSV Indeks Kerawanan Pemilu (IKP) Identifikasi indikator yang relevan dan representatif untuk mengukur tingkat kerawanan suatu daerah dalam menghadapi pemilu.
Indikator dapat mencakup aspek sosial, politik, dan keamanan.
Merancang metode pengumpulan data yang sesuai untuk setiap indikator.
Metode ini dapat meliputi survei lapangan, analisis data historis, dan pemetaan potensi konflik.
Melakukan survei lapangan untuk mengumpulkan data primer yang diperlukan untuk mengukur indikator-indikator yang telah ditentukan sebelumnya.
Survei lapangan dapat dilakukan melalui wawancara, kuesioner, atau observasi Mengumpulkan data sekunder yang relevan dari sumber-sumber yang tersedia, seperti lembaga statistik, laporan pemerintah, dan riset terdahulu.
Menganalisis data yang telah terkumpul untuk mengukur tingkat kerawanan pemilu pada setiap daerah.
Analisis ini dapat dilakukan menggunakan metode statistik atau analisis kualitatif, tergantung pada jenis data yang digunakan.
Memetakan data yang telah dianalisis ke dalam sebuah indeks yang dapat mengukur tingkat kerawanan pemilu pada setiap daerah.
Indeks ini dapat disusun menggunakan metode tertentu, seperti analisis faktor atau weighting.
Melakukan validasi terhadap indeks yang telah disusun untuk memastikan bahwa indeks tersebut dapat memberikan gambaran yang akurat tentang tingkat kerawanan pemilu pada setiap daerah.
Menyajikan hasil indeks kerawanan pemilu kepada publik dan pemangku kepentingan terkait untuk digunakan sebagai acuan dalam mengambil langkah-langkah preventif menjelang pemilu.
Gambar 1.
Tahapan Penelitian.
Perbandingan Metode Indobert Dan Xlnet Dalam Mengukur Kemiripan Semantik Antara Tweet Dan IKP 2024 (Stevren Christian Emor.
Irene R.
Tangkawarow.
Audy A.
Kena.
35 Proses analisis kemiripan semantik dilakukan dengan menginput dataset yang akan dibandingkan.
Setelah melalui tahapan preprocessing, teks hasil pembersihan dimasukkan ke dalam model IndoBERT untuk menghasilkan representasi vektor dari setiap teks.
Representasi vektor ini menggambarkan makna kontekstual dari setiap kata maupun kalimat, sehingga dapat digunakan untuk mengukur tingkat kemiripan makna .
emantic similarit.
antara komentar media sosial dan indikator pada Indeks Kerawanan Pemilu (IKP).
Model IndoBERT bekerja dengan pendekatan masked language modeling, di mana sistem mempelajari hubungan antar-kata dalam dua arah sekaligus .
idirectional contex.
, sehingga lebih mampu memahami makna yang tersembunyi di antara konteks kalimat.
Langkah yang sama juga diterapkan pada model XLNet, di mana teks hasil preprocessing diubah menjadi vektor numerik melalui mekanisme permutation language modeling.
Berbeda dengan IndoBERT yang berfokus pada konteks dua arah.
XLNet mempertimbangkan seluruh kemungkinan urutan kata dalam kalimat untuk memprediksi kata berikutnya.
Pendekatan ini memungkinkan model memahami konteks yang lebih luas dan menangkap hubungan semantik yang lebih kompleks antar kata dalam kalimat.
Dengan demikian, kedua model menghasilkan representasi semantik yang berbeda meskipun berasal dari data yang sama, sehingga perbandingan hasilnya dapat memberikan gambaran kinerja yang lebih komprehensif.
Setelah representasi vektor diperoleh, perhitungan kemiripan semantik dilakukan menggunakan metode Cosine Similarity.
Metode ini dipilih karena mampu mengukur sudut kemiripan antara dua vektor tanpa terpengaruh oleh panjang vektor masing-masing.
Nilai cosine similarity berada pada rentang 0 hingga 1, di mana nilai mendekati 1 menunjukkan tingkat kemiripan semantik yang tinggi, sedangkan nilai mendekati 0 menunjukkan tidak adanya kemiripan.
Rumus dasar yang digunakan dalam penelitian ini ya.
yaA yaycuycycnycuyce ycIycnycoycnycoycaycycnycyc = eyae eyaAe dengan A dan B masing-masing merupakan vektor hasil representasi dari model IndoBERT dan XLNet.
Nilai kemiripan yang dihasilkan oleh model kemudian dikategorikan berdasarkan ambang batas .
Misalnya, apabila nilai cosine similarity Ou 0,5 maka teks dianggap AumiripAy, sedangkan jika nilainya < 0,5 maka dianggap Autidak miripAy.
Proses ini menghasilkan data klasifikasi biner yang menunjukkan apakah sebuah komentar memiliki kemiripan makna dengan indikator kerawanan pemilu atau Klasifikasi ini diperlukan untuk memudahkan proses evaluasi dan perbandingan kinerja antar model.
Confusion Matrix atau Evaluasi bertujuan untuk mengukur kinerja model yang dihasilkan dari proses fine-tuning.
Evaluasi dilakukan dengan menggunakan confusion matrix.
Metode confusion matrixini terdiri dari 4 jenis nilai yaitu TP (True Positiv.
FP (False Positiv.
FN (False Negativ.
, dan TN (True Negativ.
Nilai-nilai tersebut kemudian digunakan untuk menganalisis hasil kerja model dengan menghitung nilai accuracy, precision, recall, dan f1-score.
Akurasi bertujuan untukmengukur persentase sampel yang diprediksi dengan benar dalam data Perhitungan accuracydapat dilihat pada Persamaan 1 yaycaycaycycycaycayc = ycNycy ycNycu ycNycy ycNycu yaycy yaycu Precision adalah tingkat ketepatan antara kasus yang diprediksi positif dan hasil yang positif benar sesuai data sebenarnya.
Perhitungan precisiondapat dilihat pada Persamaan ycNycy ycEycyceycaycnycycnycuycu = .
ycNycy yaycy Recall adalah tingkat keberhasilan kasus positif dari data sebenarnya diprediksi secara positif dengan benar.
Perhitungan recalldapat dilihat pada Persamaan ycNycy ycIyceycaycaycoyco = .
ycNycy yaycy F1-score adalah metrik evaluasi yang menggabungkan nilai precisiondan recallsecara bersamaan.
Perhitungan f1-scoredapat dilihat pada Persamaan ycIyceycaycaycoyco ycu ycEycyceycaycnycycnycuycu ya1 ycIycaycuycyce = 2ycu ycIyceycaycaycoyco ycEycyceycaycnycycnycuycu Hasil dan Pembahasan Data yang digunakan dalam penelitian ini adalah data yang berhubungan dengan komentar publik tentang Pemilu 2024 yang diambil melalui teknik Crawling Data.
Pengambilan sampel data dilakukan secara acak pada tanggal 29 Agustus 2024 menggunakan kata kunci AuPemilu2024Ay.
Dari proses tersebut JURNAL SISTEM DAN INFORMATIKA Vol.
No.
November 2025 diperoleh sebanyak 574 data tweet yang kemudian disimpan dalam format CSV untuk tahap pengolahan lebih lanjut.
Teknik Crawling Data merupakan metode pengumpulan data otomatis yang digunakan untuk mengambil informasi dari situs web atau media sosial menggunakan skrip atau program tertentu.
Dalam penelitian ini, proses crawling dilakukan dengan memanfaatkan Application Programming Interface (API) dari platform Twitter .
ekarang X), yang memungkinkan peneliti mengakses data publik secara terstruktur.
Proses crawling dilakukan dengan menentukan beberapa parameter, seperti kata kunci .
, rentang waktu pengambilan data, serta batas jumlah data .
Setiap tweet yang diperoleh melalui proses crawling mencakup beberapa elemen penting seperti isi teks komentar, tanggal unggahan, username anonim, serta informasi tambahan seperti jumlah suka dan Data mentah tersebut kemudian dikumpulkan dalam satu berkas dengan format Comma Separated Values (CSV) untuk memudahkan proses preprocessing dan analisis selanjutnya.
Penggunaan teknik Crawling Data dipilih karena mampu mengumpulkan data dalam jumlah besar secara cepat dan efisien, sekaligus memastikan bahwa data yang digunakan bersumber langsung dari opini publik yang aktual di media sosial.
Dengan demikian, data yang diperoleh dapat merepresentasikan persepsi masyarakat secara real time terhadap isu Pemilu 2024, sehingga relevan untuk digunakan dalam analisis kemiripan semantik dengan Indeks Kerawanan Pemilu.
Preprocessing Data Selanjutnya adalah preprocessing pada tahapan ini data hasil dari tahapan proses crawling data akan diproses hingga menjadi data yang bersih.
Berikut tahapan dalam melakukan preprocessing:
1 Pembersihan Data Pembersihan data bertujuan untuk menghilangkan karakter yang Mengurangi kualitas data, seperti link, nama akun X (Twitte.
Seseorang dan tanda hashtag.
Tabel 1 menunjukan hasil tahapan Pembersihan Data.
Tabel 1.
Contoh Hasil Pembersihan Data Teks Pilkada Serentak 2024 adalah momen untuk memilih masa depan bukan untuk perpecahan jagapersatuan untuknkri #Pilkada2024 #Pemilu2024 #PilkadaAman https://t.
co/VuwLrQW613 Hasil Pembersihan Data pilkada serentak adalah momen untuk memilih masa depan bukan untuk perpecahan jagapersatuan untuknkri pilkada pemilu pilkadaaman 2 Tokenizing Tokenizing adalah tahapan pemisahan teks kalimat menjadi potongan per kata sesuai spasi dalam Tabel 2.
menunjukan hasil tahapan tokenizing.
Tabel 2.
Contoh Hasil Tokenizing Teks pilkada serentak adalah momen untuk memilih masa depan bukan untuk perpecahan jagapersatuan untuknkri pilkada pemilu https://t.
co/VuwLrQW613 Hasil Pembersihan Data ['pilkada', 'serentak', 'adalah', 'momen', 'untuk', 'memilih', 'masa', 'depan', 'bukan', 'untuk', 'perpecahan', 'jagapersatuan', 'untuknkri', 'pilkada', 'pemilu', 'pilkadaaman'] Perbandingan Metode Indobert Dan Xlnet Dalam Mengukur Kemiripan Semantik Antara Tweet Dan IKP 2024 (Stevren Christian Emor.
Irene R.
Tangkawarow.
Audy A.
Kena.
37 3 Normalisasi Normalisasi adalah proses yang berkaitan dengan model data relational untuk mengorganisasi himpunan data dengan ketergantungan dan keterkaitan yang tinggi atau erat Tabel 3.
menunjukan hasil Normalisasi:
Tabel 3.
Contoh Hasil Normalisasi Teks ['pilkada', 'serentak', 'adalah', 'momen', 'untuk', 'memilih', 'masa', 'depan', 'bukan', 'untuk', 'perpecahan', 'jagapersatuan', 'untuknkri', 'pilkada', 'pemilu', 'pilkadaaman'] Hasil Pembersihan Data ['pilkada', 'serentak', 'adalah', 'momen', 'untuk', 'memilih', 'masa', 'depan', 'bukan', 'untuk', 'perpecahan', 'jagapersatuan', 'untuknkri', 'pilkada', 'pemilu', 'pilkadaaman'] 4 Stemming Stemming adalah tahap perubahan sebuah kata ke dalam bentuk kata dasarnya.
Jadi pada tahap ini, kata-kata pada data yang sudah di tokenisasi dan dinormalisasi akan diubah ke dalam bentuk dasarnya dengan cara menghilangkan imbuhan pada kata tersebut.
Tabel 4.
menunjukan hasil Stemming:
Tabel 4.
Contoh Hasil Stemming Teks ['pilkada', 'serentak', 'adalah', 'momen', 'untuk', 'memilih', 'masa', 'depan', 'bukan', 'untuk', 'perpecahan', 'jagapersatuan', 'untuknkri', 'pilkada', 'pemilu', 'pilkadaaman'] Hasil Pembersihan Data pilkada serentak adalah momen untuk pilih masa depan bukan untuk pecah jagapersatuan untuknkri pilkada milu 2 Perhitungan Kemiripan Semantik IndoBERT Menginput proses data yang akan direview, data yang digunakan untuk perhitungan semantik adalah Data yang telah melalui preprocessing setelah data diproses Data dimasukkan ke dalam perhitungan metode IndoBERT untuk mendapatkan hasil kemiripan semantik dari teks dan indikator indeks kerawanan Pemilu 2024 (IKP 2.
lalu datanya di simpan dalam tabel di file excel dengan format xlsx.
Seperti pada Input IndoBERT di bawah ini :
Gunakan library pandas, transformers, torch, dan scipy untuk pemrosesan data dan perhitungan jarak Inisialisasi model dan tokenizer IndoBERT Tentukan model_name = 'indobenchmark/indobert-base-p1' Muat tokenizer dari model_name Muat model dari model_name Buat fungsi get_embedding.
Tokenisasi teks dan ubah ke bentuk tensor Lakukan forward pass ke model IndoBERT tanpa perhitungan gradien Ambil rata-rata dari last hidden state sebagai representasi vektor .
Kembalikan embedding sebagai hasil fungsi Buat fungsi calculate_similarity.
mbedding1, embedding.
Hitung nilai cosine similarity antara kedua embedding Kembalikan nilai similarity Baca file Excel .
isalnya 'stemm.
xlsx') untuk mendapatkan teks utama Ambil kolom 'clean_stemm' dan ubah ke dalam bentuk daftar .
Hapus entri kosong (NaN) Tentukan daftar teks pembanding .
isalnya Au61 Indikator Indeks Kerawanan Pemilu 2024.
JURNAL SISTEM DAN INFORMATIKA Vol.
No.
November 2025 Siapkan variabel:
processed_texts Ie untuk menyimpan teks yang sudah diproses results Ie untuk menyimpan hasil kemiripan Untuk setiap teks utama:
Jika teks sudah pernah diproses, lewati langkah ini Tandai teks sebagai sudah diproses Dapatkan embedding dari teks utama Bandingkan dengan setiap teks pembanding:
Dapatkan embedding teks pembanding Hitung skor cosine similarity Simpan teks pembanding dengan skor kemiripan tertinggi Simpan hasil ke dalam tabel (DataFram.
yang berisi:
- Teks Utama - Teks Paling Mirip - Skor Kemiripan Ekspor hasil ke file Excel .
asil_kemiripan.
") Setelah dilakukannya Perhitungan Semantik dengan IndoBert dan di sortir data tweet yang sama maka data yang sebelumnya berjumlah 574 berkurang menjadi 229 dan langsung otomatis memunculkan juga Skor kemiripanya pada tabel 5.
Menunujukan Hasil Kemiripan Semantik yang didapat.
Tabel 5.
Skor Kemiripan Semantik IndoBERT
Indikator Adanya penghitungan suara ulang di Pemilu/Pilkada Tweet
pilkada serentak adalah momen untuk pilih masa depan bukan untuk pecah jagapersatuan untuknkri pilkada milu
Skor Kemiripan Semantik
0,519894791
3 Perhitungan Kemiripan Semantik XLnet Menginput proses data yang akan direview, data yang digunakan untuk perhitungan XLnet sama dengan data yang digunakan dalam perhitungan Bert yang telah melalui tahap preprocessing setelah data diproses Data dimasukkan ke dalam perhitungan metode XLnet untuk mendapatkan hasil kemiripan semantik dari teks dan indikator indeks kerawanan Pemilu 2024 (IKP 2.
lalu datanya di simpan dalam tabel di file excel dengan format xlsx.
Seperti Input XLnet di bawah ini.
Gunakan library pandas, transformers, torch, dan scipy untuk pemrosesan data serta perhitungan jarak Inisialisasi model dan tokenizer XLNet Tentukan model_name = 'xlnet-base-cased' Muat tokenizer dari model_name Muat model dari model_name Buat fungsi get_embedding.
Tokenisasi teks dan ubah ke bentuk tensor Lakukan forward pass ke model XLNet tanpa perhitungan gradien Ambil rata-rata .
dari last hidden state sebagai representasi vektor .
Kembalikan embedding sebagai hasil fungsi Buat fungsi calculate_similarity.
mbedding1, embedding.
Hitung nilai cosine similarity antara kedua embedding menggunakan rumus:
similarity = 1 - cosine_distance.
mbedding1, embedding.
Kembalikan nilai similarity Baca file Excel .
isalnya 'stemm.
xlsx') untuk mendapatkan teks utama Ambil kolom 'clean_stemm' dan ubah ke dalam bentuk daftar .
Hapus entri kosong (NaN) untuk memastikan tidak ada data kosong Tentukan daftar teks pembanding Misalnya: Au61 Indikator Indeks Kerawanan Pemilu 2024.
Ay Siapkan variabel:
Perbandingan Metode Indobert Dan Xlnet Dalam Mengukur Kemiripan Semantik Antara Tweet Dan IKP 2024 (Stevren Christian Emor.
Irene R.
Tangkawarow.
Audy A.
Kena.
39 processed_texts Ie untuk menyimpan teks yang sudah diproses results Ie untuk menyimpan hasil perbandingan kemiripan semantik Untuk setiap teks utama dalam daftar teks:
Jika teks sudah pernah diproses, lewati langkah ini Tandai teks sebagai sudah diproses Dapatkan embedding dari teks utama menggunakan fungsi get_embedding() Bandingkan dengan setiap teks pembanding:
Dapatkan embedding teks pembanding Hitung skor cosine similarity antara dua embedding Simpan teks pembanding dengan skor kemiripan tertinggi Simpan hasil ke dalam tabel (DataFram.
dengan kolom:
- Teks Utama - Teks Paling Mirip - Skor Kemiripan Ekspor tabel hasil ke file Excel .
asil_kemiripan_xlnet.
Setelah dilakukannya Perhitungan Semantik dengan XLnet dan di sortir data tweet yang sama maka data yang sebelumnya berjumlah 574 berkurang menjadi 229 dan langsung otomatis memunculkan juga Skor kemiripanya pada Tabel 6.
Hasil Skor Kemiripan Semantik yang didapat Tabel 6.
Hasil Skor Kemiripan Semantik Xlnet
Indikator Adanya himbauan dan/atau tindakan untuk menolak calon tertentu dari pemerintah lokal atau tokoh masyarakat
Tweet
pilkada serentak adalah momen
untuk pilih masa depan bukan untuk pecah jagapersatuan untuknkri pilkada milu
Skor Kemiripan Semantik
0,991106984
4 Perbandingan IndoBERT
Indikator 8
Indikator 25
Indikator 41
Indikator 6
Indikator 42
Indikator 34
Indikator 61
Indikator 50
Indikator 7
Indikator 60
Indikator 48
Indikator 54
Indikator 31
JUMLAH
Indikator 56
Indikator 12
Indikator 9
Indikator 11
Indikator 33
Indikator 1
Indikator 43
Indikator 4
Indikator 3
INDIKATOR
Gambar 4.
IndoBERT Pada Gambar 4.
IndoBERT menunjukan berapa banyak jumlah kemunculan tiap indikator dan indikator apa saja yang muncul pada Metode IndoBert JURNAL SISTEM DAN INFORMATIKA Vol.
No.
November 2025
Indikator 56
Indikator 35
Indikator 10
Indikator 13
Indikator 11
Indikator 55
Indikator 42
Indikator 34
Indikator 58
Indikator 17
Indikator 52
Indikator 31
8 11 1
Indikator 51
Indikator 54
Indikator 53
Indikator 36
Indikator 38
Indikator 14
Indikator 45
Indikator 16
Indikator 15
Indikator 43
Indikator 37
Indikator 3
JUMLAH
XLnet
INDIKATOR
Gambar 5.
Xlnet Pada Gambar 5.
XLnet menunjukan berapa banyak jumlah lemunculan tiap indikator dan indikator apa saja yang muncul pada Metode XLnet.
5 Perbandingan Expert Judgment Data yang telah dibandingkan akan di lihat mirip tidaknya oleh Expert Judgment apakah data dari kedua metode tersebut benar Ae benar mirip atau tidak data tweet(Teks Utam.
dan IKP 2024( Teks Mirip dan Tidak Miri.
Data yang di periksa adalah 20% dari keseluruhan data.
Bisa di lihat pada Tabel 7.
IndoBERT dan Tabel 8.
XLnet Tabel 7.
IndoBERT Teks Utama Teks Paling Mirip momen untuk pilih masa depan bukan untuk pecah pilkada milu Adanya suara ulang di Pemilu/Pilkada Skor Kemiripan Tertinggi 0,519894838 Teks Tidak Mirip Adanya dan/atau lokal atau Skor Kemiripan Terendah 0,305020928 Mirip Tidak Mirip Tidak Tidak Skor Kemiripan Terendah 0,968133807 Mirip Tidak Mirip Mirip Tidak Tabel 8.
Xlnet Teks Utama Teks Paling Mirip momen untuk Adanya dan/atau tindakan untuk menolak Skor Kemiripan Tertinggi 0,991106868 Teks Tidak Mirip Adanya Hoax di Perbandingan Metode Indobert Dan Xlnet Dalam Mengukur Kemiripan Semantik Antara Tweet Dan IKP 2024 (Stevren Christian Emor.
Irene R.
Tangkawarow.
Audy A.
Kena.
41 pilih masa depan bukan untuk pecah pilkada milu calon tertentu dari pemerintah lokal atau tokoh 6 Confusion Matrix Tabel 9.
Hasil Confusion Matrix IndoBERT XLnet Dari Hasil di atas maka kita bisa menghitung Accuracy.
Recall.
Precision dan F1 Scorenya seperti di bawah ini :
IndoBERT Akurasi keseluruhan dihitung untuk menilai seberapa baik Metode IndoBERT dalam melakukan perhitungan kemiripan semantik antar kata.
Akurasi keseluruhan ini dinyatakan sebagai persentase dari total prediksi yang benar dibandingkan dengan jumlah total data.
Dengan True Positives (TP) untuk positif = 25.
True Negatif (TN) = 30.
False Positives (FP) = 21, dan False Negatif (FN) =16 .
Untuk menghitung accuracy dapat dilihat pada persamaan di bawah ini :
ycNycy ycNycu yaycaycaycycycaycayc = = 0,597 ycu 100% = 59,7% ycNycy ycNycu yaycy yaycu 25 30 21 16 92 Hasil akurasi keseluruhan sebesar 59,7% menunjukkan bahwa Metode IndoBert berhasil melakukan perhitungan 59,7% dari data dengan benar sesuai kata yang seharusnya.
Untuk menentukan nilai precision, pertama-tama perlu ditetapkan nilai True Positive (TP), yaitu jumlah kemiripan mirip yang berhasil dideteksi oleh Metode IndoBERT dan dianggap mirip juga oleh Expert Judgment, yakni sebanyak 25.
Sedangkan False Positive (FP) merupakan komen yang tidak mirip menurut Expert Judgment dan dihitung mirip oleh IndoBERT, yaitu sebesar 21.
Untuk menghitung precision dapat dilihat pada persamaan di bawah ini :
ycNycy ycEycyceycaycnycycnycuycu = = 0,543 ycu 100% = 54,3% ycNycy yaycy 25 21 46 Hasil precision sebesar 54,3% ini menunjukkan bahwa dari semua prediksi yang dihitung benar oleh metode ternyata memang benar mirip menurut Expert Judgment juga.
Recall dihitung untuk mengukur seberapa baik Metode IndoBERT dalam mengidentifikasi semua data yang sebenarnya positif atau mirip.
Nilai recall didapatkan dengan rumus di mana TP adalah jumlah True Positives dan FN adalah jumlah False Negatives .
Berdasarkan data yang ada, diperoleh nilai TP sebesar 25 dan FN sebesar 16.
ycNycy ycIyceycaycaycoyco = = 0,609 ycu 100% = 60,9% ycNycy yaycu 25 16 41 Hasil recall sebesar 60,9% ini menunjukkan bahwa metode IndoBERT mampu mendeteksi sebagian besar data yang benar-benar mirip dengan cukup baik.
Dengan recall yang cukup baik, model ini efektif dalam mengurangi jumlah data positif atau mirip yang luput dari perhitungan, sehingga memberikan jaminan bahwa mayoritas data positif mirip dapat teridentifikasi secara akurat oleh sistem.
JURNAL SISTEM DAN INFORMATIKA Vol.
No.
November 2025 Dan F1 Score digunakan untuk mengukur seberapa baik keseimbangan antara precision dan recall dari hasil deteksi sistem.
Precision menunjukkan seberapa banyak hasil yang dinyatakan mirip oleh sistem ternyata memang benar menurut Expert Judgment, sedangkan recall menunjukkan seberapa banyak data yang benarbenar mirip berhasil dikenali oleh sistem.
ycIyceycaycaycoyco ycu ycEycyceycaycnycycnycuycu
0,609 ycu 0,543 0,661 ya1 ycIycaycuycyce = 2ycu
= 2ycu
= 0,573 ycu 100% = 57,3% ycIyceycaycaycoyco ycEycyceycaycnycycnycuycu
0,609 0,543 1,152
Pada perhitungan ini, precision-nya adalah 54,3% dan recall-nya 60,9%.
Kedua nilai tersebut dimasukkan ke dalam rumus F1 Score, yaitu 2 dikali hasil perkalian precision dan recall, lalu dibagi dengan jumlah Hasil akhirnya adalah 57,3%, yang berarti sistem memiliki kinerja yang cukup baik dalam mendeteksi kemiripan sesuai dengan penilaian dari Expert Judgment.
XLnet Akurasi keseluruhan dihitung untuk menilai seberapa baik Metode XLnet dalam melakukan perhitungan kemiripan semantik antar kata.
Akurasi keseluruhan ini dinyatakan sebagai persentase dari total prediksi yang benar dibandingkan dengan jumlah total data.
Dengan True Positives (TP) untuk positif = 32.
True Negatif (TN) = 38.
False Positives (FP) = 14, dan False Negatif (FN) = 8 .
Untuk menghitung accuracy dapat dilihat pada persamaan di bawah ini :
ycNycy ycNycu yaycaycaycycycaycayc = = 0,760 ycu 100% = 76% ycNycy ycNycu yaycy yaycu 32 38 14 8 92 Hasil akurasi keseluruhan sebesar 76% menunjukkan bahwa Metode XLnet berhasil melakukan perhitungan 76% dari data dengan benar sesuai kata yang seharusnya.
Recall dihitung untuk mengukur seberapa baik Metode XLnet dalam mengidentifikasi semua data yang sebenarnya positif atau mirip.
Nilai recall didapatkan dengan rumus di mana TP adalah jumlah True Positives dan FN adalah jumlah False Negatives .
Berdasarkan data yang ada, diperoleh nilai TP sebesar 32 dan FN sebesar 8.
ycNycy ycIyceycaycaycoyco = = 0,8 ycu 100% = 80% ycNycy yaycu 32 8 40 Hasil recall sebesar 80% ini menunjukkan bahwa metode XLnet mampu mendeteksi sebagian besar data yang benar-benar mirip dengan cukup baik.
Dengan recall yang cukup baik, model ini efektif dalam mengurangi jumlah data positif atau mirip yang luput dari perhitungan, sehingga memberikan jaminan bahwa mayoritas data positif mirip dapat teridentifikasi secara akurat oleh sistem.
Untuk menentukan nilai precision, pertama-tama perlu ditetapkan nilai True Positive (TP), yaitu jumlah kemiripan mirip yang berhasil dideteksi oleh Metode XLnet dan dianggap mirip juga oleh Expert Judgment, yakni sebanyak 32.
Sedangkan False Positive (FP) merupakan komen yang tidak mirip menurut Expert Judgment dan dihitung mirip oleh XLnet, yaitu sebesar 14.
Untuk menghitung precision dapat dilihat pada persamaan di bawah ini :
ycNycy ycEycyceycaycnycycnycuycu = = 0,695 ycu 100% = 69,5% ycNycy yaycy 32 14 46 Hasil precision sebesar 69,5% ini menunjukkan bahwa dari semua prediksi yang dihitung benar oleh metode ternyata memang benar mirip menurut Expert Judgment juga.
Dan F1 Score digunakan untuk mengukur seberapa baik keseimbangan antara precision dan recall dari hasil deteksi sistem.
Precision menunjukkan seberapa banyak hasil yang dinyatakan mirip oleh sistem ternyata memang benar menurut Expert Judgment, sedangkan recall menunjukkan seberapa banyak data yang benarbenar mirip berhasil dikenali oleh sistem.
ya1 ycIycaycuycyce = 2ycu
ycIyceycaycaycoyco ycu ycEycyceycaycnycycnycuycu
0,80 ycu 0,695 1,112 = 2ycu
= 0,743 ycu 100% = 74,3% ycIyceycaycaycoyco ycEycyceycaycnycycnycuycu
0,80 0,695 1,495
Pada perhitungan ini, precision-nya adalah 69,5% dan recall-nya 80%.
Kedua nilai tersebut dimasukkan ke dalam rumus F1 Score, yaitu 2 dikali hasil perkalian precision dan recall, lalu dibagi dengan jumlah keduanya.
Hasil akhirnya adalah 74,3%, yang berarti sistem memiliki kinerja yang cukup baik dalam mendeteksi kemiripan sesuai dengan penilaian dari Expert Judgment.
Sebelum dilakukan evaluasi kuantitatif terhadap hasil keluaran model, tahap awal dilakukan pengukuran manual menggunakan metode Expert Judgment.
Pada tahap ini, sejumlah pakar yang Perbandingan Metode Indobert Dan Xlnet Dalam Mengukur Kemiripan Semantik Antara Tweet Dan IKP 2024 (Stevren Christian Emor.
Irene R.
Tangkawarow.
Audy A.
Kena.
43 memahami konteks sosial, politik, dan bahasa dalam isu Pemilu 2024 diminta untuk menilai tingkat kemiripan makna antara komentar publik di media sosial dengan indikator pada Indeks Kerawanan Pemilu (IKP).
Penilaian dilakukan secara independen dengan memberikan label AumiripAy atau Autidak miripAy terhadap setiap pasangan teks berdasarkan pemahaman kontekstual, relevansi isu, serta potensi makna implisit dalam bahasa publik.
Hasil penilaian manual ini kemudian dijadikan sebagai ground truth yang menjadi acuan pembanding dalam evaluasi kinerja model IndoBERT dan XLNet.
Pendekatan Expert Judgment memiliki peran penting karena pakar dapat mempertimbangkan nuansa semantik yang sulit ditangkap oleh sistem berbasis kecerdasan buatan.
Misalnya, suatu komentar dengan nilai kemiripan semantik rendah secara numerik mungkin tetap dianggap relevan oleh pakar karena memiliki implikasi politik atau sosial yang signifikan.
Dengan demikian, hasil evaluasi manual memberikan dasar yang lebih kontekstual dan realistis untuk menilai kemampuan model dalam memahami makna bahasa alami masyarakat Indonesia di media sosial.
Berdasarkan hasil perhitungan yang dibandingkan dengan Expert Judgment, model XLNet menunjukkan performa yang lebih unggul dibandingkan IndoBERT dalam seluruh metrik evaluasi.
IndoBERT mencapai akurasi keseluruhan sebesar 59,7%, sedangkan XLNet mencapai akurasi yang jauh lebih tinggi yaitu 76%.
Dalam hal precision, recall, dan F1-score, keduanya menunjukkan hasil yang cukup baik, namun XLNet secara konsisten mencatatkan nilai yang lebih tinggi.
Nilai precision untuk IndoBERT sebesar 54,3%, sementara XLNet mencapai 69,5%, menunjukkan bahwa XLNet lebih akurat dalam mengidentifikasi pasangan teks yang benar-benar mirip.
Pada metrik recall.
IndoBERT memperoleh 60,9% sedangkan XLNet mencapai 80%, menandakan bahwa XLNet lebih baik dalam mendeteksi semua pasangan teks yang relevan.
Adapun F1-score menunjukkan perbedaan yang signifikan antara kedua model, di mana IndoBERT memperoleh 57,3%, sedangkan XLNet mencapai 74,3%.
Secara keseluruhan, hasil ini menunjukkan bahwa XLNet lebih unggul dibandingkan IndoBERT dalam melakukan perhitungan kemiripan semantik terhadap data komentar publik dengan indikator kerawanan Pemilu.
Performa XLNet yang lebih baik dapat dijelaskan oleh kemampuannya dalam memahami konteks bahasa yang kompleks melalui pendekatan permutation language modeling, yang memungkinkan model mempertimbangkan semua kemungkinan urutan kata dalam kalimat.
Dengan demikian, dalam penelitian ini XLNet terbukti lebih efektif dan akurat dalam menangkap makna semantik komentar publik terkait kata kunci AuPemilu 2024Ay dibandingkan dengan IndoBERT.
Kesimpulan Berdasarkan hasil dari penelitian ini, maka telah didapatkan kesimpulan sebagai berikut:
Perhitungan kemiripan data Tweet dengan kata kunci Aupemilu 2024Ay dimulai dari processing data, dan setelah itu di lihat tidak miripnya oleh Expert Judgment di bandingkan dengan data utama yaitu tweet dengan Indikator IKP tahun 2024 dan dilakukan perhitungan menggunakan confusion matrix untuk melihat akurasinya dan score yang di dapatkan dari adalah IndoBERT Accuracy 59,7%.
Precision 54,3%.
Recall 60,9% dan F1 Scorenya 57,3% Sedangkan XLnet adalah Accuracy 76%.
Precision 69,5%.
Recall 80%, dan F1 Scorenya 74,3%.
Dengan menggunakan confusion matrix dan juga validasi dari ahli bahasa, hasil akurasi score yang didapatkan berdasarkan perhitungan menggunakan XLnet adalah 76%.
Sedangkan hasil akurasi score berdasarkan perhitungan menggunakan IndoBERT yaitu 57,3%.
Maka dapat disimpulkan bahwa nilai akurasi menggunakan metode XLnet lebih besar daripada menggunakan metode IndoBERT.
Daftar Pustaka