Institut Riset dan Publikasi Indonesia (IRPI) MALCOM: Indonesian Journal of Machine Learning and Computer Science Journal Homepage: https://journal.
id/index.
php/malcom Vol.
5 Iss.
3 July 2025, pp: 908-919
ISSN(P): 2797-2313 | ISSN(E): 2775-8575
Sentiment Classification Using Multilayer Perceptron Algorithm with TF-IDF Features Klasifikasi Sentimen Menggunakan Metode Multilayer Perceptron dengan Fitur TF-IDF Abdurrahman Arasy1*.
Surya Agustian2.
Lestari Handayani3 .
Iwan Iskandar4
1,2,3,4,5
Program Studi Teknik Informatika.
Fakultas Sains dan Teknologi.
Universitas Islam Negeri Sultan Syarif Kasim Riau.
Indonesia E-Mail: 111950114943@students.
uin-suska.
id, 2surya.
agustian@uin-suska.
handayani@uin-suska.
id, 4iwan.
iskandar@uin-suska.
Received Apr 16th 2025.
Revised Jun 16th 2025.
Accepted Jun 20th 2025.
Available Online Jun 24th 2025.
Published Jun 24th 2025 Corresponding Author: Abdurrahman Arasy Copyright A 2025 by Authors.
Published by Institut Riset dan Publikasi Indonesia (IRPI) Abstract Social media, particularly Twitter (X), has become the main platform for discussions on politics and government policy.
The term used for messages sent on Twitter is a "tweet", which consists of a message with a maximum of 280 characters.
Although Tweets are often just text, they can also include hyperlinks, videos, and other types of media that can be used to gauge public opinion.
This study aims to classify public sentiment regarding the appointment of Kaesang Pangarep as Chairman of the Indonesian Solidarity Party (PSI) using the Multi-Layer Perceptron (MLP) Classifier method with the Term Frequency-Inverse Document Frequency (TF-IDF) approach, utilizing the Python programming language.
The data used consists of 300 Tweets, with 100 Tweets per class or option for optimal results.
The three categories are positive, neutral, and negative.
Based on the research conducted, the best method achieved an F1-score of 0.
6767 and an accuracy These results indicate that the combination of the MLP Classifier and TF-IDF can overcome the limitations of the dataset to a certain extent compared to the baseline method.
This study also provides insights into sentiment classification optimization under limited data conditions, which can be applied to other topics with similar issues.
Keyword: Classification.
Multi-Layer Perceptron.
Sentimen Analysis.
Term Frequency-Inverse Document Frequency Abstrak Media sosial, khususnya Twitter (X), telah menjadi platform utama dalam diskusi politik dan kebijakan pemerintah.
Istilah dalam pengiriman pesan pada Twitter dikenal sebagai Tweet yang terdiri dari pesan dengan maksimal 280 karakter.
Meskipun Tweet seringkali hanya berupa teks, juga dapat menyertakan hyperlink, video, dan jenis media lainnya yang dapat digunakan untuk mengukur opini publik.
penelitian ini bertujuan mengklasifikasikan sentimen masyarakat terkait pengangkatan Kaesang Pangarep sebagai Ketua Umum Partai Solidaritas Indonesia (PSI) dengan metode Multi-Layer Perceptron (MLP) Classifier dengan pendekatan Term Frequency-Inverse Document Frequency (TF-IDF) menggunakan bahasa pemograman python.
Data yang digunakan terdiri dari 300 tweet, dengan 100 tweet perkelas atau opsi untuk hasil yang optimal.
Tiga kategori tersebut adalah positif, netral, dan negatif.
Berdasarkan penelitian yang telah dilakukan metode terbaik mencapai F1-score sebesar 0,6767 dan akurasi 0,6667.
Hasil ini menunjukkan bahwa kombinasi MLP Classifier dan TF-IDF dapat mengatasi keterbatasan dataset hingga tingkat tertentu dibandingkan metode baseline.
Penelitian ini juga memberikan wawasan tentang optimasi klasifikasi sentimen dalam kondisi data terbatas, yang dapat diterapkan pada topik lain dengan permasalahan serupa.
Kata Kunci: Analisis Sentimen.
Klasifikasi.
Multi-Layer Perceptron.
Term Frequency-Inverse Document Frequency PENDAHULUAN Media sosial menjadi semakin penting dalam diskusi politik dan kebijakan, salah satu contohnya yaitu diskusi rakyat pada salahsatu akun twitter Presiden .
Twitter adalah situs web microblog dimana pengguna dapat mengirim pesan yang dikenal sebagai Tweet.
Tweet ini dapat terdiri dari pesan dengan maksimal 280 Tweet itu sendiri, meskipun seringkali hanya berupateks, dapat juga dapat menyertakan hyperlink.
DOI: https://doi.
org/10.
57152/malcom.
ISSN(P): 2797-2313 | ISSN(E): 2775-8575
video, dan jenis media lainnya .
Data ini dapat digunakan untuk mengukur opini publik terkait penunjukan Kaesang Pangarep sebagai ketua umum PSI.
Karenanya, analisis sentiment membutuhkan kategori sasi untuk memperkirakan kelas dengan label yang tidak pasti.
Analisis sentiment adalah klasifikasi Bahasa yang dikaitkan dengan kemajuan dibidang Natural Language Processing (NLP).
Hal ini sangat membantu untuk mengklasifikasikan teknik berdasarkan kemajuan yang signifikan dalam NLP, karena terobosan tersebut mewakili pergeseran paradigma yang signifikan dalam pemrosesan dan penilaian teks .
Salah satu algoritma yang digunakan untuk analisis sentiment adalah MLP Classifier (Multi-layer Perceptro.
MLP memberikan banyak fleksibilitas dan telah terbukti berguna dan dapat diandalkan dalam berbagai masalah klasifikasi dan regresi .
MLP adalah sebuah Artificial Neural Network (ANN) yang memiliki lapisan tersembunyi.
MLP memiliki tiga lapisan yaitu input, tersembunyi, dan Data pelatihan digunakan untuk mempelajari bobot tersembunyi antara atribut dan label kelas .
Penelitian mengenai analisis sentiment untuk ahli anestesiologi brazil menggunakan pengklasifikasi Multi-Layer Perceptron setelah dilabeli menggunakan TextBlob menghasilkan akurasi 94,44%, presisi 94,44%, recall 92%, dan f1_score 93%.
Disisi lain.
Random Forest menghasilkan akurasi 96,42%, presisi 94,44%, recall 96,66%, dan f1_score 95,56%.
Kasus pelecehan seksual mendapatkan sentimen negatif yang lebih tinggi di media sosial Twitter.
Secara umum.
Random Forest berkerja lebih baik daripada MLP, mungkin karena dimensi tinggi dari tweet dan jumlah teks yang sedikit dalam tweet serta ukuran sampel .
Pada penelitian tentang analisis sentiment hasil rivew mahasiswa dengan berbagai jenis skema Machine Learning menunjukkan bahwa MLP Classifier lebih unggul dibandingkan pengklasifikasi lainnya dengan F1-Score mencapai 67% dan lebih unggul dari metode lainnya .
Penelitian menggunakan metode K-Nearest Neighbor (K-NN) untuk klasifikasi sentimen pada data terbatas, membandingkan tiga teknik ekstraksi fitur: FastText.
Term FrequencyAe Inverse Document Frequency (TF-IDF), dan IndoBERT.
Hasil pengujian menunjukkan bahwa setelah optimasi dan penggunaan IndoBERT, performa model meningkat signifikan dari akurasi 44% dan F1-score 39% menjadi akurasi 57% dan F1-score 49% .
Dari berbagai penelitian menunjukkan bahwa klasifikasi sentimen pada data latih kecil tetap dapat menghasilkan performa yang baik melalui optimasi seperti penambahan data eksternal, preprocessing, tuning parameter, dan penggunaan representasi fitur canggih seperti TF-IDF.
FastText, dan IndoBERT.
Metode seperti K-NN.
Bidirectional Long Short-Term Memory (Bi-LSTM).
Support Vector Machines (SVM), dan Passive Aggressive terbukti mengalami peningkatan performa signifikan setelah optimasi, dengan IndoBERT dan teknik transfer learning memberikan kontribusi besar terhadap peningkatan F1-score dan akurasi.
Penggunaan data pada penelitian ini relatif sedikit, khususnya untuk melatih model machine learning.
Sejalan dengan shared task terkait klasifikasi sentiment seperti yang dijabarkan pada studi.
Dataset terdiri dari 300 tweet sebagai data training, yang dinilai kurang memenuhi syarat untuk mendapatkan hasil yang optimal.
Penelitian ini akan berfokus pada klasifikasi sentiment dari tiga kategori utama: positif, netral, dan negatif pada dataset kecil atau terbatas.
Dengan studi kasus sentimen masyarakat di Twitter terkait pengangkatan Kaesang Pangarep sebagai Ketua Umum Partai Solidaritas Indonesia (PSI).
Metode yang digunakan adalah Multilayer Perceptron dengan Fitur TF-IDF metode ini sangat populer karena efektif dalam merepresentasikan data teks dan memiliki keunggulan dalam berbagai penggunaannya .
Penelitian ini bertujuan memberikan kontribusi melalui penerapan algoritma machine learning, khususnya menggunakan metode MLP Classifier.
Hasil yang diharapkan adalah peningkatan performa system klasifikasi yang ditunjukkan dengan tingkat F1-score dan akurasi yang lebih baik dari metode baseline.
Proses klasifikasi sentiment akan dilakukan menggunakan bahasa pemograman Python.
METODE PENELITIAN
Studi ini menggunakan metodologi yang terdiri dari langkah yang terstruktur untuk menjamin keakuratan dan keandalan temuan.
Langkah tersebut mencakup proses penelitian, pengelolaan dataset, preprocessing teks, penerapan metode vektorisasi, penggunaan algoritma MLP, serta pengujian model.
Setiap langkah dirancang secara cermat untuk mengatasi tantangan dalam analisis sentiment pada data set yang terbatas, sekaligus menjamin model yang dihasilkan mampu memberi kinerja yang optimal.
Tahapan penelitian yang dilakukan mengikuti diagram yang digambarkan pada Gambar 1.
Identifikasi Masalah Langkah pertama dalam Teknik penelitian adalah perumusan masalah,yang merumuskan, menganalisis masalah, dan menentukan latar belakang masalah dengan studi yang dilakukan.
Masalah yang diangkat dalam penelitian ini adalah keterbatasan data berlabel yangdigunakan untuk pelatihan metode Machine Learning MLP.
Hal ini disebabkan karena dalam dunia nyata, kebutuhan analisis sentimen harus dapat dilakukan dengan cepat, sehingga tidak mungkin menghabiskan waktu memberi label pada data pelatihan dari suatu kasus sentiment yang ingin dianalisis.
MALCOM - Vol.
5 Iss.
3 July 2025, pp: 908-919 MALCOM-05.
: 908-919
Gambar 1.
Tahapan Penelitian Literatur Review Pada tahap ini, dilakukan penelusuran terhadap informasi, teori, dan konsep dasar yang berkaitan dengan materi terkait penelitian.
Beberapa penelitian yang dapat digunakan sebagai bahan referensi atau perbandingan karena telah menerapkan metode atau topik penelitian yang sama dengan penelitian ini.
Penelitian oleh Atika Putri .
menggunakan metode K-NN untuk klasifikasi sentimen pada data terbatas, sama dengan yang digunakan dalam penelitian ini.
Mereka membandingkan tiga teknik ekstraksi fitur:
FastText.
TF-IDF, dan IndoBERT.
Optimasi dilakukan melalui penambahan data eksternal, preprocessing teks, scaling, dan tuning parameter.
Hasil pengujian menunjukkan bahwa setelah optimasi dan penggunaan IndoBERT, performa model meningkat signifikan dari akurasi 44% dan F1-score 39% menjadi akurasi 57% dan F1-score 49%.
Penelitian Ridho Illahi mengembangkan .
model klasifikasi sentimen menggunakan BiLSTM yang dikombinasikan dengan representasi teks IndoBERT untuk menganalisis opini publik di media sosial dengan data training yang terbatas.
Optimasi dilakukan melalui preprocessing, vektorisasi, dan tuning Hasilnya, model mencapai F1-score 71% pada data validasi dan 59% pada data uji, menunjukkan efektivitas pendekatan ini dalam menangani isu politik seperti pengangkatan Kaesang sebagai ketua PSI.
Penelitian yang dilakukan Joni Pranata .
menunjukkan bahwa optimasi model klasifikasi sentimen dengan data terbatas dapat meningkatkan performa secara signifikan.
Dengan menggabungkan embedding IndoBERT, optimasi praproses, penambahan data eksternal, dan tuning parameter pada algoritma Random Forest, model mampu mencapai peningkatan F1-score sebesar 6%.
Hasil ini membuktikan bahwa pendekatan tersebut efektif untuk meningkatkan akurasi dan generalisasi model pada bahasa Indonesia.
Selain itu, penggunaan IndoBERT memberikan kontribusi besar dalam kualitas representasi kata.
Penelitian Yazid Abdullah Subhi .
menunjukkan bahwa penggunaan model BERT sebagai fitur input dalam metode Passive Aggressive dapat meningkatkan performa klasifikasi sentimen, khususnya pada dataset Penggunaan BERT menghasilkan F1-score 0.
52, lebih baik dibandingkan dengan TF-IDF yang hanya memperoleh F1-score 0.
Penambahan data eksternal dan eksplorasi teknik ekstraksi fitur lain juga berkontribusi signifikan terhadap peningkatan performa.
Pendekatan transfer learning dengan BERT memperlihatkan kemampuan yang lebih baik dalam menangani konteks teks yang kompleks.
Saran penelitian selanjutnya adalah memperluas dataset dan mengeksplorasi fine-tuning serta metode ensembel untuk peningkatan lebih lanjut.
Pada penelitian yang telah dilakukan oleh Yoga El Saputra .
menunjukkan bahwa metode SVM dengan pendekatan TF-IDF efektif untuk mengklasifikasikan sentimen terhadap pengangkatan Kaesang Pangarep sebagai Ketua Umum PSI.
Model ini menghasilkan F1 Score sebesar 0.
53, akurasi 0.
62, presisi 0.
Klasifikasi Sentimen Menggunakan Metode Multilayer.
(Arasy et al, 2.
ISSN(P): 2797-2313 | ISSN(E): 2775-8575 dan recall 0.
Penambahan data eksternal terkait Covid-19 meningkatkan kinerja model.
Meskipun demikian, ukuran dataset yang kecil dan potensi bias dalam anotasi data menjadi keterbatasan utama.
Penelitian selanjutnya disarankan untuk menggunakan dataset lebih besar dan menggabungkan teknik pemrosesan teks lanjutan seperti word embeddings atau deep learning.
Sedangkan pada peneliatian yang dilakukan oleh Safrizal .
bahwa metode SVM dengan representasi fitur FastText dan kernel RBF mampu mengklasifikasikan sentimen publik terhadap Kaesang Pangarep secara efektif, meskipun data training awal terbatas.
Penambahan dataset eksternal dari isu Covid-19 berhasil meningkatkan performa model.
Eksperimen terbaik (ID C.
menghasilkan F1-Score sebesar 53.
59% dan 73% pada data uji.
Proses grid search dan validasi silang turut berperan dalam menghasilkan model Hasil ini menegaskan pentingnya representasi fitur berbasis word embedding dan perluasan data untuk meningkatkan performa klasifikasi sentimen.
Pengumpulan Dataset Data Kaesang0 dan Kaesang1 dikumpulkan menggunakan teknik crawling untuk mendapatkan data twitter yang merepresentasikan sentiment public terhadap Kaesang Pangarep, yang ditunjuk sebagai ketua umum PSI, seperti yang dirinci dalam penelitian .
Proses crawling dilakukan secaraotomatis dengan menggunakan Bahasa pemrograman Python.
Katakunci yang digunakan antara lain "Kaesang Pangarep","Kaesang Pangarep ketua umum PSI", "Ketua Umum PSI", "Partai Solidaritas Idonesia", dan kata kunci terkait lainnya seputar Kaesang Pangarep yang menjadi Ketua umum PSI.
Penelitian ini memanfaatkan data eksternal yaitu datacovid dan data open topic untuk menambah dan memenuhi kebutuhan jumlah data t Data covid yang tersedia berjumlah 8000 data dan data open topic berjumlah 7569 data.
Detail mengenai dataset yang digunakan untuk data latih dan uji, beserta distribusinya, disajikan di Tabel 1.
Tabel 1.
Benchmark Dataset Dataset Penggunaan Dataset Kaesang0 Dataset Kaesang1 Dataset Covid Dataset Open Topic Dataset Kaesang Training Training Training Training Testing Jumlah Sampel Data Positif Distribusi kelas Negatif Netral Manajemen Data Set Sebagai acuan penilaian, dataset untuk melatih metode pembelajaran mesin disajikan peneliti beserta sejumlah data uji.
Dengan adanya data ini, performa setiap metode dapat dievaluasi dan dibandingkan.
Pada tahap ini, data yang akan digunakan telah dikompilasi dan diperiksa apakah ada informasi yang hilang atau tidak akurat.
Selanjutnya, analisis data dilakukan untuk menemukan variable yang dapat mempengaruhi akurasi Dataset akhir dari data pelatihan penelitian ini terdiri dari 300 tweet, dengan 100 tweet perkelas atau opsi untuk mencampurnya untuk hasil yang optimal.
Tiga kategori tersebut adalah positif, netral, dan Data pelatihan, validasi, dan data uji dipisahkan sehingga data yang berbeda dapat digunakan untuk menguji model selama pengujian Text Processing Preprocessing teks, yang meliputi case folding, tokenizing, filtering, dan stemming, merupakan langkah dalam proses pemilihan data analisis sentimen.
Keakuratan klasifikasi analisis sentimen dapat dipengaruhi oleh hasil dari langkah prapemrosesan.
Dalam teknik dan aplikasi text mining, langkah preprocessing sangat penting Tahapan preprocessing yang dilakukan:
Cleaning Cleaning merupakan proses menghilangkan karak terkhusus,tanda baca,atau symbol seperti menghapus karakter noise seperti tautan .
, tanda Au@Ay,tanda pagar .
agar,#) dan lainnya yang tidak relevan atau mengganggu dalam analisis .
Case Folding Case folding adalah salah satu teknik dalam pra-pemrosesan teks yang bertujuan untuk menyamakan huruf kapital dan kecil dalam teks dengan mengonvers iseluruh huruf menjadi huruf kecil .
Tokenizing Tokenizing yaitu membagi teks menjadi bagian-bagian kecil,seperti kalimat atau kata-kata, disebut Ini adalah salah satu tugas dasar dalam pemrosesan Bahasa alami.
Token bisa berupa MALCOM - Vol.
5 Iss.
3 July 2025, pp: 908-919 MALCOM-05.
: 908-919
karakter, kata, atau bagian dari kata.
Karena itu, tokenisasi bisa dibagi menjadi tiga jenis: level karakter, level kata, dan level sub-kata .
Normalization Normalization adalah bentuk normalisasi yang memetakan data kedalam interval .
Buat objek yang dinormalisasi menggunakan varians rata-rata, normalkan menggunakan set pelatihan, catat parameter yang diperlukan, lalu gunakan atribut set pelatihan untuk menstandarkan set pengujian.
Jelaskan rentang distribusi data, termasuk standar deviasi, varians, dan sebagainya .
Stopword removal Proses menghilangkan kata umum seperti AudanAy.
AuatauAy.
AuyangAy, dan kata lain yang tidak secara signifikan memajukan pemahaman teks dikenal sebagai stopword.
Kata-kata tanpa komponen sentimental ditampilkan dalam stopword .
Stemming Ditahap stemming, seluruh kata ditransformasikan keformat dasarnya.
Algoritma stemming yang diterapkan ialah Enhanced Confix Stripping (ECS).
TF-IDF
TF atau Term Frequency mengacu pada frekuensi suatu kata timbul pada suatu teks, sementara IDF adalah indeks frekuensi dokumen terbalik.
Ide dasar dibalik TF-IDF adalah bahwa kata yang timbul lebih sering pada suatu dokumen dan minim muncul di dokumen lainnya seharusnya dipandang lebih krusial karena mereka lebih berguna untuk klasifikasi .
TF-IDF terbukti menjadi metode yang sangat andal dalam analisis teks,membantu model MLP mencapai tingkat akurasi cukup tinggi di bandingkan dengan model lain seperti yang di jelaskan pada penelitian .
Pada dasarnya untuk perhitungan atau rumus TF-IDF terbagi menjadi dua yaitu Term Frequency (TF) dan Inverse Document Frequency (IDF) dengan rumus dan cara kerja yang berbeda akan digabungkan diakhir perhitungan antara TF dan IDF sebagai berikut.
TF: Menilai frekuensi suatu kata .
timbul pada suatu dokumen .
Semakin banyak frekuensi kata tersebut timbul dalam dokumen, akan kian besar skor TF-nya.
ycyceyc,ycc = ycuyc,ycc (Total number o0 term 1n documen.
IDF: Menilai pentingnya pada semua koleksi dokumen .
Kata yang sering timbul di banyak dokumen bisa mempunyai IDF yang rendah, sementara kata yang jarang timbul di banyak dokumen bisa mempunyai IDF yang tinggi.
ycnyccyceycc = ycoycuyci .
ycAycycoycayceyc ycu0 yccycuycaycycoyceycuyc .
cNycuycycayco ycuycycoycayceyc ycu0 ycyceycyco 1ycu yccycuycaycycoyceycuy.
TF-IDF: Ialah capaian perkalian antara TF dan IDF pada suatu kata .
yang ada di dokumen .
Tujuannya adalah untuk menyediakan bobot yang lebih besar pada kata yang sering timbul di dalam dokumen namun jarang timbul di seluruh dokumen lainnya.
ycyceycnyccyceyc,ycc = ycyceyc,ycc y ycnyccyceycc Penerapan Metode TF-IDF Menggunakan Library Scikit-learn: Untuk melakukan ekstraksi fitur dari data teks, penelitian ini menggunakan metode TF-IDF yang diimplementasikan melalui library Scikit-learn .
pada Python.
Metode ini bertujuan untuk memberikan bobot pada setiap kata dalam dokumen berdasarkan tingkat kepentingannya, dengan mempertimbangkan frekuensi kemunculan kata dalam dokumen tertentu dibandingkan dengan seluruh korpus dokumen.
Parameter Tuning Sebagai alternatif, kita bisa menggunakan strategi optimasi parameter tuning untuk meningkatkan performa model machine learning dari dataset yang sedikit .
Strategi ini adalah cara menyesuaikan parameter model berdasarkan data agar model bisa meminimalkan kesalahan dan bekerja lebih baik.
Dalam proses ini, berbagai kombinasi pengaturan parameter diuji untuk menemukan konfigurasi yang memberikan hasil terbaik.
Biasanya, pertama-tama model dianalisis menggunakan pengaturan parameter default, lalu dibandingkan dengan hasil yang didapat setelah dilakukan hyperparameter tuning .
Klasifikasi Sentimen Menggunakan Metode Multilayer.
(Arasy et al, 2.
ISSN(P): 2797-2313 | ISSN(E): 2775-8575 Multi-layer Perceptron classifer Multi-layer Perceptron Classifier (MLP Classifie.
bergantung pada neural network yang mendasarinya untuk melakukan klasifikasi.
Pengklasifikasi MLP mengimplementasikan algoritma MLP dan melatih Jaringan Syaraf menggunakan back propagation .
Pada dasarnya.
MLP adalah model feed-forward meliputi satu lapisan input, satua tau lebih hidden layer dan satu lapisan out put seperti pada Gambar 2.
Gambar 2.
MLPClassifier Umumnya, jumlah node lapisan input tergantung pada faktor yang dipilih dalam sumber data, dan jumlah neuron tersembunyi dikuantifikasi berdasarkan dataset pelatihan tertentu.
Hidden layer digunakan untuk komputasi, dan lapisan keluaran mewakili tujuan pemodelan .
Terdapat lebih dari satu hidden layer, setiap node dari hidden layer harus terhubung dengan semua node dari lapisan input, dan kemudian setiap node dari lapisan output harus terhubung ke semua node di lapisan yang tersembunyi .
Implemntasi Implementasi merupakan tahap krusial dalam penelitian, di mana penerapan model dilangsungkan menurut temuan analisis serta penyusun yang sudah disusun.
Tahapan ini melibatkan pemanfaatan berbagai alat dan teknologi, salah satunya adalah Google Colab, yang digunakan sebagai platform pendukung untuk memfasilitasi proses pengolahan data, pelatihan model, dan evaluasi hasil secara efektif dan efisien.
Evaluasi Pada tahap evluasi, dilakukan pengukuran kinerja model yang telah dibangun dengan menghitung tingkat akurasi menggunakan MLP Classifier Report.
MLP Classifier Report adalah keluaran evaluasi kinerja model MLP Classifier dalam menyelesaikan tugas klasifikasi.
Laporan ini biasanya melibatkan metrik seperti Precision.
Recall.
F1-Score, dan Akurasi yang membantu dalam memahami seberapa baik model melakukan prediksi pada data uji.
Precision (Presis.
: menilai proporsi prediksi yang relevan diantara seluruh prediksi positif.
Interpretasi dari Precision adalah tinggi jika model menghasilkan sedikit prediksi positif yang salah.
Ditunjukkan pada persamaan 4.
ycEycyceycaycnycycnycuycu = .
Recall (Sensitivitas atau True Positive Rat.
: menilai proporsi prediksi positif yang relevan diantara seluruh kejadian positif sebenarnya.
Interpretasi dari recall adalah tinggi jika model mampu menemukan sebagian besar kasus positif.
Ditunjukkan pada persamaan 5.
ycIyceycaycaycoyco = ycNycycyce ycEycuycycnycycnyce .
cNycE) ycNycycyce ycEycuycycnycycnyce ycNycE yaycaycoycyce ycEycuycycnycycnyce .
aycE) ycNycycyce ycEycuycycnycycnyce .
cNycE) ycNycycyce ycEycuycycnycycnyce ycNycE yaycaycoycyce ycAyceyciycaycycnyce .
aycA) .
F1-Score: rata-rata harmonis antara Precision dan Recall, memberikan keseimbangan antara keduanya.
Interpretasi dari F1-Score adalah berguna ketika ada ketidak seimbangan antara kelas positif dan Ditunjukkan pada persamaan 6.
ya1 ycIycaycuycyce = MALCOM - Vol.
5 Iss.
3 July 2025, pp: 908-919 ycEycyceycaycnycycnycuycu yycIyceycaycaycoyco ycEycyceycaycnycycnycuycu ycIyceycaycaycoyco MALCOM-05.
: 908-919
Akurasi: proporsi total prediksi yang benar.
Interpretasi dari akurasi adalah tinggi jika model berhasil memprediksi sebagian besar data dengan benar.
Ditunjukkan pada persamaan 7.
yaycoycycycaycycn = yaycycoycoycaEa ycEycyceyccycnycoycycn yaAyceycuycayc
yaycycoycoycaEa ycNycuycycayco yaycaycyca
HASIL DAN PEMBAHASAN
Data Set Tahap berikutnya adalah pembagian data ke dalam set data pelatihan dan pengujian.
Crawling di Twitter digunakan untuk mengumpulkan data Tweet tentang Kaesang, yang secara keseluruhan berjumlah 1.
524 Tweet setelah melalui tahap seleksi data.
Setelah itu, data dipisahkan menjadi dua bagian: Data Latih sebanyak 300 Tweet .
engan label kaesang0 dan kaesang.
dan Data Uji sebanyak 924 Tweet.
Tujuan dari pembagian data ini adalah untuk digunakan sebagai data latih.
Selain itu, data train kaesang0 yang tersusun atas 300 Tweet dapat dipisahkan lagi menjadi 80% data pelatihan dan 20% data validasi untuk menentukan model terbaik.
Meskipun jumlah data pelatihan yang digunakan sangat sedikit, pilihan ini mungkin dibuat karena beberapa alasan, termasuk keterbatasan sumber daya atau untuk mencegah model menjadi overfit.
Penelitian ini juga menggunakan data tambahan dari luar, termasuk Open Topic Dataset dan Covid Dataset.
Tabel 2.
Contoh hasil crawling dataset Tweet @psi_id @kaesangp Asli ini re-marketing @psi_id ke ibu-ibu dan wanita bagus banget.
Lgsg salfok sama baju imutnya kaesang.
Ini kena banget dan politik jd adem Ngga ada kalimat kasar, vulgar, caci maki, dsb.
Mantap.
@bangherwin Banyak x cakap @adearmando61 basi.
Yang jelas selama ente di @psi_id ga bisa derek parpol itu naik.
Harus ada Kaesang.
@abdulmukti691 Kaesang itu hanya boneka PSI untuk mendongkrak suara saja.
@awe_adhi @Uki23 Ya nggak apa toh, apalagi Kaesang juga punya pengalaman berorganisasi dan bisnis.
PSI kan bukan partai besar bisa jadi tempat tumbuh belajar.
@FrankMi61711987 @psi_id @uki Jilid 1 PDIP dibesarkan oleh Jokowi Jilid 2 PSI dibesarkan oleh Kaesang.
kita lihat nanti apa yang terjadi Label Positif Netral Negatif Positif Netral Analisis klasifikasi sentimen dilakukan menggunakan data Tweet yang telah diklasifikasikan berdasarkan sentimen.
Opini yang mendukung Kaesang menjadi Ketua Umum PSI tercermin dalam emosi Sementara itu, sentimen netral mewakili opini yang tidak cenderung ke arah pandangan positif maupun Adapun sentimen negatif menggambarkan pemikiran yang kritis atau tidak setuju terhadap pencalonan atau kepemimpinan Kaesang.
Text Processing Tabel 3 di bawah ini menunjukkan tahapan preprocessing yang diterapkan pada data teks untuk analisis lebih lanjut.
Preprocessing bertujuan untuk membersihkan, menyederhanakan, dan menormalkan teks agar lebih mudah diproses oleh algoritma analisis data atau machine learning.
Setiap tahap memiliki fungsi spesifik untuk mengubah teks mentah menjadi format yang lebih terstruktur dan relevan.
Berikut adalah penjelasan masing-masing tahap.
Tabel 3.
Text Preprocessing No Preprocessing Cleaning Case folding Tokenizing Sebelum "Pengamat politik Rocky Gerung memberikan komentarnya terkait Kaesang Pangarep yang menjadi Ketua Umum Partai Solidaritas Indonesia (PSI).
https://t.
co/3wDBLz00CU https://t.
co/f7YlAWkuNO" "Pengamat politik Rocky Gerung memberikan komentarnya terkait Kaesang Pangarep yang menjadi Ketua Umum Partai Solidaritas Indonesia PSI" "pengamat politik rocky gerung memberikan komentarnya terkait kaesang pangarep yang menjadi ketua umum partai solidaritas indonesia psi" Sesudah "Pengamat politik Rocky Gerung memberikan komentarnya terkait Kaesang Pangarep yang menjadi Ketua Umum Partai Solidaritas Indonesia PSI" "pengamat politik rocky gerung memberikan komentarnya terkait kaesang pangarep yang menjadi ketua umum partai solidaritas indonesia psi" ["pengamat", "politik", "rocky", "gerung", "memberikan", "komentarnya", "terkait", "kaesang".
Klasifikasi Sentimen Menggunakan Metode Multilayer.
(Arasy et al, 2.
ISSN(P): 2797-2313 | ISSN(E): 2775-8575 No Preprocessing Sebelum Normalisasi "komentarnya, terkait" Stopword Removal ["pengamat", "politik", "rocky", "gerung", "memberikan", "komentarnya", "terkait", "kaesang", "pangarep", "yang", "menjadi", "ketua", "umum", "partai", "solidaritas", "indonesia", "psi"] Stemming ["pengamat", "politik", "rocky", "gerung", "komentar", "terkait", "kaesang", "pangarep", "menjadi", "ketua", "umum", "partai", "solidaritas", "indonesia", "psi"] Sesudah "pangarep", "yang", "menjadi", "ketua", "umum", "partai", "solidaritas", "indonesia", "psi"] "komentar, terkait" ["pengamat", "politik", "rocky", "gerung", "komentar", "terkait", "kaesang", "pangarep", "menjadi", "ketua", "umum", "partai", "solidaritas", "indonesia", "psi"] ["pengamat", "politik", "rocky", "gerung", "komentar", "terkait", "kaesang", "pangarep", "ketua", "partai", "solidaritas", "indonesia", "psi"] Tabel 3 menunjukkan proses transformasi teks melalui beberapa tahap text preprocessing, yaitu cleaning, case folding, takenizing, normalization, hanling, stopword removal dan stemming.
Langkah-langkah ini sangat penting untuk meningkatkan akurasi dan kinerja model klasifikasi sentimen dalam penelitian ini, karena memungkinkan teks menjadi lebih bersih dan konsisten sehingga model dapat mengenali pola-pola dengan lebih efektif.
Set Up Eksperimen Tujuan dari eksperimen ini adalah untuk menemukan model MLP terbaik yang mampu menghasilkan performa maksimal.
Dalam prosesnya, akan dilakukan beberapa percobaan untuk mengevaluasi efek dari implementasi berbagai teknik preprocessing teks, seperti stemming, penghapusan stopword, dan normalisasi.
Kombinasi tahapan preprocessing tersebut dijelaskan secara lengkap pada Tabel 4 di bagian Pengaturan Eksperimen.
Tabel 4.
Kombinasi Teks Prosesing Nomor Eksperimen Normalisasi Yes Yes Yes Yes Stopword Removal Yes Yes Yes Yes Steming Yes Yes Yes Yes Tabel 4 menunjukkan berbagai kombinasi langkah preprocessing teks dengan status AuYesAy atau AuNoAy untuk setiap teknik, termasuk Cleaning.
Case Folding.
Tokenizing.
Normalisasi.
Stopword Removal, dan Stemming.
Setiap baris dalam tabel menggambarkan kombinasi yang berbeda, mulai dari tanpa preprocessing sama sekali .
emua bernilai AuNoA.
hingga penerapan semua langkah preprocessing .
emua bernilai AuYesA.
Tujuan dari variasi ini adalah untuk mengevaluasi dampak masing-masing teknik preprocessing terhadap kinerja model MLP.
Parameter Tuning Sebagai bagian dari pengembangan model yang optimal, dilakukan proses parameter tuning menggunakan kombinasi parameter tertentu.
Parameter tuning ini bertujuan untuk menemukan kombinasi terbaik dari arsitektur model, fungsi aktivasi, algoritma optimasi,tingkat regulasi, dan jumlah iterasi maksimal, berikut menunjukkan konfigurasi parameter yang digunakan untuk proses tuning pada model yang Hiddenlayersize Activation Solver Alpha MaxIter :[.
:[AoreluAo,AotanhA.
:[AoadamAo,AosgdA.
,01,0,.
MALCOM - Vol.
5 Iss.
3 July 2025, pp: 908-919 MALCOM-05.
: 908-919
Kombinasi hyper parameter yang diuji meliputi arsitektur model dengan ukuran hidden layer .
, .
, dan .
, activation functionrelu dan tanh, algoritma optimizationa, dan dan sgd, nilai regularization alpha sebesar 0.
01 dan 0.
001, serta jumlah maximum iterations sebanyak 20 dan 50.
Penyesuaian ini bertujuan untuk mengeksplorasi arsitektur model yang optimal, memilih activation function yang sesuai, algoritma optimization yang efisien, menerapkan regularization untuk mencegah overfitting, serta memastikan proses pelatihan dapat konvergen dengan jumlah iterasi yang memadai.
Hasil dari proses tuning ini akan menjadi dasar untuk evaluasi kinerja model pada data set yang digunakan seperti table berikut.
Tabel 5.
Kombinasi Parameter Tuning Result Nomor Experimen Acivation Tanh Tanh Tanh Tanh ReLU Tanh Tanh Tanh ReLU Alpha Best Parameters Found HidenLayer MaxIter Solver Adam Adam Adam Adam Adam Adam Adam Adam Adam Optimasi Parameter MLP Classifier berdasarkan Penelusuran Model Optimal Pengelompokan dengan teknik MLP Classifier adalah langkah selanjutnya.
Untuk mendapatkan nilai akurasi dan nilai f1score, data akan terlebih dahulu menjalani training dan testing sebelum dimodelkan dengan menggunakan pendekatan Multi-layer Perceptron Classifier (MLP Classifie.
Penelusuran Model Optimal Dengan mengikuti setup eksperimen di atas, kami melakukan berbagai eksperimen dengan berbagai kombinasi tahapan optimasi sebagai bagian dari proses pengujian model.
Eksperimen ini dirancang untuk mengevaluasi kinerja model terhadap data validasi menggunakan parameter yang telah ditentukan sebelumnya.
Hasil dari setiap kombinasi tahapan optimasi disajikan dalam bentuk tabel untuk mempermudahan alisis dan Tabel 6 menunjukkan hasil pengujian model terhadap data validasi berdasarkan metrik evaluasi yang digunakan.
Tabel 6.
Training dan Pengujian Model Data Validasi Nomor Eksperimen 9 (Kaesan.
10 (K O.
Penambahan Dataset Covid & Open Topic Positif Negatif Netral Data Validasi F1Score Accuracy Tabel 6 menunjukkan hasil pengujian model terhadap data validasi dengan berbagai scenario penambahan data pada masing-masing kelas (Positif.
Negatif.
Netra.
Setiap eksperimen dilakukan dengan variasi jumlah data untuk melihat pengaruhnya terhadap performa model, yang diukur menggunakan metrik F1-Score dan Accuracy.
Temuan menunjukkan bahwa kombinasi data dengan jumlah tertentu dapat meningkatkan kinerja model, seperti pada eksperimen 10 di mana model mencapai nilai F1-Score sebesar 0,6767 dan Accuracy 0,6667, yang merupakan performa terbaik diantara semua eksperimen.
Hal ini menunjukkan pentingnya pemilihan jumlah data yang seimbang untuk setiap kelas dalam meningkatkan akurasi dan kemampuan model untuk mengklasifikasikan data secara efektif.
Klasifikasi Sentimen Menggunakan Metode Multilayer.
(Arasy et al, 2.
ISSN(P): 2797-2313 | ISSN(E): 2775-8575 Tabel 7.
Hasil Experimen Pada Perbandingan data Set Eksperimen Metode MLPTF-IDF(K0 K.
MLPTF-IDF(K0 K1 Op C.
MLPTF-IDF(K0 K1 O.
F1Score Accuracy Precision Recall Berdasarkan F1Score.
Accuracy.
Precision, dan Recall, hasil evaluasi dari beberapa uji coba model pada data validasi ditampilkan pada Tabel 7.
Pada eksperimen .
memberikan hasil yang paling unggul secara keseluruhan kinerja dengan F1Score 0.
6767 Accuracy 0.
6667 Precision 0.
7188 Recall 0.
Sedangkan .
memberikan hasil F1Score 0.
6119 terendah Accuracy 0.
6500 Precision 0.
6998 Recall 0.
hanya memberikan kontribusi signifikan terhadap peningkatan kerja model.
Pada eskperimen .
memberikan hasil performa yang seimbang F1Score 0.
6247 Accurasy 0.
6333 Precision 0.
6516 Recall 0.
Dengan demikian, pada eksperimen .
adalah yang paling optimal dalam hal keseluruh kinerja.
Tabel 8.
Hasil Konstitusi Leaderboard Nama Abdurrahman Arasy Dina Deswara Atika Putri Admin Metode Mlp TF-IDF Vectorizer Random Forest (KS1 KS) KNN IndoBert BaseLane F1Score Accurasy Precision Recall Tabel 8 memperlihatkan capaian leaderboard dari empat partisipan melalui penerapan metode yang berbeda dalam memeproses data.
Abdurrahman Arasy menggunakan metode TFIDFVectorizer dan berhasil memperoleh F1Score sebesar 0.
5027 Accurasy 0.
5915 Precision 0.
5327 Recall 0.
Mengunakan metode Random Forest mencatat (K1 K.
F1Score sebesar 0.
4989 Accurasy 0.
5829 Precision 0.
4916 Recall 0.
sedangkan menggunakan KNN IndoBert mencatat F1Score sebesar 0.
4938 Accurasy 0.
5796 Precision 0.
Recall 0.
5764 dan menggunakan BaseLane berhasil mencatat F1Score sebesar 0.
4038 Accurasy 0.
Precision 0.
4953 Recall 0.
KESIMPULAN
Penelitian ini secara efektif mengklasifikasikan opini mengenai penunjukan Kaesang Pangarep sebagai Ketua Umum PSI dengan menggunakan metode MLP Classifier yang dikombinasikan dengan metodologi TFIDF.
Dari skenario eksperimen yang dilakukan, hasil terbaik dicapai pada Eksperimen 7 .
, dengan konfigurasi hyperparameter menggunakan hidden layer .
, .
, fungsi aktivasi relu, solver Adam, alpha sebesar 0,001, dan iterasi maksimum 20.
Model ini menghasilkan nilai F1Score sebesar 0,5027 dan akurasi 0,5915.
Meskipun masih ada peluang untuk peningkatan kinerja,terutama dibidang akurasi dan F1 Score, angka ini membuktikan pendekatan MLP Classifier menggunakan TF-IDF dapat mengklasifikasikan sentimen secara sangat efektif pada konteks dataset yang diterapkan.
Optimasi lebih lanjut terhadap parameter model dan teknik text preprocessing dapat dipertimbangkan untuk penelitian dimasa mendatang.
Untuk meningkatkan akurasi dan kapasitas model untuk generalisasi, set data yang lebih banyak dan lebih bervariasi harus digunakan dalam penelitian selanjutnya.
Penggunaan metode pemrosesan teks yang canggih, seperti deep learning atau penyematan kata, juga bisa dipertimbangkan dalam mengembangkan kinerja model.
Meskipun studi ini menawarkan landasan yang kuat dalam analisis sentimen dengan MLP Classifier dan TF-IDF, masih tersedia ruang bagiperbaikan untuk meningkatkan luasnya analisis dan output.
REFERENSI