JURNAL INFORMATIKA UPGRIS Vol.
No.
2, .
ISSN: 2477-6645
Evaluasi Komparatif Analisis Sentimen Komentar Media Sosial Menggunakan Multinomial Nayve Bayes.
Bidirectional-LSTM, dan Transfer Learning Niko Purnomo.
Rendra Trihardo.
Joy Lawa Rizky.
Rhini Fatmasari .
Windu Gata.
1,2,3,5 Teknologi Informasi.
Ilmu Komputer.
Universitas Nusa Mandiri.
Jakarta.
Indonesia
1,2,3,5
Jl.
Margonda No.
Pondok Cina.
Kecamatan Beji.
Kota Depok.
Jawa Barat 16424 Fakultas Keguruan dan Ilmu Pendidikan.
Universitas Terbuka Jakarta Jalan Cabe Raya.
Pondok Cabe.
Pamulang.
Tangerang Selatan.
Indonesia E-mail: .
nicopurnomo07@gmail.
com, .
rt@gmail.
com, .
14220036@nusamandiri.
riens@ecampus.
id, .
windu@nusamandiri.
AbstrakAi Komentar pada media sosial dapat digunakan sebagai umpan balik cepat untuk mengevaluasi kualitas layanan suatu Penelitian ini membandingkan empat pendekatan klasifikasi sentimen pada komentar Facebook dan Instagram institusi pendidikan .
tudi kasus: akun resmi Universitas Terbuk.
, yaitu Multinomial Nayve Bayes (TF-IDF).
Text Vectorization & Embedding (TensorFlo.
Bidirectional-LSTM, dan Universal Sentence Encoder (USE)AeTransfer Learning.
Tujuan penelitian ini adalah mengidentifikasi model dengan kinerja terbaik untuk klasifikasi sentimen positif dan negatif pada komentar media sosial berbahasa Indonesia.
Dataset yang digunakan terdiri dari 333 komentar Facebook dan 663 komentar Instagram, kemudian dilakukan penyeimbangan kelas melalui proses filtering sehingga diperoleh 154 komentar Facebook dan 178 komentar Instagram untuk pemodelan.
Hasil evaluasi menunjukkan Bidirectional-LSTM memberikan performa terbaik, dengan akurasi 0,88 dan F1score 0,89 pada Facebook, serta akurasi 0,74 dan F1-score 0,84 pada Instagram.
Model dengan performa terendah pada kedua platform adalah USEAeTransfer Learning.
Temuan ini mengindikasikan bahwa Bidirectional-LSTM lebih efektif untuk menangkap konteks sekuensial pada komentar media sosial, sehingga dapat dimanfaatkan sebagai dasar pemantauan kualitas layanan secara Namun, akurasi seluruh model masih berada di bawah 90%, sehingga penelitian lanjutan diperlukan, misalnya melalui perluasan data, penanganan ketidakseimbangan kelas yang lebih robust, dan optimasi arsitektur/model pralatih.
Kata KunciAi Analisis Sentimen.
Komentar Media Sosial.
Deep Learning.
Bidirectional-LSTM.
Multinomial Nayve Bayes.
PENDAHULUAN
Universitas Terbuka (UT) merupakan Perguruan Tinggi Negeri ke-45 di Indonesia yang menyelenggarakan layanan pendidikan dengan sistem Pendidikan Tinggi Terbuka dan Jarak Jauh (PTJJ) .
UT memiliki mahasiswa yang tersebar di berbagai wilayah Indonesia dan luar negeri.
Tercatat 419 mahasiswa UT, dengan 86,88% berada pada rentang usia O 34 tahun .
erdasarkan data registrasi semester ganjil 2023/2024 yang diambil pada 10 Oktober 2.
, serta tersebar di lebih dari 50 negara .
Kondisi ini menuntut UT untuk menjaga kualitas layanan pendidikan secara konsisten melalui mekanisme evaluasi yang dapat menjangkau mahasiswa secara luas.
Media sosial dapat dimanfaatkan sebagai platform digital untuk komunikasi dan interaksi antara mahasiswa dan institusi, termasuk penyampaian informasi maupun respons terhadap keluhan/pengalaman layanan .
Berbagai informasi dalam bentuk teks, foto, dan video dapat diakses secara terbuka selama 24 jam .
, sehingga komentar pengguna dapat menjadi sumber umpan balik publik yang bernilai untuk pemantauan kualitas layanan.
UT memiliki akun media sosial resmi pada beberapa platform, termasuk Instagram dan Facebook, yang berada di bawah naungan Meta Platforms Inc.
Pada tahun 2023.
Facebook memiliki pengguna aktif global sekitar 2,9 miliar dan didominasi pengguna usia 18Ae34 tahun .
,6%) .
, sedangkan Instagram memiliki pengguna aktif global sekitar 2,35 miliar dengan dominasi pengguna usia 18Ae34 tahun .
,6%) .
Komposisi ini relevan dengan profil usia mahasiswa UT yang mayoritas O 34 tahun, sehingga komentar pada akun resmi UT di Instagram dan Facebook berpotensi merepresentasikan persepsi pengguna terhadap layanan dan pendidikan UT.
Analisis sentimen pada komentar media sosial telah banyak diterapkan untuk mengekstraksi opini publik karena teksnya cenderung ringkas, informal, dan sering memuat konteks layanan tertentu.
Sejumlah penelitian menggunakan JURNAL INFORMATIKA UPGRIS Vol.
No.
2, .
ISSN: 2477-6645
pendekatan machine learning seperti Multinomial Nayve Bayes berbasis TF-IDF sebagai baseline karena implementasinya sederhana dan efisien pada klasifikasi teks.
Di sisi lain, metode deep learning seperti LSTM dan Bidirectional-LSTM dilaporkan lebih unggul dalam menangkap dependensi urutan kata dan konteks sekuensial, termasuk pola negasi serta frasa penekanan yang sering muncul pada komentar.
Selain itu, pendekatan transfer learning berbasis sentence embedding .
isalnya Universal Sentence Encoder/USE) menawarkan kemudahan karena mengurangi kebutuhan rekayasa fitur, tetapi performanya sangat dipengaruhi kesesuaian domain dan karakter bahasa data terhadap korpus pralatih.
Meskipun penelitian analisis sentimen telah dilakukan pada berbagai konteks, masih terbatas studi yang membandingkan secara komprehensif empat pendekatan yang mewakili spektrum metode baseline Multinomial Nayve Bayes.
Text Vectorization & Embedding, model sekuensial Bidirectional-LSTM, dan USE Transfer Learning khususnya pada komentar media sosial berbahasa Indonesia dalam konteks institusi pendidikan.
Selain itu, komentar media sosial umumnya memiliki ketidakseimbangan kelas .
isalnya dominan positi.
, sehingga strategi penanganannya perlu dijelaskan secara transparan agar evaluasi antarmodel tetap adil dan dapat direplikasi.
Pada konteks komentar akun resmi institusi .
tudi kasus: UT), perbandingan menyeluruh tetap diperlukan untuk memastikan model yang dipilih benarbenar efektif pada data yang bersifat informal, bervariasi, dan mengandung istilah spesifik layanan.
Berbagai penelitian sebelumnya telah menerapkan metode machine learning dan deep learning untuk analisis sentimen pada data teks media sosial.
Pendekatan baseline seperti Multinomial Nayve Bayes banyak digunakan karena kesederhanaan dan efisiensinya dalam klasifikasi teks, serta menunjukkan kinerja yang stabil pada berbagai dataset sentimen .
, .
Studi lain juga menegaskan bahwa Nayve Bayes tetap relevan untuk aplikasi praktis analisis sentimen meskipun memiliki asumsi independensi fitur yang kuat .
dalam menangani konteks bahasa yang kompleks .
Sementara itu, implementasi LSTM pada konteks aplikasi nyata seperti umpan balik pengguna aplikasi PeduliLindungi juga membuktikan efektivitas deep learning dalam mengklasifikasikan sentimen pengguna secara akurat .
Meskipun berbagai pendekatan tersebut telah dilaporkan, sebagian besar penelitian masih berfokus pada satu atau dua model tertentu dan jarang melakukan perbandingan komprehensif antara baseline machine learning, deep learning, dan transfer learning pada konteks komentar media sosial institusi pendidikan.
Oleh karena itu, penelitian ini memposisikan diri untuk mengisi celah tersebut dengan melakukan evaluasi komparatif empat model klasifikasi sentimen pada data komentar Facebook dan Instagram berbahasa Indonesia.
Berdasarkan latar belakang tersebut, penelitian ini bertujuan membandingkan kinerja empat model klasifikasi sentiment Multinomial Nayve Bayes (TF-IDF).
Text Vectorization & Embedding (TensorFlo.
BidirectionalLSTM, dan USEAeTransfer Learning pada komentar Facebook dan Instagram akun resmi institusi pendidikan .
tudi kasus: Universitas Terbuk.
menggunakan metrik accuracy, precision, recall, dan F1-score.
II.
METODE PENELITIAN
Penelitian ini menggunakan kerangka CRISP-DM (Cross Industry Standard Process for Data Minin.
yang terdiri dari enam tahap, yaitu business understanding, data understanding, data preparation, modeling, evaluation, dan Pemilihan CRISP-DM dinilai sesuai karena memberikan alur kerja yang sistematis dan terstruktur untuk penelitian analisis sentimen berbasis data teks, mulai dari pemahaman masalah hingga evaluasi model secara Seiring berkembangnya pembelajaran mendalam, model sekuensial seperti LSTM dan Bidirectional-LSTM semakin banyak digunakan karena kemampuannya menangkap dependensi urutan kata dan konteks kalimat.
Penelitian komparatif pada data Twitter menunjukkan bahwa Bi-LSTM lebih efektif dibanding CNN dalam analisis sentimen dan emosi, khususnya pada teks pendek dan informal .
Hasil serupa juga ditunjukkan pada analisis sentimen komentar YouTube dan media sosial berbahasa Indonesia, di mana LSTM dan Bi-LSTM secara konsisten mengungguli metode machine learning konvensional dalam hal akurasi dan F1score .
, .
Selain itu, beberapa penelitian mengkaji penguatan arsitektur Bi-LSTM melalui teknik optimasi atau hibridisasi untuk meningkatkan performa klasifikasi sentimen.
Prahasto dan Setiawan menunjukkan bahwa kombinasi Bi-LSTM dengan algoritma optimasi mampu meningkatkan akurasi pada data Twitter, mengindikasikan kekuatan model RNN Gambar 1.
Alur Penelitian Menggunakan CRISP-DM Pemahaman Bisnis UT memiliki moto Aumenjadi perguruan tinggi terbuka dan jarak jauh berkualitas duniaAy .
Untuk menjaga dan meningkatkan kualitas layanan dan pendidikan, diperlukan JURNAL INFORMATIKA UPGRIS Vol.
No.
2, .
ISSN: 2477-6645
evaluasi berkala yang dapat menangkap respons pengguna secara luas.
Penelitian ini dilakukan untuk menyediakan dasar pemantauan kepuasan/keluhan publik berbasis komentar media sosial, sehingga institusi dapat mengidentifikasi isu layanan secara lebih cepat.
Pemahaman Data Pada tahap ini, peneliti melakukan observasi pada 15 Oktober 2022 dengan meninjau komentar pada postingan akun resmi Facebook dan Instagram UT.
Hasil observasi menunjukkan adanya komentar positif dan negatif yang terkait layanan dan kualitas pendidikan.
Temuan ini memperkuat kebutuhan analisis sentimen publik dengan fokus pada akun resmi Facebook dan Instagram UT.
Persiapan Data Pengumpulan Data Pengumpulan data dilakukan menggunakan Extension IG Comment Export dan Extension FB Comment Export pada Google Chrome.
Data komentar diambil dari akun resmi UT pada Facebook dan Instagram .
alam dan luar neger.
sebagaimana ditunjukkan pada Tabel 1 dan Tabel 2.
Komentar yang diambil berasal dari postingan dalam periode Pengumpulan data dilakukan pada 21 Oktober 2023 Ae 1 November 2023, dengan batas pengambilan 1Ae100 komentar per postingan.
Seluruh data diekspor dan disimpan dalam csv dan diuraikan pada tabel 1 dan 2.
Tabel 1.
DAFTAR AKUN RESMI FB UT
Nama Akun
NEGARA
Indonesia Taiwan Hong Kong & Macau Universitas Terbuka Universitas Terbuka di Taiwan Universitas Terbuka Hong Kong & Macau Tabel 2.
DAFTAR AKUN RESMI IG UT
Akun
NEGARA
Indonesia Taiwan Hong Kong @univterbuka @univterbuka_taiwan @ut_hongkong2010 Hong Kong & Macau @uthkgweb Korea Selatan @utkorsel Sumber data diambil berdasarkan komentar setiap postingan pada FB dan IG resmi UT .
alam dan luar neger.
dari Awal 1 Januari 2023 sampai 31 Mei 2025 menggunakan Extension IG Comment Export dan Extension FB Comment Export pada browser Google Chrome kemudian data yang dikumpulkan akan disimpan ke pada file ekstensi .
Peneliti hanya mengambil 1-100 komentar setiap postingan.
Pelabelan Data Pelabelan sentimen dilakukan melalui dua tahap.
Tahap pertama menggunakan pelabelan otomatis berbasis lexicon dengan bantuan TextBlob untuk mengklasifikasikan komentar ke dalam dua kelas, yaitu positif dan negatif.
Tahap kedua berupa koreksi manual yang dilakukan oleh peneliti untuk memastikan kesesuaian label dengan konteks bahasa Indonesia.
Dari total dataset awal sebanyak 996 komentar, seluruh data melalui proses pelabelan otomatis, kemudian dilakukan koreksi manual pada komentar yang terindikasi ambigu atau keliru berdasarkan kriteria berikut: .
keberadaan ironi atau sarkasme, .
penggunaan negasi ganda, .
kata bermakna ganda yang bergantung konteks, dan .
istilah khusus layanan Universitas Terbuka.
Proses ini bertujuan meningkatkan kualitas label sebelum tahap Persiapan Data Pra-pemrosesan Tahap pra-pemrosesan diawali dengan normalisasi teks untuk meningkatkan kualitas data.
Perbaikan kata ini dilakukan dengan cara menerjemahkan komentar yang berbahasa inggris menjadi bahasa indonesia menggunakan library Googletrans pada program python .
dan juga memperbaiki kalimat kata-kata singkatan, memperbaiki kata-kata yang mengandung kesalahan penulisan .
Langkah selanjutnya adalah cleansing adalah membersihkan komentar dari atribut tidak diperlukan yang terdapat pada komentar dan juga mention nama orang.
Tahap selanjutnya yaitu melakukan pelabelan data berdasarkan setiap komentar.
Pelabelan data dikelompokan menjadi 2 kategori yaitu komentar yang bersifat positif dan Pelabelan data dilakukan secara otomatis menggunakan library Textblob pada program Python .
, namun ada beberapa komentar yang didefinisikan tidak sesuai kategori yang seharusnya sehingga beberapa komentar dilabeli secara manual oleh peneliti.
4 Filtering Data Filtering Data merupakan proses penyeleksian komentar.
Komentar yang sudah terfilter nantinya akan digunakan untuk proses pemodelan.
Filtering data bertujuan untuk menyeleksi komentar yang berbobot, penghapusan duplikasi komentar, dan juga agar data yang disajikan jumlahnya mendekati seimbang antara komentar positif dan negatif.
5 Pra-pemprosesan Case folding untuk mengubah semua huruf dalam kumpulan data komentar FB dan IG menjadi huruf kecil AoaAo sampai AozAo menggunakan program python .
Tokenizing merupakan proses pemisahan antar kata berdasarkan karakter spasi menggunakan modul nltk pada program python.
Contoh kalimatnya adalah rumah idaman adalah rumah yang bersih, setelah dilakukan tokenizing menjadi ['rumah', 'idaman', 'adalah', 'rumah', 'yang', 'bersih'] .
Stopword tahap mengambil kata-kata penting dari hasil token dengan menggunakan algoritma stoplist .
embuang kata kurang pentin.
atau wordlist .
enyimpan kata pentin.
menggunakan modul sastrawi dan nltk pada program python .
Stemming merupakan proses menghilangkan infleksi kata ke bentuk dasarnya, namun bentuk dasar tersebut tidak berarti sama dengan akar kata .
oot wor.
menggunakan modul sastrawi dan nltk pada program python.
Misalnya dengan kata AumendengarkanAy.
AudengarkanAy.
AudidengarkanAy akan ditransformasi menjadi kata AudengarAy .
JURNAL INFORMATIKA UPGRIS Vol.
No.
2, .
ISSN: 2477-6645
Pemodelan Tabel 3.
JUMLAH KOMENTAR TERKUMPUL
Pembobotan Sebelum melakukan klasifikasi dengan model, terlebih dahulu melakukan pembobotan berdasarkan dataset menggunakan metode TF-IDF.
TF-IDF merupakan metode pembobotan sebuah kata di dalam sistem pencarian informasi dengan Term Frequency (TF) dan Inverse Document Frequency (IDF).
TF merupakan frekuensi munculnya kata sama pada dokumen.
IDF merupakan banyaknya koleksi dataset yang bersangkutan mengandung sebuah kata .
Klasifikasi Model Penelitian ini membandingkan empat model klasifikasi sentimen, yaitu Multinomial Nayve Bayes (TF-IDF).
Text Vectorization & Embedding.
Bidirectional-LSTM, dan Universal Sentence Encoder (USE)AeTransfer Learning.
Untuk memastikan reproducibility, konfigurasi utama model deep learning dijelaskan sebagai berikut.
Model Bidirectional-LSTM dibangun menggunakan TensorFlow dengan satu embedding layer, satu Bidirectional LSTM layer dengan 128 unit tersembunyi, dan satu dense layer berfungsi sebagai output layer dengan aktivasi sigmoid untuk klasifikasi biner.
Proses pelatihan menggunakan optimizer Adam, learning rate sebesar 0,001, batch size 32, dan 20 epoch.
Fungsi loss yang digunakan adalah binary cross-entropy.
Model Text Vectorization & Embedding menggunakan lapisan text vectorization bawaan TensorFlow yang diikuti oleh embedding layer dan dense layer.
Sementara itu, model USE memanfaatkan pre-trained sentence embedding tanpa proses pelatihan ulang .
Seluruh model dievaluasi menggunakan metrik accuracy, precision, recall, dan F1-score pada data uji yang sama untuk memastikan perbandingan yang adil.
Evaluasi Menampilkan dan membandingkan nilai accuracy, precision, recall.
F1-score pada model Multinomial Nayve Bayes.
Text Vectorization and Embedding (Tensorflo.
Bidirectional-LSTM.
USE-Transfer learning (Tensorflo.
dan juga memvisualkan hasil perbandingan dengan sebuah Penerapan Penerapan adalah hasil kesimpulan dari proses penelitian.
Pada tahap ini juga memberikan kesimpulan dari perbandingan nilai accuracy, precision, recall.
F1-score dari model Multinomial Nayve Bayes.
Text Vectorization and Embedding (Tensorflo.
Bidirectional-LSTM.
USETransfer learning (Tensorflo.
Penulis juga memberikan saran berdasarkan hasil penelitian ini.
HASIL DAN PEMBAHASAN
Pengumpulan Data Data komentar diperoleh dari akun resmi UT pada Facebook dan Instagram, kemudian digabungkan sebagai sumber data untuk analisis.
Tabel 3 menunjukkan jumlah komentar yang terkumpul dari masing-masing platform.
FACEBOOK
Instagram Normalisasi.
Cleansing, dan Pelabelan Normalisasi dilakukan melalui perbaikan singkatan, koreksi typo, serta penerjemahan komentar berbahasa Inggris ke bahasa Indonesia.
Cleansing menghapus atribut yang tidak diperlukan dan mention pengguna.
Contoh hasil normalisasi dan cleansing pada Facebook dan Instagram ditunjukkan pada Tabel 4 dan Tabel 5.
Tabel 4.
PERBAIKAN KATA DAN CLEANSING FB UT
SEBELUM
Perbaikan Kata & Cleansing Banyak selamat buat teman
seperjuangan UPBJJ KUPANG
kapan ya Banyak selamat buat teman-teman seperjuangan UPBJJ KUPANG
kapan ya Pernah ikut merasakan wisuda di UT pusat,tak lah kenpa dah mulai tuton
baru di rekap
lah kenpa dah mulai tuton baru di PERBAIKAN DAN CLEANSING KATA IG UT
SEBELUM
Perbaikan Kata & Cleansing Pernah ikut merasakan wisuda di UT pusat tak terlupakan Tabel 5.
Ai Gk ngerti cara kuliah di Ao pusing mutar mutar respon lama iya, ni parah si Ai Kurang paham cara belajar disini, terlalu ribet dan responnya lama Maju terus untuk UT.
Semoga lebih semakin UT.
HONGKONG the best Maju terus untuk UT.
Semoga lebih semakin berkembang.
iya, ini parah sih Ai UT hong kong terbaik Langkah selanjutnya adalah melakukan pelabelan sesuai dengan sifat dari komentar tersebut dan dikategorikan menjadi komentar positif dan negatif.
Namun ada beberapa komentar tidak bisa diidentifikasi sehingga dihapus, sehingga dataset untuk FB UT menjadi 333 dan IG menjadi 647.
Berikut komentar yang telah diberi label dari akun sosial media resmi UT yang akan dijabarkan pada tabel 6 dan tabel Tabel 6.
PERBAIKAN DAN CLEANSING KOMENTAR FB UT
PERBAIKAN KATA & CLEANSING
Label Banyak selamat buat teman seperjuangan UPBJJ KUPANG kapan ya Pernah ikut merasakan wisuda di UT pusat tak Ai Positif lah kenpa dah mulai tuton baru di rekap Negatif Positif Ai JURNAL INFORMATIKA UPGRIS Vol.
No.
2, .
ISSN: 2477-6645
gak bisa gabung nunggu yang di UPBJJ aja semoga cepat ada wisuda
PELABELAN KOMENTAR IG UT
PERBAIKAN KATA & CLEANSING
Negatif Tabel 7.
Ai gak bisa gabung nunggu yang di UPBJJ aja semoga cepat ada wisuda lah kenpa dah mulai tuton baru di rekap No.
CASE FOLDING KATA IG UT
PERBAIKAN KATA & CLEANSING
Label Negatif Maju terus untuk UT.
Semoga lebih semakin UT hong kong terbaik Positif Negatif Ai Positif Jumlah komentar berdasarkan setiap label akan dijabarkan di tabel 8.
Tabel 8.
Total Kurang paham cara belajar disini, terlalu ribet dan responnya lama Ai iya ini parah sih Ai kurang paham cara belajar disini, terlalu ribet dan responnya lama iya ini parah sih Ai Maju terus untuk UT.
Semoga lebih semakin berkembang.
UT hong kong terbaik maju terus untuk ut.
lebih semakin berkembang.
ut hong kong terbaik Tokenizing merupakan proses pemisahan antar kata berdasarkan karakter spasi.
Berikut komentar yang telah dilakukan proses tokenizing dari akun sosial media resmi UT yang akan dijabarkan pada tabel 12 dan tabel 13.
Tabel 12.
Sebelum melakukan pra-pemrosesan, pembobotan dan klasifikasi model, dilakukan filtering data yang akan menjadi sumber data, karena komentar positif dan negatif perbedaanya terlalu jauh dan juga komentar yang seleksi adalah komentar yang berbobot, penghapusan duplikasi Data yang digunakan dalam proses pembobotan dan klasifikasi model akan diuraikan pada tabel 9.
Tabel 9.
Total Pra-pemprosesan 1 Case Folding Case folding merupakan sebuah proses mengubah semua Berikut komentar yang telah dilakukan proses case folding dari akun sosial media resmi UT yang akan dijabarkan pada tabel 10 dan tabel 11.
Tabel 10.
CASE FOLDING FB UT
PERBAIKAN KATA & CLEANSING
Banyak selamat buat teman seperjuangan UPBJJ KUPANG kapan ya Pernah ikut merasakan wisuda di UT pusat tak Ai Case Folding banyak selamat buat teman seperjuangan upbjj kupang kapan pernah ikut merasakan wisuda di ut pusat tak terlupakan Ai Case Folding 2 Tokenizing Filtering Data No.
lah kenpa dah mulai tuton baru di Jumlah komentar berdasarkan setiap label akan JUMLAH KOMENTAR BERDASARKAN LABEL
Sosial Media KOMENTAR Komentar Positif
NEGATIF
Facebook Instagram gak bisa gabung nunggu yang di upbjj aja semoga cepat ada wisuda Tabel 11.
Kurang paham cara belajar disini, terlalu ribet dan responnya lama iya ini parah sih Ai
JUMLAH KOMENTAR BERDASARKAN LABEL
Sosial Media KOMENTAR Komentar Positif
NEGATIF
Facebook 54 .
22 %)
Instagram 78 .
TOKENIZING FB UT
Tokenizing No.
CASE FOLDING
banyak selamat buat teman seperjuangan upbjj kupang kapan ya pernah ikut merasakan wisuda di ut pusat tak terlupakan Ai Ai .
anyak','selamat','buat','teman' ,'seperjuangan','upbjj','kupang',' kapan','y.
ernah','ikut','merasakan','wisu da','di','ut','pusatAo,Aotak','terlupak Ai gak bisa gabung nunggu yang di upbjj aja semoga cepat ada lah kenpa dah mulai tuton baru di rekap .
ak','bisa','gabung','nunggu','y ang','di','upbjj','aja','semoga','ce pat','ada','wisud.
ah','kenpa','dah','mulai','tuton', 'baru','di','reka.
No.
Case Folding Kata IG UT
CASE FOLDING
Tokenizing Tabel 13.
kurang paham cara belajar disini, terlalu ribet dan responnya lama Ai iya ini parah sih Ai Maju terus untuk UT.
Semoga lebih semakin berkembang.
UT hong kong terbaik ['kurang', 'paham', 'cara', 'belajar', 'disini', 'terlalu', 'ribet', 'dan', 'responnya', 'lama'] [AoiyaAo.
AoiniAo.
AoparahAo.
AosihA.
Ai [AomajuAo.
AoterusAo.
AountukAo.
AoutAo.
AosemogaAo.
AolebihAo.
AosemakinAo.
AoberkembangAo.
[AoutAo.
AohongAo.
AokongAo.
AoterbaikA.
3 Stopword Stopword tahap mengambil kata-kata penting dari hasil membuang kata kurang penting dari proses tokenizing.
Berikut komentar yang telah dilakukan proses stopword dari akun sosial media resmi UT yang akan dijabarkan pada tabel 14 dan tabel 15.
JURNAL INFORMATIKA UPGRIS Vol.
No.
2, .
ISSN: 2477-6645
Tabel 14.
No.
Pra-pemprosesan STOPWORD KATA FB UT
TOKENIZING
Stopword .
anyak','selamat','buat','teman', 'seperjuangan','upbjj','kupang','k apan','y.
ernah','ikut','merasakan','wisu da','di','ut','pusattak','terlupakan Ai .
anyak','selamat','buat','teman' ,'seperjuangan','upbjj','kupang',' kapan','y.
ernah','ikut','merasakan','wisu da','di','ut','pusatAo,Aotak','terlupak Ai .
ak','bisa','gabung','nunggu','ya ng','di','upbjj','aja','semoga','cep at','ada','wisud.
ah','kenpa','dah','mulai','tuton',' baru','di','reka.
ak','bisa','gabung','nunggu','y ang','di','upbjj','aja','semoga','ce pat','ada','wisud.
ah','kenpa','dah','mulai','tuton', 'baru','di','reka.
1 Pembobotan Pembobotan menggunakan metode TF-IDF.
Hasil dari pembobotan FB dan IG menggunakan metode TF-IDF akan diuraikan pada tabel 18 dan 19.
Tabel 18.
, .
TF-IDF FB
, .
, .
TF-IDF IG
, .
Tabel 15.
Stopword Kata IG UT No.
TOKENIZING
Stopword ['kurang', 'paham', 'cara', 'belajar', 'disini', 'terlalu', 'ribet', 'dan', 'responnya', 'lama'] ['kurang', 'paham', 'cara', 'belajar', 'sini', 'terlalu', 'ribet', 'dan', 'responnya', 'lama'] [AoiyaAo.
AoiniAo.
AoparahAo.
AosihA.
Ai Ai [AoiyaAo.
AoiniAo.
AoparahAo.
AosihA.
Ai [AomajuAo.
AoterusAo.
AountukAo.
AoutAo.
AosemogaAo.
AolebihAo.
AosemakinAo.
AoberkembangAo.
[AoutAo.
AohongAo.
AokongAo.
AoterbaikA.
[AomajuAo.
AoterusAo.
AountukAo.
AoutAo.
AosemogaAo.
AosemakinAo.
AoberkembangAo.
[AoutAo.
AohongAo.
AokongAo.
AoterbaikA.
4 Stemming Stemming merupakan proses menghilangkan imbuhan dalam kata.
Berikut komentar yang telah dilakukan proses stemming dari akun sosial media resmi UT yang akan dijabarkan pada tabel 16 dan tabel 17.
Tabel 16.
STEMMING FB UT
Stemming No.
STOPWORD
anyak','selamat','buat','teman', 'seperjuangan','upbjj','kupang','k apan','y.
ernah','ikut','merasakan','wisu da','di','ut','pusattak','terlupakan Ai .
anyak','selamat','buat','teman' ,'seperjuangan','upbjj','kupang',' kapan','y.
ernah','ikut','merasakan','wisu da','di','ut','pusatAo,Aotak','terlupak Ai .
ak','bisa','gabung','nunggu','ya ng','di','upbjj','aja','semoga','cep at','ada','wisud.
ah','kenpa','dah','mulai','tuton',' baru','di','reka.
ak','bisa','gabung','nunggu','y ang','di','upbjj','aja','semoga','ce pat','ada','wisud.
ah','kenpa','dah','mulai','tuton', 'baru','di','reka.
Ai Tabel 17.
Stemming Kata IG UT Stemming No.
STOPWORD
['kurang', 'paham', 'cara', 'belajar', 'sini', 'terlalu', 'ribet', 'dan', 'responnya', 'lama'] [AoiyaAo.
AoiniAo.
AoparahA.
Ai ['kurang', 'paham', 'cara', 'ajar', 'sini', 'terlalu', 'ribet', 'dan', 'responnya', 'lama'] [AoiyaAo.
AoiniAo.
AoparahAo.
AosihA.
Ai [AomajuAo.
AoterusAo.
AountukAo.
AoutAo.
AosemogaAo.
AosemakinAo.
AoberkembangAo.
[AoutAo.
AohongAo.
AokongAo.
AoterbaikA.
[AomajuAo.
AoterusAo.
AountukAo.
AoutAo.
AomogaAo.
AomakinAo.
AokembangA.
[AoutAo.
AohongAo.
AokongAo.
AobaikA.
Ai Tabel 19.
2 Klasifikasi Model Pada penelitian ini, dilakukan pengujian akurasi dengan Multinomial Nayve Bayes.
Text Vectorization and Embedding (Tensorflo.
Bidirectional-LSTM.
USETransfer learning (Tensorflo.
Pemodelan menggunakan library MultinomialNB.
Keras.
Tensorflow.
6 Evaluasi Pada penelitian ini, dilakukan pengujian accuracy, precision, recall.
F1-score menggunakan model klasifikasi Multinomial Nayve Bayes.
Text Vectorization and Embedding (Tensorflo.
Bidirectional-LSTM.
USETransfer learning (Tensorflo.
pada data yang berasal dari FB dan IG yang dijabarkan pada tabel 20 dan 21.
Tabel 20.
Hasil Klasifikasi Sentimen Dataset Facebook Instagram NO .
Algoritma Accura Precision Reca F1cy Multinomial Nayve Bayes Text Vectorization and Embedding (Tensorflo.
Bidirectional0.
LSTM
USE-Transfer (Tensorflo.
Tabel 21.
NO .
Hasil Klasifikasi Sentimen Dataset Facebook Algoritma Accura Precision Reca Multinomial Nayve Bayes Text Vectorization and F1score JURNAL INFORMATIKA UPGRIS Vol.
No.
2, .
ISSN: 2477-6645
Embedding (Tensorflo.
BidirectionalLSTM USE-Transfer (Tensorflo.
Hasil perbandingan klasifikasi pada tiap model berdasarkan dataset FB akan digambarkan pada gambar 2, 3, 4, 5.
Gambar 5.
Perbandingan F1-Score Tiap Model Pada FB Sedangkan, hasil perbandingan klasifikasi pada tiap model berdasarkan dataset IG akan digambarkan pada gambar 6, 7, 8, 9.
Gambar 2.
Perbandingan Akurasi Tiap Model Pada FB Gambar 6.
Perbandingan Akurasi Tiap Model Pada IG Gambar 3.
Perbandingan Precision Tiap Model Pada Gambar 7.
Perbandingan Precision Tiap Model Pada IG Gambar 4.
Perbandingan Recall Tiap Model Pada FB JURNAL INFORMATIKA UPGRIS Vol.
No.
2, .
ISSN: 2477-6645
spesifik institusi .
omain shif.
Implikasi temuan ini menunjukkan bahwa Bidirectional-LSTM merupakan pendekatan yang paling efektif untuk klasifikasi sentimen komentar media sosial pada konteks institusi pendidikan dalam penelitian ini, sehingga dapat dimanfaatkan untuk pemantauan kualitas layanan secara berkala.
Namun demikian, akurasi seluruh model masih berada di bawah 90%, sehingga penelitian lanjutan diperlukan melalui perluasan data, strategi penanganan imbalance yang lebih robust, serta optimasi arsitektur dan/atau transfer learning yang lebih sesuai domain.
Gambar 8.
Perbandingan Recall Tiap Model Pada IG Gambar 9.
Perbandingan F1-Score Tiap Model Pada IG Berdasarkan grafik pada gambar 2, 3, 4, 5 menunjukan bahwa nilai accuracy, precision, recall.
F1-score tertinggi ada pada FB terdapat pada model Bidirectional-LSTM sedangkan nilai accuracy, precision, recall.
F1-score terkecil ada pada model USE Transfer learning (Tensorflo.
Berdasarkan grafik pada gambar 6, 7, 8, 9 menunjukan bahwa nilai accuracy, precision, recall.
F1-score tertinggi ada pada IG terdapat pada model Bidirectional-LSTM sedangkan nilai accuracy, precision, recall.
F1-score terkecil ada pada model USE Transfer learning (Tensorflo.
IV.
KESIMPULAN
Hasil analisis sentimen menunjukkan bahwa pada Facebook ditemukan 54 komentar negatif .
,22%) dan 279 komentar positif .
,78%), sedangkan pada Instagram ditemukan 78 komentar negatif .
,76%) dan 585 komentar positif .
,24%).
Untuk mengurangi bias akibat ketidakseimbangan kelas, penelitian ini melakukan filtering dengan mempertahankan seluruh komentar negatif dan melakukan undersampling pada komentar positif, sehingga data pemodelan menjadi 154 komentar Facebook dan 178 komentar Instagram.
Berdasarkan evaluasi performa.
Bidirectional-LSTM menghasilkan nilai terbaik pada kedua platform, yaitu akurasi 0,88 dan F1-score 0,89 pada Facebook, serta akurasi 0,74 dan F1-score 0,84 pada Instagram.
Model dengan performa terendah pada kedua platform adalah USEAeTransfer Learning (TensorFlo.
, yang diduga dipengaruhi oleh perbedaan domain bahasa dan istilah DAFTAR PUSTAKA