Institut Riset dan Publikasi Indonesia (IRPI) MALCOM: Indonesian Journal of Machine Learning and Computer Science Journal Homepage: https://journal.
id/index.
php/malcom Vol.
3 Iss.
2 October 2023, pp: 153-160
ISSN(P): 2797-2313 | ISSN(E): 2775-8575
Comparative Evaluation of SVM Kernels for Sentiment Classification in Fuel Price Increase Analysis Perbandingan Evaluasi Kernel SVM untuk Klasifikasi Sentimen dalam Analisis Kenaikan Harga BBM Salsabila Rabbani1.
Dea Safitri2.
Nadila Rahmadhani3.
Al Amin Fadillah Sani4.
Khairul Anam5* 1,2,4,5 Teknik Informatika.
STMIK Amik Riau.
Indonesia Sistem Informasi.
STMIK Amik Riau.
Indonesia E-Mail: 1201003182104@sar.
id, 22010031802001@sar.
id, 32210031806049@sar.
42110031802011@sar.
id, 5khairulanam@sar.
Received Aug 10th 2023.
Revised Sept 12th 2023.
Accepted Oct 15th 2023 Corresponding Author: M.
Khairul Anam Abstract The policy of changing the price of fuel oil (BBM) by the government in September 2022 caused controversy among social media users including Twitter.
To understand how the change in fuel price increase affects people's perceptions and emotions on Twitter, this study conducted sentiment analysis using the Support Vector Machine (SVM) algorithm with three different kernel types, namely linear.
RBF (Radial Basis Functio.
, and polynomial.
This research aims to classify tweets as positive, negative, or neutral, and compare the performance of the three SVM kernels.
This research also tries to overcome class imbalance by applying the SMOTE (Synthetic Minority Over-sampling Techniqu.
oversampling technique to the dataset.
The results showed that Twitter users predominantly gave negative reactions to the fuel price increase.
applying the SVM algorithm, the RBF kernel produces the best performance of 87% using TF-IDF word weighting.
addition, the use of TF-IDF word weighting has the best accuracy results compared to the BoW word weighting model.
The application of SMOTE oversampling technique in the polynomial kernel of TF-IDF word weighting on 70:30 and 80:20 data division successfully improved the algorithm performance by 2%.
The results of this study provide an in-depth insight into the public's views on fuel price policy and enable public decision-makers and industry to design more responsive and pro-people policies.
Keyword: Classification.
Fuel Oil.
Sentiment Analysis.
SMOTE.
Support Vector Machine Abstrak Kebijakan perubahan harga Bahan Bakar Minyak (BBM) oleh pemerintah pada September 2022 lalu menimbulkan kontroversi pengguna sosial media termasuk Twitter.
Untuk memahami bagaimana perubahan kenaikan harga BBM apakah mempengaruhi persepsi dan emosi masyarakat di Twitter maka dalam penelitian ini dilakukan analisis sentimen menggunakan algoritma Support Vector Machine (SVM) dengan tiga jenis kernel berbeda, yaitu linier.
RBF (Radial Basis Functio.
, dan polinomial.
Penelitian ini bertujuan untuk mengklasifikasikan tweet-tweet sebagai positif, negatif, atau netral, serta membandingkan kinerja ketiga kernel SVM tersebut.
Penelitian ini juga mencoba mengatasi ketidakseimbangan kelas dengan menerapkan teknik SMOTE (Synthetic Minority Over-sampling Techniqu.
oversampling pada dataset.
Hasil penelitian menunjukkan bahwa pengguna Twitter dominan memberikan reaksi negatif terhadap kenaikan harga BBM.
Dalam mengaplikasikan algoritma SVM, kernel RBF menghasilkan kinerja terbaik yaitu sebesar 87% menggunakan pembobotan kata TF-IDF.
Selain itu, penggunaan pembobotan kata TF-IDF memiliki hasil akurasi terbaik dibandingkan dengan model pembobotan kata BoW.
Penerapan teknik SMOTE oversampling dalam kernel polynomial pembobotan kata TF-IDF pada pembagian data 70:30 dan 80:20 berhasil meningkatkan kinerja algoritma sebesar 2%.
Hasil penelitian ini memberikan wawasan mendalam tentang pandangan masyarakat terhadap kebijakan harga BBM dan memungkinkan pengambil keputusan publik serta industri untuk merancang kebijakan yang lebih responsif dan berpihak kepada kepentingan rakyat.
Kata Kunci: Analisis Sentimen.
BBM.
Klasifikasi.
SMOTE.
Support Vector Machine DOI: https://doi.
org/10.
57152/malcom.
MALCOM-03.
: 153-160
PENDAHULUAN
Kenaikan harga Bahan Bakar Minyak (BBM) telah menjadi isu global yang kompleks dengan dampak yang signifikan pada berbagai aspek ekonomi, sosial, dan lingkungan.
Bahan bakar minyak, terutama bahan bakar fosil seperti bensin dan solar, memainkan peran sentral dalam perekonomian modern dengan menjadi sumber energi dominan dalam sektor transportasi, industri, dan kebutuhan rumah tangga.
Pada awal bulan September 2022 pemerintah menetapkan kebijakan kenaikan harga BBM di Indonesia.
Kenaikan harga BBM telah memicu perhatian luas dari berbagai pihak, termasuk pemerintah, konsumen, industri, dan peneliti.
Kelabilan harga bahan bakar minyak dapat mempengaruhi biaya aktivitas masyarakat dalam kegiatan seharihari .
Topik kenaikan harga bahan bakar minyak ini menjadi polemik di seluruh media sosial, salah satunya media sosial Twitter.
Pengguna Twitter dapat mengeluarkan pendapat mereka secara pribadi, seperti masukan, kritikan ataupun pujian.
Semakin banyaknya pengguna media sosial yang memanfaatkan Twitter untuk mengungkapkan pendapatnya, maka diperlukan tindakan berupa analisis sentimen untuk memecahkan masalah berdasarkan opini publik.
Berbagai metode dapat digunakan untuk menganalisis tanggapan masyarakat khususnya di media sosial, salah satunya adalah sentimen analisis.
Analisis sentimen adalah disiplin ilmu yang memeriksa dan mengevaluasi pendapat atau pandangan, ekstraksi opini, penambangan sentimen, analisis pengaruh dan emosi terhadap suatu peristiwa atau topik .
Selain menentukan sentimen analisis, penelitian ini juga menggunakan text mining untuk mempermudah proses klasifikasi yang membutuhkan bantuan algoritma.
Penelitian ini menerapkan metode Support Vector Machine (SVM) sebagai algoritma untuk melakukan klasifikasi.
SVM akan memprediksi label ke daerah kelas mana yang merupakan tempat dari data tersebut .
Model Support Vector Machine (SVM) membangun hyperplane .
idang pemisa.
yang memiliki margin maksimum antara dua kelas, sehingga dapat memaksimalkan pemisahan antara kelas positif dan kelas negatif.
Penelitian .
RBF-SVM digunakan untuk memprediksi keadaan cacat, dan memiliki akurasi prediksi yang lebih baik dibandingkan dengan tiga metode yang umum digunakan yaitu SVM linier.
ANN, dan pohon Penelitian tersebut mendapatkan hasil kinerja RBF-SVM sebesar 92,58%.
Dalam penelitian .
yang membahas kepuasan pelanggan terhadap layanan Traveloka menunjukkan bahwa dengan menggunakan model SVM memperoleh akurasi tertinggi dari model logistic regression dan naive bayes.
Dengan menggunakan pembobotan kata TF-IDF.
SVM mendapatkan akurasi model sebesar 84,58%.
Penelitian lain dari .
membuktikan bahwa model SVM dengan pembagian data 70:30 menghasilkan akurasi model sebesar 85.
Hal ini menunjukkan bahwa model SVM adalah pemodelan yang baik untuk klasifikasi teks.
Penelitian ini juga juga mencoba mengatasi ketidakseimbangan label dengan menerapkan teknik SMOTE (Synthetic Minority Over-sampling Techniqu.
oversampling pada dataset.
SMOTE menghasilkan sampel sintetik dari kelas minoritas dengan melakukan oversampling pada setiap titik data dengan mempertimbangkan kombinasi linier dari tetangga kelas minoritas yang ada .
Dalam penelitian .
menggunakan metode SMOTE oversampling dengan membandingkan beberapa pengklasifikasi pembelajaran mesin seperti.
Regresi Logistik.
Random Forest, dan XGBoost.
Hasilnya model Random Forest mencapai kinerja yang lebih baik di antara algoritma tersebut dengan akurasi 99,07%, presisi dan perolehan 99,0%.
Penelitian lain yang membahas mengenai penggunaan SMOTE oversampling .
menggunakan model prediktif yang berbeda berhasil menaikkan kinerja model termasuk model SVM dengan hasil akurasi sebesar 98,9%.
Penambahan SMOTE oversampling telah terbukti memahami dampak fitur terhadap pengembangan Berdasarkan beberapa penelitian diatas, maka peneliti tertarik untuk melakukan penelitian dengan menggunakan perbandingan penggunaan SMOTE oversampling dalam kernel SVM untuk menentukan kinerja terbaik dalam mengolah dataset sentimen analisis kenaikan harga BBM.
Oleh karena itu, melalui penelitian ini diharapkan dapat memberikan informasi bagaimana tanggapan pengguna Twitter tentang kebijakan pemerintah terhadap kenaikan harga bahan bakar minyak.
Dengan memahami bagaimana persepsi dan sikap masyarakat berkembang terhadap kenaikan harga bahan bakar minyak memungkinkan pengambil keputusan publik serta industri untuk merancang kebijakan yang lebih responsif dan berpihak kepada kepentingan rakyat.
METODOLOGI PENELITIAN
Penelitian sentimen analisis terkait kenaikan harga BBM ini terdiri dari proses yang terencana dan sistematis untuk memberikan solusi terbaik bagi masalah.
Data yang diambil dari opini masyarakat pada media sosial Twitter, penting untuk memastikan bahwa dataset relevan dengan permasalahan yang ada, dan berisi data yang cukup untuk melatih serta mengevaluasi model.
Pada Gambar 1, terdapat urutan langkah-langkah yaitu mengumpulkan data, kemudian tahap pra-pemrosesan data, selanjutnya tahap splitting data, dengan membagi data latih dan data uji, selanjutnya pada data latih, tahap klasifikasi model serta menerapkan teknik SMOTE oversampling, setelah itu dilakukan tahap evaluasi model, dan diakhiri dengan kesimpulan dari hasil perbandingan metode Support Vector Machine.
Perbandingan Evaluasi Kernel SVM untuk Klasifikasi.
(Rabbani et al, 2.
ISSN(P): 2797-2313 | ISSN(E): 2775-8575 Gambar 1.
Metode Penelitian Pengumpulan Data Penelitian ini menggunakan dataset dari informasi tweet yang diambil dari platform Twitter melalui crawling data menggunakan API Twitter yang diperoleh dari pembuatan akun developer yang akan memberikan API Key dan Access Token unik.
Jumlah data yang digunakan sebanyak 5.
000 tweet.
Keyword yang dipakai untuk mengambil data tweet adalah frasa yang mengandung frasa "Bahan Bakar Minyak".
Pelabelan setiap data dilakukan secara manual dan divalidasi oleh seorang psikologi, ada 3 label yang diberikan, yaitu kelas negatif, positif dan netral.
Beberapa pustaka yang digunakan dalam pengujian menggunakan bahasa pemrograman Python melalui IDE Jupyter, yang meliputi pandas, numpy, nltk, matplotlib, dan wordcloud.
Preprocessing (Pemrosesan Awa.
Dataset yang terkumpul masih dalam bentuk unstructured data, sehingga perlu dilakukan preprocessing agar data menjadi lebih terstruktur.
Proses preprocessing yang dilakukan dalam penelitian ini melibatkan beberapa tahapan, yaitu pengubahan huruf menjadi huruf kecil .
ase foldin.
, pembersihan data .
, penyaringan kata .
atau stopword removal, pengembalian kata dasar .
, dan pemisahan kata-kata menjadi token .
Tahap Case folding melibatkan proses di mana huruf-huruf kapital diubah menjadi huruf kecil secara keseluruhan .
Penerapan case folding juga memiliki manfaat dalam menangani ketidakkonsistenan penulisan dalam data, seperti penggunaan yang tidak sesuai standar antara huruf besar dan kecil atau masalah ejaan yang mungkin terjadi.
Tahap Cleaning yaitu tahap menghilangkan kata yang tidak diperlukan .
Misalnya, angka .
, pemisah kata yaitu koma (,), titik (.
), tanda seru (!), dan tanda baca lainnya.
Tokenisasi adalah memisahkan sepotong teks menjadi kata-kata atau frase .
Selanjutnya tahap filtering, dimana dilakukan seleksi kata-kata yang dianggap penting dari hasil tokenisasi .
Kata-kata yang tidak memberikan informasi seperti yang, dan, di, atau, dengan, dll.
, akan MALCOM - Vol.
3 Iss.
2 October 2023, pp: 153-160 MALCOM-03.
: 153-160
Kemudian lematisasi akan diterapkan pada ulasan yang telah di filtering.
Lematisasi mengacu pada transformasi kata-kata ke dalam bentuk akarnya untuk meningkatkan kinerja model .
Contoh:
menolong, ditolong, penolong akan menjadi tolong.
Token berupa kata unik yang akan menjadi identifikasi untuk pengelompokan sentimen.
Sebelum melakukan tokenisasi, kata-kata dalam tweet dipisahkan menggunakan karakter spasi.
Data tweet diubah menjadi huruf kecil sebelum diproses.
Tautan, nama pengguna, dan simbol dihapus, dan kesalahan ejaan atau penulisan diperbaiki agar teks menjadi lebih akurat.
Pembobotan Kata Pembobotan kata adalah suatu proses yang mengubah kata menjadi representasi numerik .
ektor kat.
Penelitian ini menggunakan dua metode pembobotan kata untuk mengetahui metode mana yang menghasilkan nilai frekuensi kata yang baik.
Pembobotan kata yang dilakukan yaitu metode Term FrequencyInverse Document Frequency (TF-IDF) dan Bag of Word (BoW).
1 Term Frequency-Inverse Document Frequency (TF-IDF) Dalam dokumen, seringkali digunakan metode Term Frequency-Inverse Document Frequency (TFIDF) pada penyematan kata.
Dalam TF-IDF, dilakukan konversi data teks menjadi bentuk vektor agar dapat mempertimbangkan urutan kata yang tepat.
Setiap kata dalam korpus berkorelasi dengan angka oleh TF-IDF yang menunjukkan seberapa signifikan setiap kata untuk korpus .
Setelah kata-kata diubah menjadi angka, nilai numerik TF-IDF diumpankan ke pengklasifikasi pembelajaran yang diawasi .
dalam konteks yang dapat ditafsirkan oleh metode pembelajaran mesin.
Untuk melakukan perhitungan TF-IDF menggunakan library Python Sklearn, kita bisa menggunakan TfidfVectorizer.
Berikut rumus pembobotan kata.
ycu Wycnyc = ycyceycnyc y log .
Dimana Wij adalah bobot yang menentukan pentingnya kata atau term, tfij adalah frekuensi term yaitu berapa kali term muncul, dan ndf adalah frekuensi dokumen total dari term dalam seluruh koleksi dokumen.
2 Bag Of Word (BoW) Teknik Bag of Word (BoW) digunakan untuk mengekstraksi fitur dari data teks .
Haluan ini mudah diimplementasikan dan dipahami selain merupakan metode paling sederhana untuk mengekstrak fitur dari data Teknik ini sangat cocok dan berguna untuk pemodelan bahasa dan klasifikasi teks.
Library AuCountVectorizerAy digunakan untuk mengimplementasikan BoW.
CountVectorizer menghitung kemunculan kata-kata dan membuat matriks database cadangan kata-kata .
BoW merupakan kumpulan kata atau fitur, dimana setiap fitur dikategorikan sebagai label yang menandakan kemunculan fitur yang dikategorikan Berikut representasi dari BoW.
yaAycuycO.
= .
c_1, yc.
, ycyce.
c_2, yc.
, .
, ycyce.
c_ycu, yc.
Dimana.
BoW.
adalah representasi vektor BoW untuk dokumen 'd', dan t_1, t_2, .
, t_n adalah kata-kata unik dalam kamus.
Pembagian Data Dalam memisahkan data, dilakukan pembagian ke dalam dua kelompok, yakni data latih dan data uji.
Ada tiga percobaan pemisahan data yang dilakukan, yaitu:
Pada percobaan pertama, data latih terdiri dari 70% dan data uji 30%.
Pada percobaan kedua, data latih terdiri dari 80% dan data uji 20%.
Sementara pada percobaan ketiga, data latih terdiri dari 90% dan data uji 10%.
1 Data Latih (Data Trainin.
Penggunaan data latih (Trainin.
untuk melatih sistem penelitian ini.
Data pelatihan digunakan untuk mengajar metode klasifikasi SVM sehingga dapat memahami cara mengategorikan komentar menjadi kategori negatif, netral, atau positif.
2 Data Uji (Data Testin.
Setelah model klasifikasi dilatih, selanjutnya adalah mengevaluasi kinerja metode tersebut menggunakan data pengujian.
Pengujian data bertujuan untuk menguji metode klasifikasi SVM dengan memasukkan data baru, lalu metode tersebut akan melakukan klasifikasi yang tepat terhadap data baru tersebut, mengategorikannya sebagai negatif, netral, atau positif.
Perbandingan Evaluasi Kernel SVM untuk Klasifikasi.
(Rabbani et al, 2.
ISSN(P): 2797-2313 | ISSN(E): 2775-8575 SMOTE Oversampling Penelitian ini menggunakan SMOTE oversampling untuk mengatasi ketidakseimbangan dalam penambangan data.
Dalam pembelajaran ketidakseimbangan kita memiliki satu atau lebih kelas dengan data yang sangat sedikit, dan beberapa lainnya dengan jumlah data yang cukup.
Pendekatan tingkat algoritma menyesuaikan spesifik algoritma klasifikasi untuk memperhitungkan masalah ketidakseimbangan .
Dataset yang tidak seimbang mengandung rasio kelas target yang tidak seimbang dan dapat menimbulkan masalah tugas klasifikasi karena model bisa terlalu cocok pada kelas mayoritas .
Untuk mengatasi masalah ini, dilakukan teknik pengambilan sampel ulang data, yaitu SMOTE oversampling.
SMOTE adalah metode oversampling paling populer yang diusulkan untuk meningkatkan oversampling acak.
Ada beberapa variasi SMOTE yang bertujuan untuk memerangi kelemahan algoritma asli .
Dalam penelitian ini, kami menyajikan analisis karakteristik distribusi sampel sintetis yang dihasilkan oleh SMOTE.
Ini membantu dalam mengevaluasi kualitas data, dalam arti seberapa baik data yang dihasilkan meniru distribusi dasar yang Klasifikasi Model Penelitian ini mencoba untuk menerapkan empat metode klasifikasi yang berbeda untuk menganalisis sentimen pada data tweet.
Dalam penelitian ini, algoritma klasifikasi yang diterapkan adalah Support Vector Machine (SVM) yang bertujuan untuk membandingkan dan mengevaluasi kinerja masing-masing metode dalam mengklasifikasikan sentimen tweet.
Metode SVM (Support Vector Machin.
mengandalkan vektor pendukung untuk memisahkan kelas dari data yang memiliki ciri-ciri yang berbeda-beda .
Konsep dasar dari algoritma SVM ini yaitu mencari hyperplane yang optimal.
Hyperplane merupakan fungsi yang berfungsi sebagai pemisah antar data .
SVM
mencoba untuk menemukan hyperplane yang paling baik memisahkan data tweet dengan sentimen negatif, netral, dan positif.
SVM terdapat dua jenis hyperplane yang penting: hyperplane linear dan hyperplane nonlinear.
Jika data dapat dipisahkan dengan sempurna oleh sebuah hyperplane linear.
SVM disebut sebagai SVM Namun, jika data tidak dapat dipisahkan dengan sempurna secara linear.
SVM menggunakan teknik transformasi kernel untuk mengubah data ke dalam dimensi fitur yang lebih tinggi, dimana hyperplane linier dapat dibuat.
Dengan menggunakan berbagai jenis fungsi kernel, seperti kernel linier, kernel polinomial atau kernel Gauss.
SVM dapat mengatasi data yang memiliki karakteristik non-linier dengan efisien.
Fungsi kernel adalah fungsi yang mengubah data ke dimensi yang lebih tinggi dengan tujuan meningkatkan struktur data sehingga mempermudah proses pemisahan .
Dalam hal ini, rumus umum untuk SVM linear dapat dituliskan sebagai berikut:
= ycycnyciycu .
ycu yc.
Di mana, f.
adalah fungsi prediksi, w adalah vektor normal hyperplane, x adalah vektor fitur input, dan b adalah bias atau intercept.
Pada penelitian ini, ada 3 kernel yang digunakan untuk mengatasi masalah klasifikasi, yaitu linear, polinomial dan Radial Basis Function (RBF).
Berikut adalah penjelasan tentang ketiga fungsi kernel tersebut beserta rumusnya:
Kernel Linear Kernel linear mengukur produk titik .
ot produc.
dari dua vektor input dalam ruang asli tanpa melakukan transformasi ke ruang fitur yang lebih tinggi.
cu, y.
= .
Kernel Polinomial Polinomial mengukur hubungan polinomial antara dua vektor input dalam ruang asli.
cu, y.
= .
cu, yc yc.
Kernel Radial Basis Function (RBF) Kernel RBF menggunakan fungsi Gaussian .
ikenal sebagai fungsi basis radia.
untuk mengukur kesamaan antara dua vektor input dalam ruang fitur.
cu, ycuA.
= yceycuycy (Oeyu.
cu, y.
A .
Dimana C adalah parameterCost, adalah parameter gamma, c adalah coefficient dan d adalah pangkat atau derajat polinomial.
Parameter gamma mengindikasikan kemiringan, yang merujuk pada perubahan output sehubungan dengan perubahan input.
Sementara itu, parameter coefficient mencerminkan titik MALCOM - Vol.
3 Iss.
2 October 2023, pp: 153-160 MALCOM-03.
: 153-160
dari model, sedangkan parameter pangkat atau derajat menggambarkan tingkat polinomial dari fungsi tersebut.
Evaluasi Model Diperlukan pengujian model untuk mengevaluasi kinerja dari metode Support Vector Machine (SVM).
Dalam penelitian dievaluasi menggunakan nilai akurasi.
Nilai akurasi adalah matrik evaluasi yang digunakan untuk mengukur seberapa baik model klasifikasi atau prediksi dapat memberikan hasil yang benar atau sesuai dengan data yang ada.
Akurasi menggambarkan persentase keberhasilan model dalam memprediksi kelas atau label yang tepat.
Mengukur sejauh mana model dapat mengklasifikasikan data dengan benar secara keseluruhan.
Dalam kata lain, akurasi menggambarkan persentase keberhasilan model dalam memprediksi kelas yang tepat.
Akurasi = .
aycycoycoycaEa ycEycyceyccycnycoycycn yaAyceycuycay.
cNycuycycayco yaycycoycoycaEa yaycaycyc.
HASIL DAN PEMBAHASAN Terdapat sebanyak 5000 data mentah yang dilabelkan menjadi 3 kategori yaitu, positif, negatif, dan Data mentah akan melalui preprocessing text terlebih dahulu agar data yang digunakan lebih akurat Langkah dalam preprocessing data yang dilakukan yaitu meliputi penghapusan redudansi data, link.
Username, karakter, mengubah ke huruf kecil, melakukan stopword, stemming, dan tokenisasi.
Tabel 1.
Hasil preprocessing text Tweets partai demokrat kadernya turun ke.
kasat lantas polres prabumulih akp terima audiensi driver ojol pemkab garut tola.
Cleaning partai demokrat instruksikan kadernya turun ke.
kasat lantas polres prabumulih akp terima audiensi driver ojol pemkab garut Stopword Removal partai demokrat kadernya turun jl.
kasat lantas polres prabumulih akp terima audiensi driver ojol pemkab garut tolak.
Lemmatization partai demokrat instruksi kader turun jln aksi.
kasat lantas polres prabumulih akp terima audiensi driver ojol pemkab garut Tokenizing .
artai, demokrat, instruksi, kader, turun, jl.
asat, lantas, polres, prabumulih, akp, muthe.
erima, audiensi, driver, ojol, pemkab, garut.
Setelah dilakukannya preprocessing text ternyata terdapat 1500 data bersih yang akan digunakan untuk diproses selanjutnya.
Sebelum itu, data yang sudah dibersihkan akan dihitung label sentimennya untuk mengetahui seberapa banyak sentimen publik terhadap kenaikkan harga BBM.
Gambar 2.
Hasil sentimen kenaikan harga BBM Gambar diatas menunjukkan bahwa ternyata pengguna Twitter dominan memberikan reaksi negatif terhadap kenaikan harga BBM.
Dalam penelitian ini selanjutnya akan menampilkan wordcloud untuk label dengan sentimen negatif.
Visualisasi pada gambar 3 menunjukkan kata-kata yang sering muncul dalam sentimen negatif.
Proses selanjutnya yaitu, mengimplementasikan data kedalam algoritma SVM dengan 3 kernelnya yaitu.
RBF.
Linear, dan Polynomial menggunakan splitting data 70:30, 80:30, dan 90:10.
Penelitian ini akan dilakukan menggunakan 2 metode pembobotan kata yaitu TF-IDF dan BoW.
Perbandingan Evaluasi Kernel SVM untuk Klasifikasi.
(Rabbani et al, 2.
ISSN(P): 2797-2313 | ISSN(E): 2775-8575 Gambar 3.
Visualisasi sentimen negatif menggunakan wordcloud Tabel 2.
Perbandingan hasil akurasi 3 kernel SVM menggunakan metode TF-IDF
TF-IDF
Splitting Data
Linier
0,82
0,83
0,85
70:30
80:20
90:10
Tanpa SMOTE
RBF
Polynomial 0,82 0,77 0,84 0,77 0,87 0,83 Linier
0,80
0,83
0,81
Menggunakan SMOTE
RBF
Polynomial 0,81 0,79 0,83 0,79 0,85 0,82 Tabel 2 diatas menunjukkan bahwa algoritma SVM kernel RBF tanpa SMOTE dengan splitting data 90:10 memiliki tingkat akurasi yang paling tinggi.
Sedangkan penambahan SMOTE pada algoritma SVM dalam kernel Polynomial dengan splitting data 70:30 dan 80:20 dengan metode pembobotan kata TF-IDF berhasil menaikkan nilai akurasi sebesar 2%.
Tabel 3.
Perbandingan hasil akurasi 3 kernel SVM menggunakan metode BoW
BoW
Splitting Data
70:30
80:20
90:10
Linier
0,79
0,79
0,77
Tanpa SMOTE
RBF
Polynomial 0,81 0,75 0,83 0,76 0,85 0,77 Linier
0,76
0,38
0,41
Menggunakan SMOTE
RBF
Polynomial 0,77 0,62 0,55 0,37 0,58 0,41 Tabel 3 menunjukkan penambahan SMOTE oversampling pada algoritma SVM dengan pembobotan kata BoW terbukti memiliki akurasi yang kurang bagus.
Dapat disimpulkan bahwa pembobotan kata menggunakan TF-IDF menggunakan dataset kenaikan harga BBM memiliki tingkat akurasi yang lebih baik dibandingkan menggunakan pembobotan kata BoW.
Pembobotan kata menggunakan TF-IDF dengan kernel RBF dan splitting data 90:20 memiliki tingkat akurasi terbaik yaitu sebesar 86,67%.
KESIMPULAN
Dari hasil penelitian yang telah dilakukan, dapat ditarik kesimpulan bahwa pengguna Twitter dominan memberikan reaksi negatif terhadap kenaikan harga bahan bakar minyak.
Dalam pengujian kernel RBF dalam algoritma SVM adalah kernel yang menghasilkan kinerja terbaik dibandingkan dengan kernel yang lain.
Penelitian ini juga membuktikan bahwa penggunaan pembobotan kata TF-IDF memiliki hasil akurasi terbaik dibandingkan dengan model pembobotan kata BoW.
Menggunakan SMOTE oversampling dalam pembobotan kata TF-IDF, kernel polynomial pada splitting data 70:30 dan 80:20 berhasil menaikkan hasil kinerja algoritma sebesar 2%.
REFERENSI