Matrik: Jurnal Manajemen.
Teknik Informatika, dan Rekayasa Komputer Vol.
No.
Juli 2022, pp.
653O666
ISSN: 2476-9843, accredited by Kemenristekdikti.
Decree No: 200/M/KPT/2020 DOI: 10.
30812/matrik.
Komparasi Ekstraksi Fitur dalam Klasifikasi Teks Multilabel Menggunakan Algoritma Machine Learning Comparison of Feature Extraction in Multilabel Text Classification Using Machine Learning Algorithm Lusiana Efrizoni1 .
Sarjon Defit2 .
Muhammad Tajuddin3 .
Anthony Anggrawan4 STMIK Amik Riau.
Indonesia Universitas Putra Indonesia YPTK Padang.
Indonesia Universitas Bumigora.
Indonesia
Informasi Artikel
ABSTRAK
Genesis Artikel:
Ektraksi fitur dan algoritma klasifikasi teks merupakan bagian penting dari pekerjaan klasifikasi teks, yang memiliki dampak langsung pada efek klasifikasi teks.
Algoritma machine learning tradisional seperti NaOve Bayes.
Support Vector Machines.
Decision Tree.
K-Nearest Neighbors.
Random Forest.
Logistic Regression telah berhasil dalam melakukan klasifikasi teks dengan ektraksi fitur i.
Bag of Word (BoW).
Term Frequency-Inverse Document Frequency (TF-IDF).
Documents to Vector (Doc2Ve.
Word to Vector .
ord2Ve.
Namun, bagaimana menggunakan vektor kata untuk merepresentasikan teks pada klasifikasi teks menggunakan algoritma machine learning dengan lebih baik selalu menjadi poin yang sulit dalam pekerjaan Natural Language Processing saat ini.
Makalah ini bertujuan untuk membandingkan kinerja dari ekstraksi fitur seperti BoW.
TF-IDF.
Doc2Vec dan Word2Vec dalam melakukan klasifikasi teks dengan menggunakan algoritma machine learning.
Dataset yang digunakan sebanyak 1000 sample yang berasal dari tribunnews.
com dengan split data 50:50, 70:30, 80:20 dan 90:10.
Hasil dari percobaan menunjukkan bahwa algoritma NaOve Bayes memiliki akurasi tertinggi dengan menggunakan ekstraksi fitur TF-IDF sebesar 87% dan BoW sebesar 83%.
Untuk ekstraksi fitur Doc2Vec, akurasi tertinggi pada algoritma SVM sebesar 81%.
Sedangkan ekstraksi fitur Word2Vec dengan algoritma machine learning .
NaOve Bayes.
Support Vector Machines.
Decision Tree.
K-Nearest Neighbors.
Random Forest.
Logistic Regressio.
memiliki akurasi model dibawah 50%.
Hal ini menyatakan, bahwa Word2Vec kurang optimal digunakan bersama algoritma machine learning, khususnya pada dataset tribunnews.
Diterima, 08 April 2022 Direvisi, 11 Mei 2022 Disetujui, 06 Juli 2022 Kata Kunci:
Ektraksi Fitur
Klasifikasi Teks Multilabel
Machine Learning Perbandingan Kinerja Model
ABSTRACT
Keywords:
Feature Extraction Machine Learning Model Performance Comparison Text Classification Multilabel Feature extraction and text classification algorithms are an important part of text classification work, which has a direct impact on the text classification effect.
Traditional machine learning algorithms such as NaOve Bayes.
Support Vector Machines.
Decision Tree.
K-Nearest Neighbors.
Random Forest.
Logistic Regression have succeeded in classifying text with feature extraction i.
Bag of Word (BoW).
Term Frequency-Inverse Document Frequency (TF-IDF).
Documents to Vector (Doc2Ve.
Word to Vector .
ord2Ve.
However, how to use word vectors to represent text in text classification using machine learning algorithms better has always been a difficult point in Natural Language Processing work nowadays.
This paper aims to compare the performance of feature extraction such as BoW.
TF-IDF.
Doc2Vec and Word2Vec in performing text classification using machine learning algorithms.
The dataset used is 1000 samples from tribunnews.
com with split data 50:50, 70:30, 80:20 and 90:10.
The results of the experiment show that the NaOve Bayes algorithm has the highest accuracy using TF-IDF feature extraction of 87% and BoW of 83%.
For Doc2Vec feature extraction, the highest accuracy in the SVM algorithm is 81%.
Meanwhile.
Word2Vec feature extraction with machine learning algorithms .
NaOve Bayes.
Support Vector Machines.
Decision Tree.
K-Nearest Neighbors.
Random Forest.
Logistic Regressio.
has a model accuracy below 50%.
This means that Word2Vec is not optimal for use with machine learning algorithms, especially in the tribunnews.
com dataset.
This is an open access article under the CC BY-SA license.
Penulis Korespondensi:
Lusiana Efrizoni.
Program Studi Teknik Informatika.
STMIK Amik Riau,Indonesia Email: lusiana@stmik-amik-riau.
Journal homepage: https://journal.
id/index.
php/matrik PENDAHULUAN ISSN: 2476-9843 Ekstraksi fitur (Feature Extractio.
dikenal juga dengan istilah penyisipan kata (Word Embeddin.
Salah satu topik menarik dalam penelitian bidang Pemrosesan Bahasa Alami (Natural Language Processin.
adalah Feature Extraction atau Word Embedding .
Word embedding mulai dikembangkan sekitar tahun 2000 .
, .
Cara kerja word embedding memetakan setiap kata dalam dokumen ke dalam dense vector, dimana sebuah vector merepresentasikan proyeksi kata di dalam ruang vector .
, .
Posisi kata tersebut dipelajari dari teks atau berdasarkan kata-kata disekitarnya.
Word embedding dapat menangkap makna semantik dan sintaktik kata.
Word embedding juga dapat digunakan untuk menghitung kesamaan kata, seperti information retrieval .
Dalam artikel ini, model word embedding yang diuji coba adalah Bag of Word (BoW).
Term Frequency Inverse Document Frequency (TF-IDF).
Doc2Vec dan Word2Vec.
Peningkatan data tekstual online telah menjadi hal yang sulit bagi pengguna untuk mengakses konten yang diminati sehingga perlu untuk mengklasifikasikan atau mengkategorikan teks agar mudah diakses .
Sering sekali ditemukan judul artikel berita dengan satu topik saja namun di dalam artikel tersebut bisa saja mengandung satu atau lebih topik berita.
Berita atau informasi di media sosial, memungkinkan terjadinya kesalahan dalam melakukan pengelompokkan berita, seperti suatu berita dikategorikan pada kategori infotainments.
Sedangkan berdasarkan isi berita atau kata- kata yang terkandung di dalamnya, berita tersebut seharusnya dikategorikan pada kategori Klasifikasi teks otomatis dikembangkan karena pekerjaan manual tidak lagi efektif.
Jika dilakukan secara otomatis, orang tidak akan diminta untuk berpikir tentang kategori mana teks itu berada .
Kemampuan untuk mengklasifikasikan teks .
ke dalam kategori tertentu sangat membantu untuk menghadapi informasi yang berlebihan .
Klasifikasi teks dalam Natural Language Processing (NLP) sudah diterapkan pada aplikasi seperti indexing .
, ranking .
, sentiment analysis .
, retrieval information .
, dan klasifikasi dokumen .
Pelabelan dokumen baru sesuai dengan kategori yang benar, tergantung pada banyaknya dokumen berlabel yang ada untuk referensi .
Penelitian klasifikasi teks menggunakan algoritma machine learning seperti k-Nearest Neighbors .
, .
NaOve Bayes .
Ae.
Support Vector Machine .
, 20, .
Logistic Regression .
dan K-Means .
, .
sudah banyak dilakukan oleh peneliti sebelumnya.
NaOve Bayes Classifiers (NBC).
Support Vector Machine (SVM) dan k-Nearest Neighbors (KNN) merupakan classifier yang paling banyak digunakan untuk menyelesaikan masalah Document Classification dan keduanya memberikan hasil yang cukup menjanjikan.
Penelitian yang dilakukan oleh Rini Wongso dkk.
, menunjukkan bahwa kombinasi TF-IDF dan Multinomial NaOve Bayes Classifier memberikan hasil terbaik dibanding SVM dengan precision sebesar 9841519, recall sebesar 0.
98400 dan accuracy 85%.
Penelitian yang dilakukan oleh Azam dkk.
menujukkan kinerja KNN 7% lebih baik dibandingkan dengan NBC.
Sementara, penelitian yang dilakukan oleh Gunawan .
melakukan klasifikasi teks menggunakan SVM pada dokumen berita CNN Indonesia berdasarkan lima kategori (Politik.
Ekonomi.
Teknologi.
Olahraga, dan Hibura.
, accuracy yang diperoleh 90%.
Dari penelitian sebelumnya, maksimal algoritma yang dibandingkan dalam melakukan klasifikasi teks atau dokumen adalah tiga algoritma dengan feature extraction maksimal dua.
Sedangkan pada penelitian ini membandingkan enam algoritma Machine Learning dengan empat feature extraction .
e BOW.
TF-IDF.
Doc2Vec dan Word2Ve.
Pada penelitian sebelumnya, komparasi yang dilakukan maksimum pada dua algoritma machine learning yang dikombinasikan dengan satu atau dua model feature extraction atau word embedding.
Sementara pada penelitian ini, melakukan komprasi dari enam algoritma machine learning yang digunakan pada klasifikasi teks multilabel seperti NaOve Bayes.
Support Vector Machines (SVM).
Decision Tree.
K-Nearest Neighbors (KNN).
Random Forest.
Logistic Regression dikombinasikan dengan empat model feature extraction .
BoW.
TF-IDf.
Doc2Vec dan Word2Ve.
Enam algoritma machine learning ini merupakan algoritma yang popular digunakan dalam klasifikasi teks, meskipun masih memiliki keterbatasan dalam kasus pelatihan dataset skala besar .
Kombinasi feature extraction dan algoritma klasifikasi teks merupakan bagian dari pekerjaan klasifikasi teks, yang memiliki dampak langsung pada kalsifikasi teks.
Namun, bagaimana menggunakan vector kata .
eature extractio.
untuk menyajikan teks lebih baik dalam algoritma machine learning tradisional, selalu menjadi poin yang sulit dalam NLP .
Penelitian ini bertujuan, untuk memilih algoritma machine learning yang paling sesuai dengan empat teknik fitur ekstraksi yang digunakan melalui proses komparasi.
Hasil komparasi akan menentukan algoritma yang memiliki kinerja optimal dalam melakukan klasifikasi teks multilabel pada artikel berita bahasa Indonesia dengan beberapa split data yang berbeda, khususnya pada dataset tribunnews.
Penelitian terkait komparasi telah dilakukan oleh beberapa peneliti sebelumnya seperti komparasi terhadap metode word embedding .
LSA.
Word2Vec and GloV.
dalam segmentasi topic pada bahasa Arabic dan English .
analisa komparasi dari model word embedding seperti Continuous bag of words.
Skip gram.
Glove(Global Vectors for word representatio.
and Hellinger PCA (Principal Component Analysi.
untuk representasi yang efisien dan ekspresif pada kesamaan kontekstual .
perbandingan representasi berbasis kata dan berbasis konteks .
Word2Vec dan GloV.
untuk klasifikasi masalah dalam informatika kesehatan .
survei terhadap algoritma klasifikasi teks .
dan penelitian yang membandingkan tiga algoritma machine learning NaOve Bayes Classifier.
K-Nearest Neighbor (KNN) dan Decision Tree untuk menganalisis sentimen pada interaksi netizen dan pemerintah .
Selain itu, seleksi fitur dapat digunakan untuk mengklasifikasi aroma jenis kopi arabika Gayo .
Organisasi penulisan dari manuskrip ini adalah bagian ke dua tentang metodologi penelitian yang menjelaskan secara ringkas metode yang digunakan dalam penelitian.
Pada bagian ke tiga menjelaskan hasil dan analisis dari percobaan yang dilakukan pada klasifikasi teks multilabel menggunakan enam algoritma machine learning dengan masing-masing empat fitur ekstraksi.
Pada bagian ke tiga juga menyajikan hasil komparasi yang diperoleh dari percobaan yang dilakukan dengan beberapa split data yang berbeda.
Kesimpulan dari penelitian disajikan pada bagian ke empat dari manuscript ini.
METODE PENELITIAN
Secara garis besar, langkah-langkah dalam penelitian digambarkan dalam kerangka penelitian.
Kerangka penelitian yang disajikan pada Gambar 1 terdiri dari persiapan data, preprocessing, word embedding, klasifikasi teks, confusion matrix, analisa hasil dan penarikan Matrik: Jurnal Managemen,Teknik Informatika, dan Rekayasa Komputer.
Vol.
No.
Juli 2022: 653 Ae 666 Matrik: Jurnal Managemen,Teknik Informatika, dan Rekayasa Komputer Gambar 1.
Kerangka penelitian Persiapan Data Persiapan data merupakan tahap pengumpulan data.
Dataset teks yang digunakan berasal dari tribunnews.
com dengan lima kategori berita .
News.
Business.
Sport.
Economy.
Automotiv.
Dataset dikumpulkan menggunakan web scraping dan disimpan dengan format comma separated values (.
Dataset dibagi menjadi data training, data validation dan data testing dengan banyaknya dataset 1000 Dataset di-split ke dalam empat komposisi yaitu: 50:50 .
% data training dan 50% data testin.
, 70:30 .
% data training dan 30% data testin.
, 80:20 .
% data training dan 20% data testin.
, dan 90:10 .
% data training dan 10% data testin.
Dataset telah dilabeli sebelumnya dengan salah satu dari 5 kategori, yaitu: News (Class index .
Business (Class Index .
Sport (Class Index .
Economy (Class Index .
dan Automotive (Class Index .
Ke lima .
kategori menjadi class index dalam proses klasifikasi.
Dataset terdiri dari 1000 sample, dan masing-masing Class Index terdapat 200 sample/instances.
Dataset yang digunakan dan komposisi masingmasing Class Index disajikan pada Gambar 2.
Gambar 2.
Komposisi Dataset berdasarkan Class Index Preprocessing Pre-processing berguna untuk mengubah data teks yang tidak terstruktur menjadi data yang terstruktur .
Proses preprocessing yang akan dilakukan pada penelitian meliputi lima tahapan yaitu case folding, cleaning, tokenizing, filtering dan stemming.
Case folding merupakan tahapan awal pada preprocessing, bertujuan untuk mengkonversi keseluruhan teks dalam dokumen menjadi suatu bentuk standar .
uruf kecil atau lowercas.
Hasil dari proses case folding disajikan pada Tabel 1.
Tabel 1.
Hasil Case Folding Sebelum Case Folding Kasus positif virus Corona pada 24 April sebanyak 8.
orang dan Jumlah pasien sembuh Corona di RI ada 1.
orang dan meninggal 689 orang Hasil Case Folding kasus positif virus corona pada 24 april sebanyak 211 orang.
jumlah pasien sembuh corona di ri ada 002 orang dan meninggal 689 orang Komparasi Ekstraksi Fitur .
(Lusiana Efrizon.
ISSN: 2476-9843 Cleaning merupakan proses pembersihan kata dengan menghilangkan angka, pembatas kata seperti koma (,), titik (.
), dan tanda baca Pembersihan kata bertujuan untuk mengurangi noise .
Hasil proses cleaning disajikan pada Tabel 2.
Tabel 2.
Hasil Cleaning Sebelum Cleaning kasus positif virus corona pada 24 april sebanyak 8.
jumlah pasien sembuh corona di ri ada 1.
002 orang dan meninggal 689 orang Hasil Cleaning kasus positif virus corona pada april sebanyak orang.
jumlah pasien sembuh corona di ri ada orang dan meninggal orang Tokenizing adalah pemotongan string input tiap kata penyusunnya.
Pada tahap ini, karakter-karakter tertentu seperti tanda baca dihilangkan dan karakter spasi digunakan sebagai delimiter untuk memotong kalimat menjadi kumpulan kata.
Hasil Tokenizing disajikan pada Tabel 3.
Tabel 3.
Hasil Tokenizing Sebelum Tokenizing kasus positif virus corona pada april sebanyak orang.
jumlah pasien sembuh corona di ri ada orang dan meninggal orang Hasil Tokenizing [AosebelumnyaAo.
AokasusAo.
AopositifAo.
AovirusAo.
AocoronaAo.
AopadaAo.
AoaprilAo.
AosebanyakAo.
AoorangAo.
AojumlahAo.
AopasienAo.
AosembuhAo.
AocoronaAo.
AodiAo.
AoriAo.
AoadaAo.
AoorangAo.
AodanAo.
AomeninggalAo.
AoorangA.
Filtering adalah proses membuang kata yang tidak memilki makna atau tidak penting.
Hasil proses Filtering disajikan pada Tabel 4.
Tabel 4.
Pembagian data untuk Training dan Testing Sebelum Filtering [AosebelumnyaAo.
AokasusAo.
AopositifAo.
AovirusAo.
AocoronaAo.
AopadaAo.
AoaprilAo.
AosebanyakAo.
AoorangAo.
AojumlahAo.
AopasienAo.
AosembuhAo.
AocoronaAo.
AodiAo.
AoriAo.
AoadaAo.
AoorangAo.
AodanAo.
AomeninggalAo.
AoorangA.
Hasil Filtering [AoorangAo.
AocoronaAo.
AopositifAo.
AovirusAo.
AoaprilAo.
AopasienAo.
AosembuhAo.
AoriAo.
AomeninggalA.
Stemming merupakan proses untuk mencari stem .
ata dasa.
dari kata hasil stopword removal .
Hasil proses Stemming disajikan pada Tabel 5.
Tabel 5.
Hasil Stemming Sebelum Stemming [AoorangAo.
AocoronaAo.
AopositifAo.
AovirusAo.
AoaprilAo.
AopasienAo.
AosembuhAo.
AoriAo.
AomeninggalA.
Hasil Stemming [Aoorang : orangAo.
Aocorona : coronaAo.
Aopositif : positifAo.
Aovirus : virusAo.
Aoapril : aprilAo.
Aopasien : pasienAo.
Aosembuh : sembuhAo.
Aori : riAo.
Aomeninggal : tinggalA.
Word Embedding Word embedding atau feature extraction digunakan untuk memetakan kata ke vektor numerik yang dapat digunakan dalam komputasi.
One-hot encoding adalah cara paling sederhana untuk mengkarakterisasi teks, dengan menggunakan panjang vektor untuk merepresentasikan sebuah kata.
Posisi kata tersebut dipelajari dari teks atau berdasarkan kata-kata disekitarnya.
Word embedding dapat menangkap makna semantik dan sintaktik kata.
Model word embedding yang digunakan dalam penelitian ini adalah BoW.
TF-IDF.
Doc2Vec, dan Word2Vec.
Ekstraksi fitur TF-IDF menggunakan bantuan library Python3 yaitu TfidfVectorizer.
Hasil dari TF-IDF diperoleh dari 1000 jumlah reviews memiliki 12387 kata.
BoW menggunakan bantuan library Python3 BoW Vector.
Matrik yang dihasilkan dari proses BoW, 1000 rows x 16326 columns.
Ekstraksi fitur Word2Vec, setiap kata yang ada pada sample/instances diproyeksikan ke suatu ruang dan membuat kata-kata dengan makna yang mirip akan berdekatan satu sama lain dalam ruang tersebut.
Klasifikasi Teks Klasifikasi teks merupakan proses pengklasifikasian teks dengan algoritma machine learning .
NaOve Bayes.
Support Vector Machines (SVM).
Decision Tree.
K-Nearest Neighbors (KNN).
Random Forest.
Logistic Regressio.
dengan fitur word embedding .
BoW.
TF-IDF.
Doc2Vec dan Word2Ve.
Tahap ini menjelaskan mengenai proses pelatihan, validasi, dan pengujian pada klasifikasi teks.
Penggunaan word embedding dijadikan fitur masukan dalam klasifikasi teks dengan melakukan percobaan dengan beberapa split data yang Split data 50:50 .
% untuk data training dan 50% untuk data testin.
, split data 70:30 .
% untuk data training dan 30% untuk data testin.
, split data 80:20 .
% untuk data training dan 20% untuk data testin.
dan split data 90:10 .
% untuk data training dan 10% untuk data testin.
Matrik: Jurnal Managemen,Teknik Informatika, dan Rekayasa Komputer.
Vol.
No.
Juli 2022: 653 Ae 666 Matrik: Jurnal Managemen,Teknik Informatika, dan Rekayasa Komputer Confusion Matrix Confusion matrix multilabel terdiri dari lima kelas .
, menghitung nilai akurasi .
menggunakan persamaan 1, menghitung presisi .
menggunakan persamaan 2, menghitung recall menggunakan persamaan 3 dan f1-score menggunakan persamaan 4 dengan menghitung True Positive (TP.
False Negative (FN.
False Positive (FP.
, dan True Negative (TN.
, masing-masing kelas dan dibagi dengan jumlah kelas .
li=1 Akurasi = T Pi T Ni T Pi F Ni T Ni F Pi
O 100%
P resisi = Sigmali=1 T Pi
O 100%
li=1 (F Pi T Pi ) .
Recall = Sigmali=1 T Pi
O 100%
i=1 (T Pi F Ni ) .
2 O P resisi O Recall P resisi Recall .
F 1score = Analisa Hasil Analisa hasil menjelaskan hasil dan analisa pengujian, dalam pengklasifikasian teks dalam mendapatkan model yang optimal.
Selain itu, dalam tahap ini dilakukan proses analisis sistem interpretasi dengan mengukur accuracy, precision, recall dan F1-score.
HASIL DAN ANALISIS
Komparasi terhadap empat feature extraction .
BoW.
TF-IDF.
Doc2Vec dan Word2Ve.
dengan enam algoritma machine learning .
NB.
SVM.
KNN.
DT.
RF dan LR), akan disajikan pada bagian ini.
Kemudian dikategorikan dalam beberapa kategori yang ditunjukkan pada Tabel 6.
Tabel 6.
Kategori Model Berdasarkan Nilai Kurva ROC .
Nilai Accuracy Kategori Excellent Classification Good Classification Fair Classification Poor Classification Failure Classification Dataset Dataset yang digunakan, diambil dari tribunnews.
com pada tahun 2020-2021.
Dataset merupakan sekumpulan dokumen berita dalam bentuk teks terdiri dari 1000 sample/instances/records disimpan dalam file tribunnewsE.
Sample berisi kata-kata dalam bahasa Indonesia dengan kisaran jumlah kata dalam satu sample/instances antara 300-500 kata per sample/instances nya.
File tribunneswsE.
ditampilkan, dalam bentuk dataframe melalui library python import pandas as np, hasilnya disajikan pada Gambar 3.
Gambar 3.
Dataset Tribunnews.
Komparasi Ekstraksi Fitur .
(Lusiana Efrizon.
ISSN: 2476-9843 Preprocessing Sebagai langkah awal dari proses klasifikasi teks multilabel adalah tahap text preprocessing, dimana tiap dataset akan disiapkan terlebih dahulu sebelum menerapkan feature extraction.
Tahapan yang digunakan pada text preprocessing, yaitu: case folding, stopwords removal, stemming, dan tokenization.
Secara garis besar, langkah yang dilakukan untuk tiap dokumennya adalah:
Membaca isi file dan menyimpannya ke dalam variable Melakukan preprocessing terhadap variable tersebut Menyimpan isi variable ke dalam file kembali Hasil dari proses preprocessing ini adalah sekumpulan dataset yang telah bersih.
Hasil dari preprocessing ini adalah sekumpulan dataset yang telah bersih.
Penggabungan hasil text preprocessing disajikan pada Gambar 4.
Gambar 4.
Hasil penggabungan text preprocessing Akurasi Model Klasifikasi Teks Setelah feature extraction atau word embedding, dilakukan klasifikasi dengan menggunakan algoritma machine learning, seperti:
NaOve Bayes (NB).
Support Vector Machine (SVM).
Decision Tree (DT).
K-Nearest Neighbors (KNN).
Random Forest (RF), dan Logistic Regression (LR).
Selanjutnya, akurasi dari masing-masing model dibandingkan satu dengan yang lainnya.
Akurasi menggambarkan seberapa besar tingkat akurat model yang telah dibuat dapat mengklasifikasi data dengan benar.
Akurasi didapatkan dari perhitungan rasio prediksi benar dengan keseluruhan data.
Berikut merupakan hasil akurasi model dari pelatihan dan pengujian klasifikasi teks dengan ekstraksi fitur .
eature extractio.
yang berbeda TF-IDF Tabel 7 menyajikan nilai akurasi dari algoritma machine learning dengan ekstraksi fitur TF-IDF.
Algoritma NaOve Bayes, akurasi tertinggi terdapat pada split data 90:10 .
% data training dan 10% data testin.
sebesar 80% .
Algoritma SVM, akurasi tertinggi terdapat pada split data 90:10, sebesar 86% .
Algoritma Decision Tree, akurasi model tertinggi pada split data 80:20 dan 90:10, sebesar 69% .
Algoritma KNN, model yang memiliki akurasi tertinggi terdapat pada split data 80:20 dan 90:10 sebesar 81% .
Algoritma Random Forest, akurasi tertinggi ada pada split data 90:10 sebesar 81% .
Sedangkan algoritma Logistic Regression, akurasi tertinggi terdapat pada split data 90:10 sebesar 85% .
Dari keseluruhan model klasifikasi teks berdasarkan kategori berita dengan menggunakan ekstraksi fitur TF-IDF, algoritma machine learning yang memiliki akurasi tertinggi adalah NaOve Bayes pada split data 90:10 sebesar 87%.
Penerapan metode NaOve Bayes Classifier dalam klasifikasi berita .
memiliki akurasi yang baik terbukti pada data uji yang bersumber dari situs web .
menghasilkan nilai akurasi dengan persentase yang tinggi yaitu 87% untuk data training yang besar .
Akurasi semakin tinggi dengan meningkatnya data training yang digunakan dalam pembelajaran dengan perbandingan data training dan data testing dengan split data 90:10.
Tabel 7.
Akurasi algoritma machine learning dengan TF-IDF
Split Data
50:50
70:30
80:20
90:10
NaOve Bayes SVM Algoritma Machine Learning TF-IDF Decision Tree KNN Random Forest Logistic Regression BoW Tabel 8 menyajikan hasil akurasi model klasifikasi teks menggunakan algoritma machine learning .
NaOve Bayes.
SVM.
Decision Tree.
KNN.
Random Forest dan Logistic Regressio.
dengan ekstraksi fitur BoW.
Berdasarkan nilai yang ada pada Tabel 2, algoritma NaOve Bayes memiliki akurasi tertinggi pada split data 70:30 sebesar 83% .
Algoritma SVM, akurasi tertinggi pada split data 70:30 3% .
Algoritma Decision Tree, akurasi tertinggi pada split data 80:20 sebesar 67% .
Algoritma KNN, akurasi tertinggi pada split data 70:30 sebesar 57.
67% .
Algoritma Random Forest, akurasi tertinggi pada split data 80:20 sebesar 80% .
Sedangkan algoritma Logistic Regression, akurasi tertinggi pada split data 80:20 dan 90:10 sebesar 82%.
Dari keseluruhan model Matrik: Jurnal Managemen,Teknik Informatika, dan Rekayasa Komputer.
Vol.
No.
Juli 2022: 653 Ae 666 Matrik: Jurnal Managemen,Teknik Informatika, dan Rekayasa Komputer klasifikasi teks menggunakan ekstraksi fitur BoW dengan beberapa split data yang berbeda, algoritma yang memiliki akurasi tertinggi adalah NaOve Bayes pada split data 70:30 sebesar 83%.
Tabel 8.
Akurasi algoritma machine learning dengan BoW
Split Data
50:50
70:30
80:20
90:10
NaOve Bayes SVM
Algoritma Machine Learning BoW
Decision Tree
KNN
Random Forest Logistic Regression Doc2Vec Tabel 9 menyajikan hasil akurasi model klasifikasi teks menggunakan algoritma machine learning .
NaOve Bayes.
SVM.
Decision Tree.
KNN.
Random Forest dan Logistic Regressio.
dengan ekstraksi fitur Doc2Vec.
Algoritma NaOve Bayes memiliki akurasi tertinggi pada split data 90:10 sebesar 70%.
Algoritma SVM memiliki akurasi tertinggi pada split data 90:10 sebesar 81% .
Algoritma Decision Tree, akurasi tertinggi pada split data 90:10 sebesar 78%.
Algoritma KNN, akurasi tertinggi pada split data 80:20 sebesar 75% .
Algoritma Random Forest, akurasi tertinggi pada split data 90:10 sebesar 78% .
Algoritma Logistic Regression, akurasi tertinggi pada split data 90:10 sebesar 76% .
Dari keseluruhan model klasifikasi teks pada kategori berita menggunakan ekstraksi fitur Doc2Vec, algoritma machine learning yang memiliki akurasi tertinggi adalah SVM pada split data 90:10 sebesar 81%.
Tabel 9.
Akurasi algoritma machine learning dengan Doc2Vec
Split Data
50:50
70:30
80:20
90:10
NaOve Bayes SVM Algoritma Machine Learning Doc2Vec Decision Tree KNN Random Forest Logistic Regression Word2Vec Tabel 4 merupakan hasil akurasi model klasifikasi teks menggunakan algoritma Machine Learning .
NaOve Bayes.
SVM.
Decision Tree.
KNN.
Random Forest dan Logistic Regressio.
dengan ekstraksi fitur Word2Vec.
Dari data yang disajikan pada Tabel 10, akurasi model klasifikasi teks multilabel .
ategori berit.
dari ke enam algoritma machine learning menggunakan ekstraksi fitur Word2Vec tidak bekerja secara optimal.
Semua akurasi model berada dibawah 50%.
Ini menunjukkan bahwa ekstraksi fitur Word2Vec kurang optimal apabila digunakan dalam algoritma machine learning khususnya melakukan klasifikasi teks multilabel .
ategori berit.
pada dataset tribunnews dengan banyaknya 1000 sample.
Word2Vec dikembangkan merupakan salah satu aplikasi unsupervised learning menggunakan neural network yang terdiri dari sebuah hidden layer dan fully connected layer.
Rendahnya akurasi model, juga bisa disebabkan oleh jumlah dataset yang digunakan.
Karena dalam jumlah dataset yang sedikit Word2vec tidak dapat menangkap kemiripan makna kata dengan baik.
Tabel 10.
Akurasi algoritma machine learning dengan Word2Vec
Split Data
50:50
70:30
80:20
90:10
NaOve Bayes SVM Algoritma Machine Learning Word2Vec Decision Tree KNN Random Forest Logistic Regression Evaluasi dan Validasi Model Klasifikasi Teks Setelah dilakukan percobaan klasifikasi teks menggunakan algoritma machine learning dan ekstraksi fitur, maka dilakukan pengujian tingkat akurasi pada tiap-tiap model.
Evaluasi tingkat akurasi algoritma dilakukan dengan menggunakan confusion matrix dan kurva AUC (Area Under Curv.
AUC memiliki tingkat nilai diagnose, model dikatakan .
Excellent classification jika memiliki akurasi 0.
Good classification, jika memiliki akurasi 0.
90, .
Fair Classification, jika memiliki akurasi 0.
80, .
Poor classification, jika memiliki akurasi 0.
70, dan .
Failure Classification, jika memiliki akurasi 0.
Confusion matrix memberikan informasi perbandingan hasil klasifikasi yang dilakukan oleh model yang telah dilatih dengan hasil klasifikasi sebenarnya.
Karena keterbatasan space, confusion matrix dan hasil evaluasi kinerja proses pengujian yang ditampilkan pada bagian ini adalah algoritma machine learning yang memiliki akurasi tertinggi pada masing-masing ekstraksi fitur dari keseluruhan split data.
Komparasi Ekstraksi Fitur .
(Lusiana Efrizon.
ISSN: 2476-9843
TF-IDF
Dari percobaan yang dilakukan pada ke enam algoritma Machine Learning dengan fitur ekstraksi TF-IDF, diperoleh model akurasi pelatihan dengan good classification adalah NB sebesar 0.
87 pada split data 90:10.
SVM sebesar 0.
86 pada split data 90:10.
KNN sebesar 85 pada split data 90:10.
RF sebesar 0.
82 pada split data 90:10 dan LR sebesar 0.
85 pada split data 90:10.
Sedangkan algoritma DT dikategorikan sebagai model poor classification, karena memilki akurasi tertinggi sebesar 0.
69 pada split data dan 90:10.
Confusion matrix dari ke enam algoritma machine learning .
kurasi tertingg.
dan ekstraksi fitur TF-IDF dengan split data 90:10, disajikan pada Gambar Gambar 5 .
visualisasi confusion matrix dari NB.
Gambar 5 .
merupakan confusion matrix dari SVM.
Gambar 5 .
merupakan confusion matrix Decision Tree.
Gambar 5 .
merupakan confusion matrix KNN.
Gambar 5 .
visuaisasi confusion matrix Random Forest, dan Gambar 5 .
merupakan confusion matrix Logistic Regression.
Gambar 5.
Confusion Matrix Algoritma Machine Learning dan Ekstraksi Fitur AyTF-IDFAy Tabel 11.
Hasil Kinerja Evaluasi Pengujian Model dan Ekstraksi Fitur AyTF-IDFAy Model Label Precision News Business Sport Split data 90:10 Economy Automotive Akurasi Pengujian News SVM Business Sport Economy Split data 90:10 Automotive Akurasi Pengujian News Business Sport Economy Split data 90:10 Automotive Akurasi Pengujian Recall f1-score Support Model Label Precision News KNN Business Sport Split data 90:10 Economy Automotive Akurasi Pengujian News Business Sport Economy Split data 90:10 Automotive Akurasi Pengujian News Business Sport Economy Split data 90:10 Automotive Akurasi Pengujian Recall f1-score Support Dari Tabel 11, evaluasi pengujian yang dilakukan pada tiap-tiap model dengan split data 90:10, dimana 90% merupakan data training .
dan 10% data testing .
, nilai akurasi pengujian yang diperoleh adalah NB sebesar 0.
SVM sebesar 0.
DT sebesar 0.
KNN sebesar 0.
RF sebesar 0.
80 dan LR sebesar 0.
Hal ini menunjukkan bahwa akurasi model pada saat pelatihan dan pengujian tidak jauh berbeda, bahkan hampir sama.
Berdasarkan AUC, lima algoritma .
NB.
SVM.
KNN.
RF, dan LR) merupakan kategori good classification untuk melakukan klasifikasi berita khususnya pada tribunnews.
com, sedangkan DT merupakan poor Matrik: Jurnal Managemen,Teknik Informatika, dan Rekayasa Komputer.
Vol.
No.
Juli 2022: 653 Ae 666 Matrik: Jurnal Managemen,Teknik Informatika, dan Rekayasa Komputer BoW Nilai akurasi tertinggi pada saat pelatihan dari ke enam algoritma machine learning dan ekstraksi fitur BoW adalah NB pada split data 70:30 sebesar 0.
SVM pada split data 70:30 sebesar 0.
DT pada split data 80:20 sebesar 0.
KNN pada split data 70:30 677.
RF pada split data 80:20 sebesar 0.
80, dan LR pada split data 80:20 dan 90:10 sebesar 0.
Empat model (NB.
SVM.
RF dan LR) termasuk pada good classification berdasarkan AUC, sedangkan dua algoritma (KNN dan DT) merupakan poor classification.
Hasil confusion matrix klasifikasi teks dari ke enam algoritma machine learning dan ekstraksi fitur BoW dengan akurasi tertinggi, disajikan pada Gambar 6.
Gambar 6.
visualisasi confusion matrix dari NB.
Gambar 6.
merupakan confusion matrix dari SVM.
Gambar 6.
merupakan confusion matrix Decision Tree.
Gambar 6.
merupakan confusion matrix KNN.
Gambar 6.
visuaisasi confusion matrix Random Forest, dan Gambar 6.
merupakan confusion matrix Logistic Regression.
Gambar 6.
Confusion Matrix dari Algoritma Machine Learning dan Ekstraksi Fitur AyBoWAy Hasil confusion matrix yang disajikan pada Gambar 5, dari 1000 sample yang diberikan kepada enam algoritma machine learning .
NB.
SVM.
DT.
KNN.
RF, dan LR) dengan split data yang berbeda.
Akurasi tertinggi dari model pada saat pelatihan adalah NB dengan 70% data training .
dan 30% data testing .
Hasil confusion matrix-nya, seperti yang disajikan pada Gambar 5.
, menunjukkan bahwa aktualnya merupakan kategori News dan hasil prediksinya juga News sebanyak 50 sample.
kategori Business dan hasil prediksinya juga Business sebanyak 36 sample.
aktualnya Sport dan hasil prediksi juga Sport sebanyak 62 aktualnya Economy dan hasil prediksinya juga Economy sebanyak 43 sample.
nilai aktualnya Automative dan prediksinya juga Automotive adalah sebanyak 58 sample.
Evalusi kinerja model dari ke enam algoritma machine learning yang memilki nilai akurasi pelatihan tertinggi dengan ekstraksi fitur BoW disajikan pada Tabel 6.
Nilai accuracy, precision, recall dan f1-score yang disajikan pada Tabel 12, berasal dari nil TP.
TN.
FP dan FN dari confusion matrix yang ada pada Gambar 6.
Tabel 12.
Hasil Kinerja Evaluasi Pengujian Model dan Ekstraksi Fitur AyBoWAy Model Label Precision News Business Sport Split data 70:30 Economy Automotive Akurasi Pengujian News Business SVM Sport Economy Split data 70:30 Automotive Akurasi Pengujian News Business Sport Split data 80:20 Economy Automotive Akurasi Pengujian Recall f1-score Support Model Label Precision News Business KNN Sport Split data 70:30 Economy Automotive Akurasi Pengujian News Business Sport Split data 80:20 Economy Automotive Akurasi Pengujian News Business Sport Split data 80:20 Economy Automotive Akurasi Pengujian Recall f1-score Support Komparasi Ekstraksi Fitur .
(Lusiana Efrizon.
ISSN: 2476-9843 Tabel 6 merupakan hasil pengujian dari enam algoritma machine learning .
NB.
SVM.
KNN.
DT.
RF, dan LR) dengan ekstraksi fitur BoW.
Dari pengujian diperoleh nilai accuracy, precision, recall dan f1-score dari tiap-tiap model.
Akurasi pengujian dan akurasi pelatihan tidak berbeda.
Berdasarkan hasil diagnose dari AUC, algoritma NB.
SVM.
RF dan LR memilki nilai akurasi besar sama dengan (A=) 0.
80 yang merupakan kategori good classification untuk melakukan klasifikasi teks berdasarkan kategori berita dalam dataset tribunnews.
Algoritma DT memilki nilai akurasi pengujian sebesar 0.
67 dengan 80% data training atau 800 sample dan 20% data testing dari 1000 sample, termasuk pada poor classification untuk melakukan klasifikasi teks berdasarkan kategori berita pada dataset tribunnews.
Sedangkan algoritma KNN dengan akurasi pengujian sebesar 0.
58, berdasarkan AUC termasuk kategori failure classification.
Dari empat algoritma machine learning .
NB.
SVM.
RF dan LR), yang memiliki akurasi pengujian tertinggi adalah NB, artinya model NB BoW lebih baik dari model yang lain untuk melakukan klasifikasi teks sesuai dengan kategori berita yang ada pada dataset tribunnews.
Doc2Vec Nilai akurasi tertinggi dari percobaan yang dilakukan pada ke enam algoritma machine learning dan ekstraksi fitur Doc2Vecadalah NB pada split data 90:10 sebesar 0.
SVM pada split data 90:10 sebesar 0.
DT pada split data 90:10 sebesar 0.
KNN pada split data 80:20 sebesar 0.
RF pada split data 90:10 sebesar 0.
78, dan LR pada split data 90:10 sebesar 0.
Berdasarkan hasil analisa dengan AUC, hanya satu algoritma machine learning .
SVM) dengan ekstraksi fitur Doc2Vec yang masuk ke dalam kategori good Sedangkan lima algoritma machine learning .
NB.
DT.
KNN.
RF, dan LR) masuk ke dalam kategori disajikan poor Confusion matrix klasifikasi teks dari ke enam algoritma machine learning dan ekstraksi fitur BoW dengan akurasi tertinggi, disajikan pada Gambar 7.
Gambar 7.
visualisasi confusion matrix dari NB.
Gambar 7.
merupakan confusion matrix dari SVM.
Gambar 7.
merupakan confusion matrix Decision Tree.
Gambar 7.
merupakan confusion matrix KNN.
Gambar 7.
visualisasi confusion matrix Random Forest, dan Gambar 7.
merupakan confusion matrix Logistic Regression.
Gambar 7.
Confusion Matrix dari Algoritma Machine Learning dan Ekstraksi Fitur AyDoc2VecAy Hasil confusion matrix yang disajikan pada Gambar 6, terhadap 1000 sample yang diberikan kepada enam algoritma machine learning .
NB.
SVM.
DT.
KNN.
RF, dan LR) dengan beberapa split data yang berbeda.
Akurasi tertinggi dari model pada saat pelatihan adalah algoritma SVM dengan 90% data training .
dan 10% data testing .
Hasil confusion matrix-nya, seperti yang disajikan pada Gambar 6.
, menunjukkan bahwa aktualnya merupakan kategori News dan hasil prediksinya juga News sebanyak 13 sample.
aktualnya kategori Business dan hasil prediksinya juga Business sebanyak 14 sample.
aktualnya Sport dan hasi prediksi juga Sport sebanyak 18 sample.
aktualnya Economy dan hasil prediksinya juga Economy sebanyak 18 sample.
nilai aktualnya Automotive dan prediksinya juga Automotive adalah sebanyak 18 sample.
Evalusi kinerja model dari ke enam algoritma machine learning yang memiliki nilai akurasi pelatihan tertinggi dengan ekstraksi fitur Doc2Vec disajikan pada Tabel 13.
Nilai accuracy, precision, recall dan f1-score yang disajikan pada Tabel 6, berasal dari nilai TP.
TN.
FP dan FN dari confusion matrix yang ada pada Gambar 7.
Matrik: Jurnal Managemen,Teknik Informatika, dan Rekayasa Komputer.
Vol.
No.
Juli 2022: 653 Ae 666 Matrik: Jurnal Managemen,Teknik Informatika, dan Rekayasa Komputer Tabel 13.
Hasil Kinerja Evaluasi Pengujian Model dan Ekstraksi Fitur AyDoc2VecAy Model Label Precision News Business Sport Split data 90:10 Economy Automotive Akurasi Pengujian News Business SVM Sport Split data 90:10 Economy Automotive Akurasi Pengujian News Business Sport Split data 90:10 Economy Automotive Akurasi Pengujian Recall f1-score Support Model Label Precision News Business KNN Sport Split data 80:20 Economy Automotive Akurasi Pengujian News Business Sport Split data 90:10 Economy Automotive Akurasi Pengujian News Business Sport Split data 90:10 Economy Automotive Akurasi Pengujian Recall f1-score Support Tabel 13 merupakan hasil pengujian dari enam algoritma machine learning .
NB.
SVM.
KNN.
DT.
RF, dan LR) dengan ekstraksi fitur Doc2Vec.
Dari pengujian diperoleh nilai accuracy, precision, recall dan f1-score dari tiap tiap model.
Akurasi pengujian dan akurasi pelatihan sama.
Berdasarkan AUC, algoritma SVM memiliki nilai akurasi pengujian 0.
81 yang merupakan kategori good classification untuk melakukan klasifikasi teks berdasarkan kategori berita dalam dataset tribunnews.
Sedangkan algoritma NB,DT.
KNN.
RF, dan LR memiliki nilai akurasi pengujian antara 0.
70, termasuk pada poor classification untuk melakukan klasifikasi teks berdasarkan kategori berita pada dataset tribunnews.
Dari enam algoritma machine learning .
NB.
SVM.
DT.
KNN.
RF dan LR), yang memiliki akurasi pengujian tertinggi adalah SVM, artinya model SVM Doc2Vec lebih baik dari model yang lain untuk melakukan klasifikasi teks sesuai dengan kategori berita yang ada pada dataset tribunnews.
Word2Vec Nilai accuracy pelatihan tertinggi pada klasifikasi teks menggunakan algoritma machine learning .
NB.
SVM.
DT.
KNN.
RF dan LR) dan ekstraksi fitur Word2Vecadalah NB pada split data 90:10 sebesar 0.
SVM pada split data 90:10 sebesar 0.
DT pada split data 80:20 sebesar 0.
KNN pada split data 80:20 sebesar 0.
RF pada split data 90:10 sebesar 0.
33 dan LR pada split data 90:10 sebesar Hasil dari AUC, ke enam algoritma machine learning dengan ekstraksi fitur Word2Vec merupakan kategori failure classification.
Confusion matrix dari ke enam algoritma machine learning dengan ekstraksi fitur Word2Vec disajikan pada Gambar 8.
Gambar 8.
Confusion Matrix dari Algoritma Machine Learning dan Ekstraksi Fitur AyWord2VecAy Komparasi Ekstraksi Fitur .
(Lusiana Efrizon.
ISSN: 2476-9843 Hasil confusion matrix yang disajikan pada Gambar 8, terhadap 1000 sample yang diberikan kepada enam algoritma machine learning .
NB.
SVM.
DT.
KNN.
RF, dan LR) dengan beberapa split data yang berbeda.
Akurasi tertinggi dari model pada saat pelatihan adalah algoritma RF dengan 90% data training .
dan 10% data testing .
Hasil confusion matrixnya, seperti yang disajikan pada Gambar 7.
, menunjukkan bahwa aktualnya merupakan kategori News dan hasil prediksinya juga News sebanyak 10 sample.
aktualnya kategori Business dan hasil prediksinya juga Business sebanyak 5 sample.
aktualnya Sport dan hasi prediksi juga Sport sebanyak 7 sample.
aktualnya Economy dan hasil prediksinya juga Economy sebanyak 6 sample.
nilai aktualnya Automotive dan prediksinya juga Automotive adalah sebanyak 6 sample.
Evalusi kinerja model dari ke enam algoritma machine learning yang memiliki nilai akurasi pelatihan tertinggi dengan ekstraksi fitur Word2Vec disajikan pada Tabel 8.
Nilai accuracy, precision, recall dan f1-score yang disajikan pada Tabel 14, berasal dari nil TP.
TN.
FP dan FN dari confusion matrix yang ada pada Gambar 8.
Tabel 14.
Hasil Kinerja Evaluasi Pengujian Model dan Ekstraksi Fitur AyWord2VecAy Model Label Precision News Business Sport Split data 90:10 Economy Automotive Akurasi Pengujian News Business SVM Sport Split data 90:10 Economy Automotive Akurasi Pengujian News Business Sport Split data 80:20 Economy Automotive Akurasi Pengujian Recall f1-score Support Model Label Precision News Business KNN Sport Split data 80:20 Economy Automotive Akurasi Pengujian News Business Sport Split data 90:10 Economy Automotive Akurasi Pengujian News Business Sport Split data 90:10 Economy Automotive Akurasi Pengujian Recall f1-score Support Pengujian dari ke enam algoritma machine learning .
NB.
SVM.
KNN.
DT.
RF, dan LR) dengan ekstraksi fitur Doc2Vec, disajikan pada Tabel 14.
Dari pengujian diperoleh nilai accuracy, precision, recall dan f1-score dari tiap tiap model.
Akurasi pengujian dan akurasi pelatihan mendekati sama.
Berdasarkan AUC, ke enam algoritma machine learning .
NB.
SVM.
DT.
KNN.
RF, dan LR) memiliki nilai akurasi pengujian dibawah 0.
50 yang merupakan kategori failure classification untuk melakukan klasifikasi teks berdasarkan kategori berita dalam dataset tribunnews.
Nilai precision, recall dan f1-score dari ke enam model juga memiliki nilai jauh di bawah Hal ini menunjukkan bahwa algoritma machine learning dengan ekstraksi fitur Word2Vec tidak cocok untuk melakukan klasifikasi teks multilabel pada dataset tribunnews.
Penelitian yang sama melakukan komparasi terhadap feature extraction model .
e CBOW.
Skip-gram.
Glove, dan Hellinger-PCA).
GloVe adalah model terbaik dibandingkan dengan model lain .
Penelitian lain yang melakukan komparasi word embedding .
LSA,
Word2Vec dan Glov.
pada segmentasi topik .
, menyatakan bahwa LSA.
Word2Vec dan GloVe bergantung pada bahasa yang digunakan.
Word2Vec menyajikan representasi vektor kata terbaik namun itu tergantung pada pilihan model.
Penelitian terdahulu yang melakukan klasifikasi teks disajikan pada Tabel 15.
Tabel 15.
Perbandingan Penelitian Sebelumnya Author Stein.
Jaques, & Valiati .
Feature Extraction Glove.
Word2Vec, fastText Classifier CNN.
SVM.
XGBoost Result Accuracy=0.
Shao dkk .
Word2Vec.
BOW.
Doc2Vec
SVM
Accuracy=0.
Lilleberg dkk .
Word2Vec.
TF-IDF SVMperf Accuracy=0.
Gao dkk.
, .
Word2Vec LDA
CNN
Accuracy=0.
Yuan dkk .
Word2Vec TFIDF Att-LSTM Accuracy=0.
Wang dkk.
, .
Label Embedding Attentive Model (LEAM) CNN.
RNN Accuracy=0.
Sun & Chen .
LDA Word2vec THFW GCW
SVM
P=83.
R=85.
F1=84.
Xu dkk.
, .
LDA Skip gram Matrik: Jurnal Managemen,Teknik Informatika, dan Rekayasa Komputer.
Vol.
No.
Juli 2022: 653 Ae 666 Matrik: Jurnal Managemen,Teknik Informatika, dan Rekayasa Komputer KESIMPULAN Model klasifikasi teks berdasarkan kategori berita pada tribunnews.
com menggunakan empat feature extraction yang dikombinasikan dengan enam algoritma machine learning, dan perfoma model dievaluasi menggunakan confusion matrix dan kurva ROC berhasil dilakukan dan diperoleh accuracy yang bervariasi.
Feature extraction TF-IDF dikombinsikan dengan NB.
SVM.
KNN.
RF, dan LR pada split data 90:10 memperoleh akurasi di atas 80% dan berdasarkan kurva ROC merupakan kategori good classification.
Sedangkan DT merupakan poor classification dengan accuracy dibawah 70%.
Kombinasi BoW dan algoritma machine learning yang termasuk ke dalam good classification adalah NB.
SVM.
RF dan LR .
ccuracy di atas 80%).
kategori poor classification adalah DT .
ccuracy dibawah 70%), sedangkan failure classification adalah KNN .
ccuracy dibawah 60%).
Model NB BoW lebih baik dari model yang lain.
Untuk ekstraksi fitur Doc2Vec algoritma SVM merupakan good classification dan algoritma NB.
DT.
KNN.
RF, dan LR termasuk poor classification.
Dari enam algoritma machine learning yang memiliki akurasi pengujian tertinggi adalah SVM, artinya model SVM Doc2Vec lebih baik dari model yang lain.
Sedangkan untuk ekstraksi fitur Word2Vec, ke enam algoritma machine learning, memiliki nilai akurasi yang kurang dari 60 baik akurasi pelatihan, maupun akurasi pengujian.
Berdasarkan AUC, ke enam algoritma dikategorikan sebagai failure classification.
Hal ini menyatakan bahwa NB.
SVM.
DT.
KNN.
RF dan LR dengan ekstraksi fitur Word2Vec, telah gagal melakukan klasifikasi teks multilabel pada dataset tribunnews.
Kelemahan dari penelitian ini, accuracy model tidak satu pun kombinasi feature extraction dan algoritma machine learning memiliki nilai accuracy besar sama dengan 90% atau masuk kategori excellent classification berdasarkan kurva ROC.
Penelitian selanjutnya, disarankan menambahkan algoritma yang dapat meningkatkan accuracy model dan menguji kembali kombinasi feature extraction dan algoritma machine learning pada dataset public seperti AGNews dan BBC News.
REFERENSI