Matrik: Jurnal Manajemen.
Teknik Informatika, dan Rekayasa Komputer Vol.
No.
Juli 2022, pp.
607O618
ISSN: 2476-9843, accredited by Kemenristekdikti.
Decree No: 200/M/KPT/2020 DOI: 10.
30812/matrik.
Sentimen Ulasan Destinasi Wisata Pulau Bali Menggunakan Bidirectional Long Short Term Memory Sentiment of Balis Touristic Destination Reviews Using Bidirectional Long Short Term Memory Dwi Intan Afidah1 .
Dairoh2 .
Sharfina Febbi Handayani3 .
Riszki Wijayatun Pratiwi4 .
Susi Nurindah Sari5 Politeknik Harapan Bersama.
Indonesia
Informasi Artikel
ABSTRAK
Genesis Artikel:
Pemerintah dan pelaku industri pariwisata mengalami permasalahan dalam menentukan prioritas pengembangan suatu destinasi wisata.
Karena itu, diperlukan identifikasi objek wisata yang diminati namun banyak mendapat ulasan buruk melalui ulasan dari masyarakat yang tersebar di internet.
Penelitian ini bertujuan melakukan analisis sentimen terhadap ulasan objek wisata di Pulau Bali menggunakan Bi-LSTM dan Word2Vec, sehingga diperoleh model terbaik yang dapat digunakan untuk mengidentifikasi objek wisata potensial namun mendapat ulasan buruk.
Bi-LSTM merupakan deep learning yang menawarkan akurasi yang lebih baik daripada LSTM biasa.
Sedangkan Word2Vec merupakan pretraining yang dipilih karena dapat menangkap makna semantik teks.
Penelitian ini menggunakan data ulasan objek wisata di Pulau Bali yang berasal dari situs tripadvisor.
Penelitian dimulai dari pengumpulan data, perancangan alur program, preprocessing, pretraining Word2Vec, pembagian data uji dan data latih, pelatihan dan pengujian, serta evaluasi penentuan model terbaik.
Akurasi terbaik dihasilkan oleh kombisasi Word2Vec terdiri dari CBOW.
Hierarchical Softmax, dimensi 200.
Bi-LSTM dengan dropout sebesar 0,5 dan learning rate sebesar 0,0001.
Kombinasi tersebut menghasilkan akurasi tertinggi dari keseluruhan 108 kombinasi yaitu sebesar 96,86%, precission sebesar 96,53%.
Recall sebesar 96,31%.
F1 Measure sebesar 96,41%.
Akurasi yang baik tersebut membuktikan bahwa kombinasi parameter Bi-LSTM dan Word2Vec cocok digunakan untuk analisis sentimen ulasan objek wisata di Pulau Bali.
Diterima, 17 Agustus 2021 Direvisi, 24 Februari 2022 Disetujui, 27 Mei 2022 Kata Kunci:
Analisis Sentimen
Bidirectional Long Short Term
Memory Word2Vec
ABSTRACT
Keywords:
Sentiment Analysis Bidirectional Long Short Term Memory Word2Vec Government and tourism industry having problems in determining priorities for the development of a tourist destination.
Therefore, is necessary to identify the tourist attractions which are in great demand but received a lot of bad reviews through reviews from the public scattered on the internet.
This study aims to sentiment analysis on reviews of Bali Islands tourist attraction using the Bi-LSTM and Word2Vec, to obtain the best model which can be used to identify potential tourist attractions but received a lot of bad reviews.
Bi-LSTM is a deep learning method that show better accuracy than the regular LSTM.
Meanwhile.
Word2Vec as one of the pretraining methods was chosen because it can capture the semantic meaning of the text.
This research used data form reviews of Bali tourist attraction on tripadvisor.
The research flow included data collection, program flow design, preprocessing.
Word2Vec pretraining, data sharing into test and training data, training and testing processes, and evaluation of test results to determine the best model.
The best accuracy is produced by a combination namely Word2Vec consist of the CBOW.
Hierarchical Softmax, 200 dimensions.
Bi-LSTM specifically dropout 0.
5, and learning rate of 0.
This combination produces the highest accuracy of 108 combinations, which is 96,86%, precision is 96.
Recall is 96.
F1 Measure is 96.
This good accuracy proves that the combination of Bi-LSTM and Word2Vec parameters is suitable for sentiment analysis of Balis touristic destination reviews.
This is an open access article under the CC BY-SA license.
Penulis Korespondensi:
Dwi Intan Afidah.
Program Studi DIV Teknik Informatika.
Politeknik Harapan Bersama.
Email: dwiintanafidah@poltektegal.
Journal homepage: https://journal.
id/index.
php/matrik PENDAHULUAN ISSN: 2476-9843 Pariwisata memberikan sumbangsih terbesar terhadap peningkatan devisa pada setiap negara.
Indonesia termasuk salah satu negara yang mengandalkan pariwisata sebagai sumber utama devisa.
Pariwisata di Pulau Bali merupakan salah satu pariwisata di Indonesia yang memberikan kontribusi terbesar dalam mendatangkan devisa negara.
Pariwisata di Pulau Bali selain mendatangkan devisa, juga menjadi sumber pendapatan daerah .
Sebagai tujuan utama bagi wisatawan asing maupun wisatawan lokal.
Pulau Bali perlu mendapatkan perhatian khusus dari pemerintah.
Pengembangan pariwisata di Pulau Bali memegang peranan penting dalam persaingan ekonomi global karena Bali menjadi citra pariwisata Indonesia di kancah internasional.
Selain itu, pengelolaan pariwisata yang tepat di Pulau Bali terutama pada objek wisata baru yang potensial akan meningkatkan jumlah kedatangan wisatawan, sehingga dapat meningkatkan devisa negara dan pendapatan daerah.
Akan tetapi, pemerintah dan pelaku industri pariwisata mengalami permasalahan dalam menentukan prioritas pengembangan suatu destinasi wisata.
Karena itu, diperlukan identifikasi objek wisata yang diminati namun banyak mendapat ulasan buruk melalui ulasan dari masyarakat yang tersebar di internet.
Masyarakat pada umumnya akan mencari informasi sebagai bahan pertimbangan sebelum memilih tujuan wisata.
Saat ini masyarakat akan saling bertukar informasi mengenai objek wisata melalui media dari internet, seperti media sosial, travel blog, dan situs ulasan objek wisata.
Ulasan objek wisata yang dijadikan referensi wisatawan biasanya berasal dari opini, usulan, atau argumen wisatawan lain yang sudah mengunjungi suatu objek wisata.
Ulasan objek wisata tersebut dapat bersifat positif dan negatif .
Ulasan wisatawan ini menjadi penting karena dapat menjadi alat bantu baik bagi pemerintah dalam pengambilan keputusan untuk program pengembangan pariwisata maupun bagi wisatawan.
Penentuan sentimen pada ulasan objek wisata Pulau Bali dengan bantuan manusia memiliki kekurangan karena memerlukan ahli dan waktu pengolahan data lama, oleh sebab itu diperlukan algoritma dan program yang mampu melakukan analisis sentimen terhadap ulasan objek wisata Pulau Bali.
Analisis sentimen merupakan salah satu teknik Natural Language Processing (NLP) yang menganalisis pendapat, sikap, dan emosi terhadap suatu entitas yang berupa teks.
Analisis sentimen diperlukan sebagai bahan evaluasi yang selanjutnya menjadi dasar dalam pengambilan keputusan .
Kesulitan dalam analisis sentimen biasanya terjadi karena terlalu banyaknya data.
Deep learning dapat menyelesaikan masalah banyaknya data dengan menunjukkan kinerja yang lebih baik dalam analisis sentimen dibandingkan dengan machine learning klasik.
Berlawanan dengan machine learning klasik yang membutuhkan fitur seleksi, deep learning tidak membutuhkan fitur seleksi .
Pada suatu penelitian SVM (Support Vector Machin.
terbukti memiliki performa lebih baik dibandingkan model machine learning klasik lainnya .
Akan tetapi, perbandingan metode SVM sebagai model machine learning klasik terbaik dengan LSTM (Long Short Term Memor.
sebagai model deep learning membuktikan bahwa LSTM memberikan kinerja lebih baik daripada SVM .
Long Short Term Memory (LSTM) merupakan salah satu pengembangan Recurrent Neural network (RNN) untuk mengatasi masalah difusi gradien.
Penelitian .
membandingkan metode RNN dan LSTM analisis sentimen teks yang panjang dengan metode pretraining Word2Vec.
Data analisis yang digunakan berupa komentar JD.
COM .
alah satu online shop di Cin.
Ctrip Travel dari Cina, dan ulasan film.
Hasil dari penelitian ini menunjukkan bahwa LSTM memiliki kinerja yang lebih baik dari RNN konvensional dalam melakukan klasifikasi teks pada semua sumber data pada penelitian ini .
Kombinasi dari dua metode deep learning atau lebih dapat dilakukan pada suatu analisis sentimen.
Penelitian .
menggunakan dua metode deep learning sekaligus yakni Long Short Term Memory-Convolutional Nerual Network(LSTM-CNN) serta menggunakan Word2Vec sebagai metode pretraining.
LSTM-CNN
dikombinasikan untuk menjadi solusi dari kelemahan masing-masing yang dimiliki LSTM tunggal dan CNN tunggal.
Penelitian ini menggunakan dataset berupa ulasan objek wisata Pulau Bali.
Hasil sentimen analisis penelitian ini menunjukkan adanya perbaikan akurasi dari metode LSTM-CNN dibandingkan metode LSTM tunggal .
, .
Bidirectional Long Short Term Memory (Bi-LSTM) merupakan kombinasi metode deep learning yang terdiri dari dua buah layer LSTM.
Jadi Bidirectional Long Short Term Memory (Bi-LSTM) adalah pengembangan dari yang memungkinkan pelatihan tambahan dengan melintasi data masukan dua kali yaitu, dari kiri ke kanan, dan dari kanan ke kiri.
Perbandingan Bi-LSTM dan LSTM pada data teks berbagai bahasa menunjukkan bahwa pelatihan data tambahan dari Bi-LSTM menawarkan akurasi yang lebih baik daripada metode LSTM biasa .
Ae.
Penelitian .
melakukan klasifikasi emosi pada teks berbahasa Indonesia menggunakan metode BiLSTM dan pretraining Glove Word.
Dataset yang digunakan berupa lirik lagu berbahasa Indonesia.
Emosi dari lirik lagu dikategorikan menjadi: marah, senang, sedih, dan tenang.
Penelitian ini menunjukkan bahwa akurasi dari model terbaik Bi-LSTM dan pretraining Glove Word sebesar 91,08% .
Adapun penelitian .
membandingkan metode LSTM.
CNN.
RNN.
Naives Bayesian, dan Bi-LSTM untuk analisis sentimen pada ulasan film berbahasa Mandarin.
Penelitian ini membuktikan bahwa Bi-LSTM menghasilkan performa yang lebih baik dibandingkan metode lainnya .
Masalah lain yang muncul dalam analisis sentimen adalah penentuan metode pretraining yang tepat agar diperoleh model yang lebih akurat.
Word2Vec sebagai salah satu metode pretraining dipilih karena dapat menangkap makna semantik teks dengan baik dan setiap kata yang berhubungan dicirikan dengan vektor yang cenderung mirip .
, .
Word2Vec diusulkan oleh sebagai jaringan syaraf yang memproses data teks.
Word2Vec mencakup dua model pembelajaran yaitu Continuous Bag of Words (CBOW) dan Skip-gram.
Word2Vec dapat dimanfaatkan untuk mengelompokkan kata-kata yang serupa .
Berdasarkan masalah yang diuraikan, penelitian ini bertujuan untuk memperoleh model terbaik dari metode Bi-LSTM dan Word2Vec terhadap analisis sentimen teks ulasan objek wisata di Pulau Bali.
Analisis sentimen ulasan objek wisata di Pulau Bali dibutuhkan sebagai bahan pertimbangan pemerintah dalam mengembangkan objek wisata potensial yang kurang diminati.
Sedangkan bagi wisatawan, analisis sentimen dapat menjadi referensi dalam mempertimbangan kunjungan wisata ke Pulau Bali.
Organisasi penulisan artikel ini terdiri dari beberapa bagian.
Bagian metode penelitian menjelaskan langkah-langkah penelitian yang dimulai dari pengumpulan data, perancangan alur program, preprocessing, pretraining Word2Vec, pembagian data uji dan data latih, pelatihan dan pengujian, serta evaluasi penentuan model terbaik.
Bagian hasil dan analisis menjelaskan hasil dari tiap langkah yang terdapat pada metode penelitian.
Bagian terakhir merupakan sub bab kesimpulan yang berisi kesimpulan dari hasil penelitian dan saran untuk penelitian selanjutnya.
Matrik: Jurnal Managemen,Teknik Informatika, dan Rekayasa Komputer.
Vol.
No.
Juli 2022: 607 Ae 618 Matrik: Jurnal Managemen,Teknik Informatika, dan Rekayasa Komputer METODE PENELITIAN Penelitian ini bertujuan melakukan analisis sentimen terhadap ulasan objek wisata di Pulau Bali menggunakan metode Bi-LSTM dan Word2Vec, sehingga diperoleh model terbaik dari kombinasi parameter Bi-LSTM dan Word2Vec.
Model analisis sentimen ini diperlukan bagi pemerintah dan pelaku industri pariwisata sebagai solusi permasalahan dalam menentukan prioritas pengembangan suatu destinasi wisata melalui identifikasi objek wisata yang diminati namun banyak mendapat ulasan buruk diperlukan.
Adapun metode BiLSTM merupakan metode deep learning yang menawarkan akurasi yang lebih baik daripada metode LSTM biasa.
Sedangkan Word2Vec merupakan metode pretraining yang dipilih karena dapat menangkap makna semantik teks.
Data Penelitian Pada penelitian ini data yang digunakan merupakan data yang bersumber dari penelitian .
berupa sekumpulan teks ulasan objek wisata Pulau Bali berbahasa Indonesia yang diambil dari situs tripadvisor.
Data tersebut diperoleh menggunakan metode web scraping pada Bulan Februari 2020.
Prosedur Penelitian Prosedur penelitian ini terdiri dari pengumpulan data, perancangan alur program, persiapan dataset terdiri dari preprocessing dan pretraining Word2Vec, pembagian data, pembentukan model, serta evaluasi.
Secara keseluruhan prosedur penelitian yang dilakukan pada penelitian ini seperti ditunjukkan Gambar 1.
Gambar 1.
Prosedur Penelitian Pengumpulan Data Data yang digunakan pada penelitian ini merupakan ulasan objek wisata di Pulau Bali berbahasa Indonesia pada situs tripadvisor.
com yang berasal dari penelitian sebelumnya yakni penelitian .
Data dibagi secara seimbang yaitu, 5.
000 data ulasan bersifat positif dan 5.
000 data ulasan bersifat negatif.
Data selanjutnya disimpan pada format json untuk dapat digunakan untuk proses pembentukan model klasifikasi analisis sentiment.
Perancangan Alur Program Perancangan alur program digunakan untuk menentukan langkah-langkah apa saja perlu dilakukan dalam proses pembentukan model terbaik.
Hasil perancangan alur program ini selanjutnya diterjemahkan ke dalam kode program agar setiap bagian dari alur program dapat memproses data sesuai tujuan.
Alur program terdiri dari 2 alur yaitu alur untuk pelatihan model dan alur untuk pengujian Proses pelatihan dilakukan untuk membentuk model, sedangkan proses pengujian dilakukan untuk memvalidasi model yang sebelumnya terbentuk.
Semua data ulasan objek wisata akan diproses lebih dulu oleh layer preprocessing agar menjadi data rapi dan tidak terjadi redudansi.
Kemudian data yang berupa teks akan diubah menjadi vektor supaya dapat dibaca oleh deep learning.
Data selanjutnya dibagi menjadi data latih dan data uji.
Hasil model dari proses pelatihan akan dilakukan pengujian menggunakan data Hasil yang didapatkan pengujian kemudian dievaluasi sehingga diperolehnya model terbaik.
Adapun gambaran alur program ditunjukkan pada Gambar 2.
Sentimen Ulasan Destinasi .
(Dwi Intan Afida.
ISSN: 2476-9843 Gambar 2.
Alur Program Preprocessing Data Preprocessing teks atau pra pengolahan teks bertujuan menghilangkan redudansi data dan merapikan data agar mudah digunakan pada proses selanjutnya.
Berikut ini merupakan tahapan pada preprocessing antara lain:
Case folding Case folding merupakan proses untuk mengubah semua karakter huruf pada sebuah kalimat menjadi huruf kecil atau huruf besar.
Case folding yang dilakukan pada penelitian ini yaitu mengubah seluruh dataset menjadi huruf kecil.
Tokenisasi Tokenisasi merupakan proses untuk memecah dokumen teks menjadi token.
Tokenisasi memiliki kemampuan untuk memecah dokumen menjadi kata, frasa, simbol atau elemen lain yang memiliki makna.
Optimalisasi token dapat dilakukan dengan cara menghilangkan karakter-karakter ilegal pada dokumen seperti tanda baca, simbol, angka, html, dan mention.
Stopword Removal Stopword Removal merupakan tahap pengambilan kata-kata penting dan membuang kata-kata yang dianggap tidak penting.
Stopword removal bertujuan untuk menghilangkan kata-kata yang sering muncul namun tidak memiliki kontribusi dalam proses analisis data.
Padding Proses pembelajaran yang dilakukan oleh neural network memerlukan masukan data dengan panjang yang sama.
Padding merupakan proses yang dilakukan untuk membuat data input mempunyai panjang yang sama dengan cara menambahkan kata <pad>.
Pretraining Metode Word2Vec Proses pelatihan model Word2Vec dimulai dengan menentukan data input dan data konteks, selanjutnya proses pelatihan akan menghasilkan data dalam representasi vektor.
Data yang digunakan pada pelatihan model Word2Vec merupakan data ulasan objek wisata yang telah dilakukan preprocessing teks.
Array hasil dari pelatihan Word2Vec kemudian disimpan dalam file berekstensi model.
Proses model Word2Vec dijelaskan seperti pada Gambar 3.
Matrik: Jurnal Managemen,Teknik Informatika, dan Rekayasa Komputer.
Vol.
No.
Juli 2022: 607 Ae 618 Matrik: Jurnal Managemen,Teknik Informatika, dan Rekayasa Komputer Gambar 3.
Pretraining Metode Word2Vec Word2Vec memiliki beberapa parameter dalam proses pelatihan antara lain, arsitektur, metode evaluasi, dan dimensi dimana masing-masing parameter memiliki kategori.
Tipe dari masing-masing parameter Word2Vec yang akan diujikan pada penelitian ini antara lain:
Arsitektur Word2Vec: CBOW (Continuous Bag of Word.
, dan Skip-gram-gram Metode evaluasi: Hierarchical Softmax, dan Negative Sampling Ukuran dimensi: 100, 200, dan 300 Pembagian data Pembagian data dilakukan dengan membagi data menjadi 80% sebagai data latih dan 20% sebagai data uji.
Pembagian data ini berlandaskan scaling law yang ditemukan oleh Guyon pada tahun 1997 .
Penelitian ini membahas pemisahan data latih dan data uji terbaik untuk masalah tertentu: mencegah pelatihan jaringan saraf yang berlebihan.
Penelitian menemukan bahwa fraksi pola yang disediakan untuk data uji harus berbanding terbalik dengan akar kuadrat dari jumlah parameter yang dapat disesuaikan secara bebas.
Pada intinya pemisahan ditentukan oleh berapa banyak fitur unik yang ada dalam kumpulan data .
idak termasuk targe.
dan bukan juga jumlah pengamatan.
Pembentukan Model Rancangan Struktur Model Rancangan struktur model digambarkan pada Gambar 4.
Gambar 4.
Rancangan Arsitektur Bi-LSTM dan Word2Vec Sentimen Ulasan Destinasi .
(Dwi Intan Afida.
ISSN: 2476-9843 Gambar 4 input dari arsitektur model Bi-LSTM adalah array hasil preprocessing teks dengan ukuran Jumlah Kata.
Masingmasing kata selanjutnya masuk ke dalam embedding layer untuk dicarikan representasi data vektornya pada array hasil Word2Vec.
Array hasil Word2Vec kemudian diproses ke dalam Bi-LSTM.
Output Bi-LSTM akan masuk pada pooling layer.
Hasil dari dari pooling layer masuk ke flatten layer, setelah itu masuk melalui dense layer dengan fungsi aktivasi sigmoid yang kemudian akan mengeluarkan output dengan ukuran 1x1.
Pelatihan Proses pelatihan bertujuan untuk melakukan pelatihan menggunakan data yang telah diperoleh untuk mendapatkan hasil pemodelan yang terbaik.
Parameter yang di inisialisasi pada model Bi-STM yaitu dropout, pooling, aktivasi output, optimizer, learning rate, serta parameter Word2Vec yang sudah dilatih sebelumnya.
Seluruh kombinasi pada penelitian ini menggunakan optimizer Adam dan jumlah output node 1.
Parameter dropout, pooling, dan learning rate dapat diubah sesuai dengan kombinasi yaitu dropout sebesar 0,2.
0,5.
0,7, pooling berupa max pooling atau average pooling, dan dengan nilai learning rate sebesar 0,001 dan 0,0001.
Oleh karena itu, pelatihan satu per satu dilakukan pada setiap kombinasi parameter Bi-LSTM, dan parameter Word2Vec yang sudah dilatih sebelumnya.
Pengujian Proses pengujian dilakukan pada proses pembentukan model setelah dilakukan proses pelatihan.
Tujuan dari proses pengujian yaitu untuk melakukan validasi dari hasil yang sudah dilatih melalui proses pelatihan pada setiap parameter yang diujikan.
Pengujian dilakukan dengan mengevaluasi pengukuran akurasi terhadap data uji pada seluruh kombinasi.
Proses pengujian membutuhkan data uji dan menggunakan semua model dari hasil pelatihan pada setiap kombinasi parameter.
Evaluasi Hasil kinerja model klasifikasi penelitian ini diukur menggunakan confusion matrix.
Confusion matrix merupakan tools untuk mengukur performa klasifikasi dokumen terhadap satu kelas atau lebih.
Pada Tabel 1 menggambarkan contoh untuk prediksi dua kelas dengan menggunakan confusion matrix.
Tabel 1.
Pembagian data untuk Training dan Testing Prediksi Negatif(-) Positif( ) Parameter Aktual Negatif (-) Positif ( ) Pada Tabel 1 diatas keterangan yang diperoleh bahwa True Negative jika hasil prediksi negatif dan data aktualnya negatif.
True Positif jika hasil prediksi positif dan data aktualnya positif, kemudian False Negatif jika hasil prediksi negatif dan data aktualnya positif dan False Positif jika hasil prediksi positif dan data aktualnya negatif.
Terdapat persamaan ditetapkan pada matriks dua kelas yang memiliki persamaan seperti pada Persamaan .
, 2, 3 dan .
Akurasi = (T N T P ) (T N F N T P F P ) .
(T P ) (T P F N ) .
Recall = (T P ) (T P F P ) .
O Recall O P recisio.
(Recall P recisio.
P recision = P recision = HASIL DAN ANALISIS Hasil Penelitian ini menghasilkan suatu model terbaik dari Bidirectional Long Short Term Memory untuk Analisis Sentimen terhadap Ulasan Destinasi Wisata Pulau Bali.
Hasil dari penelitian ini dapat membantu bagi peneliti yang ingin mengembangkan aplikasi yang mampu melakukan sentimen analisis terhadap ulasan objek wisata.
Matrik: Jurnal Managemen,Teknik Informatika, dan Rekayasa Komputer.
Vol.
No.
Juli 2022: 607 Ae 618 Matrik: Jurnal Managemen,Teknik Informatika, dan Rekayasa Komputer Hasil pengumpulan data Sampel dari pengumpulan data dapat dilihat pada Tabel 2.
Tabel 2.
Sampel Hasil Pengumpulan Data Ulasan Terkesan akan keindahan alamnya, pantai yang bersih.
Tempatnya enak, makanannya enak.
Cocok buat acara keluarga Nggak begitu berkesan, tempat ini semakin nggak menarik.
Air kotor, wahana permainan tidak aman, lokasi jauh.
Air terjun, pemandangan bagus dan penduduk yang ramah lokasi bersih.
bawa pakain ganti untuk setelah berenang.
Jangan berekspektasi lebih di tempat ini, tempatnya spti pasar tradisional biasa, dgn desek desekan.
memang dari harga bisa lebih miring tergantung kemampuan tawar menawar kita .
sekedar saran lebih nyaman belanja di erlangga 2 atau krisna .
saya sedikit menyesal ke sini Sentimen Hasil preprocessing Hasil dari masing-masing tahapan prepocessing dijelaskan sebagai berikut: Tabel 3 menunjukkan hasil proses case folding.
Tabel 4 menunjukkan hasil proses tokenisasi.
Tabel 5 menunjukkan hasil proses stopword removal, dan Tabel 6 menunjukkan hasil proses padding.
Tabel 3.
Sampel Data Sebelum dan Setelah Case Folding Data Sebelum Case Folding Terkesan akan keindahan alamnya, pantai yang bersih.
Tempatnya enak, makanannya enak.
Cocok buat acara keluarga .
Nggak begitu berkesan, tempat ini semakin nggak menarik.
Air kotor, wahana permainan tidak aman, lokasi jauh Data Setelah Case Folding Terkesan akan keindahan alamnya, pantai yang bersih.
tempatnya enak, makanannya enak.
cocok buat acara keluarga.
Nggak begitu berkesan, tempat ini semakin nggak menarik.
air kotor, wahana permainan tidak aman, lokasi jauh Tabel 4.
Sampel Data Sebelum dan Setelah Tokenisasi Data Sebelum Tokenisasi Terkesan akan keindahan alamnya, pantai yang bersih.
Tempatnya enak, makanannya enak.
Cocok buat acara keluarga .
Nggak begitu berkesan, tempat ini semakin nggak menarik.
Air kotor, wahana permainan tidak aman, lokasi jauh Data Setelah Tokenisasi .
erkesan, akan, keindahan, alamnya, pantai, yang, bersih, tempatnya, enak, makanannya, enak, cocok, buat, acara, keluarg.
ggak, begitu, berkesan, tempat, ini, semakin, nggak, menarik, air, kotor, wahana, permainan, tidak, aman, lokasi, jau.
Tabel 5.
Sampel Data Sebelum dan Setelah Stopword Removal Data Sebelum Stopword Removal .
erkesan, akan, keindahan, alamnya, pantai, yang, bersih, tempatnya, enak, makanannya, enak, cocok, buat, acara, keluarg.
ggak, begitu, berkesan, tempat, ini, semakin, nggak, menarik, air, kotor, wahana, permainan, tidak, aman, lokasi, jau.
Data Setelah Stopword Removal .
erkesan, keindahan, alamnya, pantai, bersih, tempatnya, enak, makanannya, enak, cocok, buat, acara, keluarg.
ggak, begitu, berkesan, tempat, semakin, nggak, menarik, air, kotor, wahana, permainan, tidak, aman, lokasi, jau.
Tabel 6.
Sampel Data Sebelum dan Setelah Padding Data Sebelum Padding .
erkesan, akan, keindahan, alamnya, pantai, yang, bersih, tempatnya, enak, makanannya, enak, cocok, buat, acara, keluarg.
ggak, begitu, berkesan, tempat, ini, semakin, nggak, menarik, air, kotor, wahana, permainan, tidak, aman, lokasi, jau.
Data Setelah Padding .
esan, indah, alam, pantai, bersih, tempat, enak, makan, enak, cocok, buat, acara, keluarga.
ApadA.
ApadA] .
ggak, begitu, kesan, tempat, semakin, nggak, tarik, air, kotor, wahana, main, tidak, aman, lokasi, jau.
Hasil Pretraining Menggunakan Word2Vec Hasil dari Pretraining menggunakan metode Word2Vec adalah setiap kata memiliki terjemahan yang berupa vektor.
Gambar 5 menunjukkan hasil vektor yang mewakili kata bagus yang dengan dimensi vektor sebesar 300.
Sentimen Ulasan Destinasi .
(Dwi Intan Afida.
ISSN: 2476-9843 Gambar 5.
Hasil Vektor dari Kata bagus Pengujian Data pengujian Data yang digunakan pada penelitian ini 10.
000 data berupa 5.
000 data ulasan berlabel positif dan 5.
000 data ulasan berlabel Proses pembentukan model memerlukan data yang seimbang karena apabila data tidak seimbang akan menjadikan model yang terbentuk hanya sensitif pada kelas yang dominan.
Gambaran dari pembagian data dijelaskan pada Gambar 6.
Gambar 6.
Pembagian Data Pemodelan Skenario Skenario 1 merupakan pengujian dan analisa pengaruh kombinasi parameter Word2Vec terhadap nilai akurasi, sedangkan skenario 2 merupakan pengujian dan analisa pengaruh kombinasi parameter Bi-LSTM terhadap nilai akurasi.
Gambaran umum skenario pengujian dijelaskan pada Gambar 7.
Gambar 7.
Skenario Pengujian Terdapat tujuh parameter dalam penelitan ini yang digunakan untuk pengujian.
Ketujuh parameter tersebut dibandingkan kinerjanya terhadap model Bidirectional Long Short Term Memory (Bi-LSTM).
Kelima paramter tersebut terbai menjadi 3 paramter untuk pengujian Word2Vec dan 2 parame ter untuk pengujian Bi-LSTM.
Parameter model Word2Vec yang akan diujikan pada penelitian ini yaitu arsitektur model CBOW dan model Skipgram, metode evaluasi menggunakan Hierarchical Softmax dan Negative Sampling, sedangkan untuk dimensi menggunakan 100, 200, dan 300.
Hasil kombinasi parameter model Word2Vec selanjutnya diproses menggunakan model Bi-LSTM.
Pada model Bi-LSTM terdapat 2 parameter berupa dropout, dan learning rate.
Parameter dropout yang akan diuji adalah 0,2.
0,5.
0,7.
Parameter learning rate menggunakan nilai 0,001.
0,0001.
0,00001.
Keseluruhan parameter pada model Word2Vec dan parameter pada model Bi-LSTM dikombinasikan untuk mendapatkan model terbaik.
Kinerja kombinasi parameter ditentukan dengan perhitungan Matrik: Jurnal Managemen,Teknik Informatika, dan Rekayasa Komputer.
Vol.
No.
Juli 2022: 607 Ae 618 Matrik: Jurnal Managemen,Teknik Informatika, dan Rekayasa Komputer nilai akurasi.
Nilai akurasi keseluruhan kombinasi yang didapatkan dibandingkan dan dianalisa untuk menentukan model terbaik.
Berikut merupakan penjelasan dari masing-masing skenario:
Skenario 1 Skenario 1 berisi pengujian dan analisa terhadap pengaruh kombinasi dari model Word2Vec.
Berikut penjelasan masing-masing parameter dari skenario 1:
a Pengujian dilakukan untuk mengetahui pengaruh arsitektur Word2Vec dalam mendapatkan nilai akurasi terbaik.
Arsitektur Word2Vec yang digunakan pada proes pengujian yaitu model CBOW dan model Skip-gram.
Eksperimen yang terbentuk pada penelitian ini sebanyak 108, teridiri dari model CBOW sebanyak 54 dan model Skip-gram sebanyak 54.
Data masukan pada skenario ini berupa data hasil prapengolahan teks.
b Pengujian dilakukan untuk mengetahui pengaruh metode evaluasi Word2Vec yang digunakan dalam mendapatkan nilai akurasi terbaik.
Metode evaluasi Word2Vec yang digunakan pada proses pengujian antara lain.
Hierarchical Softmax dan Negative Sampling.
Eksperimen yang terbentuk pada penelitian ini sebanyak 108, terdiri dari model Hierarchical Softmax sebanyak 54 dan model Negative Sampling sebanyak 54.
Data masukan pada skenario ini berupa data hasil prapengolahan c Pengujian dilakukan untuk mengetahui pengaruh dimensi Word2Vec yang digunakan dalam mendapatkan nilai akurasi terbaik.
Dimensi Word2Vec yang digunakan pada pada proses pengujian sebesar 100, 200, 300.
Eksperimen yang terbentuk pada penelitian ini sebanyak 108, terdiri dari dimensi 100 sebanyak 36, 200 sebanyak 36, dan 300 sebanyak 36.
Data masukan pada skenario ini berupa data hasil prapengolahan teks.
Skenario 2 Skenario 2 berisi pengujian dan analisa terhadap pengaruh kombinasi dari model Bi-LSTM.
Berikut penjelasan masing-masing parameter dari skenario 2:
a Pengaruh nilai dropout yang digunakan untuk mendapatkan nilai akurasi terbaik.
Nilai dropout yang digunakan pada proses pengujian sebesar 0,2.
0,3.
0,7.
Eksperimen yang terbentuk pada penelitian ini sebanyak 108, terdiri dari dropout 0,2 sebanyak 36, dropout 0,5 sebanyak 36, dan dropout 0,7 sebanyak 36.
Data masukan pada skenario berupa array hasil Word2Vec yang ada pada skenario 1.
b Pengaruh nilai learning rate yang digunakan untuk mendapatkan nilai akurasi terbaik.
Nilai learning rate yang digunakan pada proses pengujian sebesar 0,001.
0,0001.
0,0001.
Eksperimen yang terbentuk pada penelitian ini sebanyak 108, terdiri dari learning rate 0,001 sebanyak 36, learning rate 0,0001 sebanyak 36, dan learning rate 0,00001 sebanyak 36.
Data masukan pada skenario ini berupa array hasil Word2Vec yang ada pada skenario 1.
Analisa Analisa nilai akurasi dari skenario pengujian sebanyak 108 kombinasi.
Model terbaik dipilih dengan menganalisa nilai akurasi untuk kombinasi Word2Vec berupa arsitektur, metode evaluasi, dan dimensi serta BiLSTM berupa dropout, dan learning rate.
Model terbaik yang terpilih selanjutnya digunakan untuk analisis sentimen objek wisata.
Adapun Hasil pengujian dari skenario 1 dan 2 adalah sebagai berikut:
CBOW dan Skipgram merupakan arsitektur Word2Vec yang diujikan dan hasil rata-rata dihitung untuk setiap arsitektur Word2Vec.
Dimana arsitektur Word2Vec CBOW menghasilkan rata-rata akurasi yang lebih baik dibandingkan dengan aristektur Word2Vec Skipgram.
Hierarchical Softmax dan Negative Sampling merupakan metode evaluasi Word2Vec yang diujikan.
Hasil rata-rata dihitung untuk setiap metode evaluasi Word2Vec dengan menggunaka metode evaluasi Word2Vec Hierarchical Softmax menghasilkan rata-rata akurasi lebih baik dibandingkan dengan metode evaluasi Word2Vec Negative Sampling.
Dimensi 100, 200, 300 merupakan dimensi Word2Vec yang diujikan.
Hasil rata-rata dihitung untuk setiap dimensi Word2Vec.
Hasilnya bahwa dimensi Word2Vec 200 menghasilkan rata-rata akurasi yang lebih baik dibandingkan dengan dimensi 100 dan Nilai dropout yang diujikan antara lain 0,2.
0,5.
0,7.
Hasil rata-rata dihitung untuk setiap jumlah dropout.
Dropout dengan jumlah 0,5 menghasilkan rata-rata nilai akurasi yang lebih baik dari dropout dengan jumlah 0,2 dan 0,7.
Nilai 0,001.
0,0001.
0,00001 merupakan nilai learning rate yang diujikan.
Hasil rata-rata dihitung untuk setiap nilai learning rate bahwa learning rate dengan nilai 0,0001 menghasilkan rata-rata akurasi lebih baik dibandingkan learning rate dengan nilai 0,001 dan 0,00001.
Nilai terbaik dari setiap skenario menghasilkan kombinasi parameter yaitu kombinasi model Word2Vec terdiri dari model CBOW, metode evaluasi Hierarchical Softmax, dan dimensi 200, serta BiLSTM yang terdiri dari dropout dengan nilai 0,5 dan learning rate dengan nilai 0,0001.
Kombinasi tersebut menghasilkan nilai akurasi tertinggi dari keseluruhan 108 kombinasi yang hasilnya dengan nilai akurasi sebesar 96,86%, precission sebesar 96,53%.
Recall sebesar 96,31%.
F1 Measure sebesar 96,41%.
Penelitian ini menggunakan nilai akurasi sebagai acuan dalam menentukan model terbaik.
Akurasi baik digunakan sebagai acuan penilaian kinerja algoritma jika dataset memiliki jumlah data False Negatif dan Flase Positif yang sangat mendekati.
Karena itu nilai akurasi dijadikan acuan dalam membandingkan hasil penelitian ini dengan penelitian lainnya.
Hasil akurasi sebesar 96,86% itu lebih baik dibandingkan dengan penelitian .
yang menggunakan metode pretraining kombinasi TF-IDF dan Seninfo dan menggunakan deep learning Bi-LSTM.
Penelitian ini melakukan analisis sentiment data komentar berbahasa mandarin yang terdapat pada e-commerce.
Penelitian lainnya .
juga dengan yang mehasilkan kinerja tidak lebih baik dari penelitian ini dengan akurasi sebersar 91,08%.
Peneliaian tersebut .
menggunakan metode GloveText dan Bi-LSTM untuk analisis sentiment dari emosi lirik lagu.
Sentimen Ulasan Destinasi .
(Dwi Intan Afida.
KESIMPULAN ISSN: 2476-9843 Kesimpulan dari hasil penelitian yang dilakukan mengenai analisis sentimen menggunakan model Bi-LSTM dan Word2Vec terhadap ulasan objek wisata Pulau Bali di tripadvisor.
com berbahasa Indonesia adalah memperoleh model terbaik dari metode Bi-LSTM dan Word2Vec dengan akurasi sebesar 96,86%, precission sebesar 96,53%.
Recall sebesar 96,31%.
F1 Measure sebesar 96,41%.
Adapun parameter Word2Vec dalam kontribusi yang menghasilkan model terbaik yaitu, arsitektur CBOW, metode evaluasi hierarchical softmax, dan dimensi 200.
Sedangkan parameter Bi-LSTM yang berkontribusi menghasilkan model terbaik yaitu dropout 0,5 dan learning rate 0,0001.
Saran untuk penelitian selanjutnya adalah dapat menggunakan metode pretraining dan metode deep learning yang lain untuk membandingkan hasilnya dengan penelitian ini.
Selain itu, penelitian selanjutnya juga dapat menggunakan metode transfer learning pada dataset lain yang serupa seperti ulasan hotel, ulasan restoran, dan lainnya.
Transfer learning dilakukan dengan memanfaatkan model terbaik penelitian ini terhadap dataset yang lain yang sejenis dengan menggunakannya sebagai starting point, memodifikasi dan mengubah parameter sesuai dataset yang baru.
REFERENSI