Matrik: Jurnal Manajemen.
Teknik Informatika, dan Rekayasa Komputer Vol.
No.
Juli 2022, pp.
525O538
ISSN: 2476-9843, accredited by Kemenristekdikti.
Decree No: 200/M/KPT/2020 DOI: 10.
30812/matrik.
Smart Assessment Menggunakan Backpropagation Neural Network Smart Assessment using Backpropagation Neural Network Agung Teguh Wibowo Almais1 .
Cahyo Crysdian2 .
Khadijah Fahmi Hayati Holle3 .
Akbar Roihan4 UIN Maulana Malik Ibrahim Malang.
Indonesia
Informasi Artikel
ABSTRAK
Genesis Artikel:
Penerapan scraping dan Backpropagation Neural Network dapat menjadikan penilaian SelfAssessment Questionnaire (SAQ) website Pemerintah Daerah Provinsi Jawa Timur lebih smart jika dibandingkan dengan model assessment yang sudah ada.
Langkah awal yaitu melakukan scraping website Pemerintah Daerah Provinsi Jawa Timur untuk mendapatkan nilai SAQ.
Hasil scraping tersebut akan digunakan sebagai data uji pada metode Backpropagation Neural Network, kemudian hasil data uji akan di proses menggunakan 4 jenis model data yang berbeda-beda dari segi jumlah iterasi dan hidden layer untuk mendapatkan akurasi terbaik.
Pada model data A menggunakan iterasi 1000 dan 5 hidden layer menghasilkan nilai Mean Squared Error (MSE) 0,0117.
Mean Absolute Percent Error (MAPE) 39,36% dan Akurasi 60.
Model data B menggunakan iterasi 1000 dan 7 hidden layer menghasilkan nilai MSE 0,0087.
MAPE 29,49% dan Akurasi 70,50%.
Model data C dengan menggunakan iterasi 2000 dan 9 hidden layer menghasilkan nilai MSE 0,0064.
MAPE 24,46% dan Akurasi 75,53%.
Model data D menggunakan iterasi 2000 dan 9 hidden layer menghasilkan nilai MSE 0,0036.
MAPE 18,71% dan Akurasi 81,28%.
Dari hasil ujicoba tersebut bahwa model data D yang menggunakan iterasi 2000 dan 9 hidden layer menghasilkan tingkat akurasi yang terbaik sehingga model data D dapat dijadikan acuan hasil penilaian website Pemerintah Daerah Provinsi Jawa Timur Diterima, 06 Desember 2021 Direvisi, 14 Maret 2022 Disetujui, 20 April 2022 Kata Kunci:
Akurasi
Backpropagation Neural Network
Pemerintah Daerah
Scraping Website Self-Assessment Questionnaire Smart Asessment
ABSTRACT
Keywords:
Accuracy Backpropagation Neural Network Local Government Scraping Website Self-Assessment Questionnaire Smart Assessment The application of scraping and Backpropagation Neural Network can make the Self-Assessment Questionnaire (SAQ) assessment of the Regional Government of East Java Province smarter when compared to the existing assessment model.
The first step is to scrape the East Java Provincial Government website to get the value of the SAQ.
The scraping results will be used as test data for the Neural Network Backpropagation method, then the test data results will be processed using 4 different types of data models in terms of the number of iterations and hidden layers to get the best accuracy.
In data model A using 1000 iterations and 5 hidden layers, the Mean Squared Error (MSE) value is 0117.
Mean Absolute Percent Error (MAPE) 39.
36%, and accuracy is 60.
Data model B using 1000 iterations and 7 hidden layers produces MSE values of 0.
MAPE 29.
49%, and accuracy of Data model C using 2000 iterations and 9 hidden layers resulted in MSE values of 0.
MAPE 24.
46%, and accuracy of 75.
Data model D using 2000 iterations and 9 hidden layers resulted in an MSE value of 0.
MAPE 18.
71%, and accuracy of 81.
From the test results, the D data model which uses 2000 iterations and 9 hidden layers produces the best level of accuracy so that the D data model can be used as a reference for the results of the evaluation of the East Java Provincial Government website in 2021.
This is an open access article under the CC BY-SA license.
Penulis Korespondensi:
Cahyo Crysdian Jurusan Teknik Informatika UIN Maulana Malik Ibrahim Malang.
Indonesia Email: : cahyo@ti.
uin-malang.
Journal homepage: https://journal.
id/index.
php/matrik ISSN: 2476-9843
PENDAHULUAN
Implementasi sistem berbasis online .
telah meluas ke berbagai bidang, mulai dari perbankan, asuransi, bisnis, manufaktur, pendidikan dan pemerintahan.
Keharusan pembangunan situs web disetiap Pemerintahan Daerah Kabupaten dan Kota merupakan tuntutan akan informasi yang cepat dan terupdate untuk setiap waktu .
Selain mendapatkan informasi yang cepat dan terupdate untuk setiap waktu, juga dapat membentuk pemerintahan yang Good Governance sehingga tercapainya kondisi pemerintahan yang dapat menjamin kepentingan pelayanan publik secara seimbang dengan melibatkan kerjasama antar semua komponen pengguna .
Dalam Peraturan Menteri Komunikasi Dan Informatika Republik Indonesia Nomor Tahun 2017 Tentang Penyelenggaraan Portal Dan Situs Web Badan Pemerintahan sudah mengatur tentang standar yang digunakan untuk assessment website Pemerintah Daerah .
Dengan standar tersebut diharapkan menjadikan website Pemerintah Daerah dapat menyajikan informasi yang transparan kepada Informasi yang transparansi, akurat dan akuntabel pada pelayanan informasi publik yang salah satunya website Pemerintah Daerah sudah di atur oleh Pejabat Pengelola Informasi dan Dokumentasi (PPID) yang ada pada setiap badan publik.
Tim Pejabat Pengelola Informasi dan Dokumentasi (PPID) yang bertanggung jawab di bidang penyimpanan, pendokumentasian, penyediaan, dan/atau pelayanan informasi di Badan Publik dan bertanggungjawab langsung kepada atasan PPID .
Termasuk selama ini yang melakukan penilaian .
web pemerintah daerah adalah Pejabat Pengelola Informasi dan Dokumentasi (PPID).
Pada penelitian .
menjelaskan bahwa dalam penilaian kualitas website pemerintah dapat dilakukan dengan menggunakan metode EGovQual.
Dimensi yang dimiliki oleh E-GovQual diantaranya Ease of use.
Trust.
Functionality.
Reability.
Content anda appreance of information.
Citizen Support.
Kerangka kerja yang digunakan selama ini untuk melakukan assessment website Pemerintah Daerah masih menggunakan metode studi pustaka atau studi literatur, wawancara dan observasi .
Langkah penting berikutnya adalah data analisis, sehingga data yang divalidasi dapat diinterpretasikan menjadi informasi yang lebih baik .
Pada penelitian .
menjelaskan bahwa salah satu cara untuk mengukur dan mengidentifikasi situs pemerintah daerah perlu dikembangkan suatu coding instrument.
Terdapat 3 kategori coding instrument yaitu e-government, e-service, dan e-knowledge.
Komponen-komponen dari coding instrument diantaranya adalah hypelink dan content yang dinilai.
Kedua komponen coding instrument tersebut dapat di ambil dengan cara web scraping.
Karena teknik web scraping merupakan proses pengambilan dokumen semi-terstruktur dari suatu sistem berbasis web atau internet, umumnya berupa halaman-halaman dalam bahasa markup seperti HTML atau HTMLX .
Manfaat dari web scraping adalah agar informasi yang dikeruk lebih terfokus sehingga lebih mudah dapat melakukan pengolahan data atau informasi yang dibutuhkan .
Web scraping merupakan suatu hal yang illegal selama tidak untuk pencurian data, memanipulasi informasi dan lain lain.
Bahkan web scraping dapat meningkat simbiosis mutualisme antara pihak yang pengelola website dengan yang melakukan web scraping .
Pada penelitian .
menjelaskan bahwa web scraping dapat digunakan sebagai pendeteksi berita-berita hoax .
yang ada di media elektronik termasuk di 15 hasil pencarian teratas dari google.
Berdasarkan latar belakang dari penelitian-penelitian tersebut web scraping dapat mengubah data yang tidak terstruktur menjadi data terstruktur yang dapat disimpan dan divalidasi ke dalam database sehingga dapat mengumpulkan data, menyimpan data, dan memvalidasi data .
Hasil dari web scraping merupakan data kriteria website Pemerintah Daerah untuk assessment yang berdasarkan Peraturan Menteri Komunikasi Dan Informatika Republik Indonesia Nomor Tahun 2017 Tentang Penyelenggaraan Portal Dan Situs Web Badan Pemerintahan.
Data kriteria hasil web scraping tersebut kemudian akan di hitung jumlah datanya untuk dijadikan sebagai data uji yang digunakan pada metode Backpropagation Neural Network.
Data uji tersebut kemudian ditraining dengan menggunakan metode Backpropagation Neural Network berdasarkan nilai hasil Self-Assessment Questionnaire (SAQ) 2020 yang digunakan sebagai data training.
Hasil dari metode Neural Netwok Backpropagation merupakan nilai predicted ouput yang digunakan sebagai SAQ 2021.
Untuk mendapatkaan nilai SAQ 2021 yang bagus maka harus di cari model data yang memiliki tingkat akurasi Dengan menggunakan 4 jenis data model data yang berbeda-beda dari segi iterasi dan hidden layernya maka akan diketahui tingkat akurasi yang terbaik dari hasil predicted output yang dihasilkan.
Hasil akurasi terbaik merupakan suatu nilai predicted ouput yang dapat digunakan sebagai prediksi acuan nilai SAQ website Pemerintah Daerah pada tahun 2021.
Dari uraian di atas, dapat menghasilkan hipotesa awal bahwa dengan mengkolaborasikan teknik web scraping dan metode Neural Network Backpropagation dapat memprediksi SAQ website Pemerintah Daerah dengan model Smart Asessment.
Smart Assessment Menggunakan Backpropagation Neural Network untuk website Pemerintah Daerah dijelaskan pada bagian selanjutnya sesuai dengan penataan sebagai berikut Bagian 2.
Metodologi yang membahas tentang metode penelitian yang menjelaskan metode Backpropagation Neural Network dan Teknik Scraping untuk proses mendapatkan data.
Bagian 3.
Hasil dan Analisis yang menjelaskan hasil dan analisis proses pemodelan data menggunakan metode Neural Network Backproagation dan accuracy hasil pemodelan data.
Bagian 4.
Kesimpulan yang menjelaskan kesimpulan dari hasil penelitian ini dan saran untuk peneitian berikutnya.
METODE PENELITIAN
Mesin pembelajaran pada model Jaringan Syaraf Tiruan (Neural Networ.
yang digunakan yaitu suatu aspek dari pembelajaran yang meniru sebuah pengalaman di masa yang lalu guna mampu memprediksi kejadian di masa akan datang .
Metode Jaringan Syaraf Tiruan (Neural Networ.
adalah suatu sistem pemroses informasi yang karakteristiknya mirip dengan cara kerja otak manusia.
Arsitektur Neural Network ditentukan oleh 3 lapisan yaitu lapisan input, lapisan tersembunyi, dan lapisan output.
Sedangkan Backpropagation merupakan salah satu model dari Neural Network.
Backpropagation merupakan model Neural Network dengan banyak lapisan yang sering digunakan pada perkiraan time series.
Algoritma pembelajaran backpropagation mengaktifkan neuron-neuron Matrik: Jurnal Managemen,Teknik Informatika, dan Rekayasa Komputer.
Vol.
No.
Juli 2022: 525 Ae 538 Matrik: Jurnal Managemen,Teknik Informatika, dan Rekayasa Komputer pada penambatan maju menggunakan fungsi aktivasi yang dapat dideferensialkan untuk mendapatkan error output .
Kemudian error output ini digunakan untuk mengubah nilai bobot-bobotnya kearah mundur.
Modifikasi perubahan bobot dilakukan untuk menurunkan kesalahan yang terjadi .
Metode backpropagation memiliki dua proses yaitu feed forward dan backpropagation yang dapat di detailkan menggunakan 11 langkah .
Berdasarkan beberapa jurnal diatas maka arsitektur Backpropagation Neural Network yang digunakan pada sistem ini terdiri dari 3 layer yaitu input layer, hidden layer, dan output layer.
Berikut adalah langkah untuk pengumpulan data dan processing data sebelum data di proses pada metode Backpropagation Neural Network.
Pengumpulan Data Data yang digunakan merupakan data hasil SAQ tahun 2020 website Pemerintah Daerah Provinsi Jawa Timur.
Data hasil SAQ tersebut digunakan sebagai data latih, sedangkan data ujinya menggunakan data hasil scraping website Pemerintah Daerah Provinsi Jawa Timur tahun 2021.
Kemudian data latih tersebut akan di bandingkan dengan data uji menggunakan metode Backpropagation Neural Network.
Hasil perbandingan data uji dan data latih tersebut akan di bentuk menggunakan 3 model data, hasil dari 3 model data tersebut merupakan hasil prediksi nilai SAQ website Pemerintah Daerah Provinsi Jawa Timur Tahun 2021.
Kemudian hasil prediksi tersebut akan di uji akurasinya menggukanan metode Mean Squared Error (MSE) dan Mean Average Precentage Error (MAPE) untuk mendapatkan tingkat akurasi dari masing-masing model data yang digunakan.
Preprocessing Data Langkah 1 yaitu mapping data.
Pada tahap mapping data, teknik scraping website Pemerintah Daerah Provinsi Jawa Timur untuk mendapatkan jumlah navigasi, banyaknya konten/isi, dan update konten .
Pada Gambar 1 terlihat bahwa ada dua input yang harus diisi yaitu alamat website (URL) yang akan di lakukan scraping dan nama website.
Untuk input AyWebsite Name .
Ay akan di isi alamat URL website Pemerintah Daerah yang akan di lakukan scraping.
Sedangkan AyWebsite Name .
Ay merupakan nama dari website yang akan di scrap.
Gambar 1.
Tampilan Home Web Scraping Pada Gambar 2 terdapat form yang dimana pengguna diharuskan mengisi field bagian mana dari website Pemerintah Daerah yang akan di scrap.
Field AyMethodAy merupakan pilihan untuk menggunakan cara teknik scraping denan AyselectorAy atau AyregexAy.
Sedangkan untuk field AyExpressionAy merupakan isian yang mengadung sintaks atau source code HTML seperti AyaAy berarti itu menunjukkan link.
AybodyAy berarti menunjukkan sintaks HTMl AybodyAydan masih banyak lagi.
jika sintaks-sintkas itu di masukkan di field AyExpressionAy maka sistem akan melakukan scraping data pada data yang terseletak pada sintaks-sintaks yang sudah diinputkan di field AyExpressionAy.
Untuk field AyField name .
Ay digunakan sebagai tanda hasil dari scraping itu data dari sintks yang ada di AyExpressionAy bagian mana.
Smart Assessment Menggunakan .
(Agung Teguh Wibowo Almai.
ISSN: 2476-9843 Gambar 2.
Form Input Scraper website Pemerintah Daerah Pada Gambar 3 menggambarkan hasil dari scraping website Pemerintah Daerah yang berupa jumlah navigasi .
, isi konten, dan tanggal upload konten.
Untuk jumlah navigasi .
berasal dari field AyExpressionAy yang berupa AyaAy, sedangkan isi konten dan tanggal upload merupakan hasil field AyExpressionAy yang berupa AybodyAy.
Dari 3 hasil tersebut dapat dihitung jumlahnya untuk dijadikan nilai SAQ pada setiap website Pemerintah Daerah di provinsi Jawa Timur.
Matrik: Jurnal Managemen,Teknik Informatika, dan Rekayasa Komputer.
Vol.
No.
Juli 2022: 525 Ae 538 Matrik: Jurnal Managemen,Teknik Informatika, dan Rekayasa Komputer Gambar 3.
Result Scraping Website Pemerintah Daerah Langkah ke-2 yaitu identifikasi data latih dan data uji.
Hasil scraping akan di proses dengan metode Backpropagation Neural Network dengan memprediksi hasil nilai SAQ website pemerintah daerah Provinsi Jawa Timur tahun 2021.
Hasil SAQ yang didapat dari scraping akan digunakan sebagai data uji, sedangkan data nilai SAQ tahun 2020 akan digunakan sebagai data latih.
Dari 2 jenis data tersebut akan di hitung prediksi nilai SAQ menggunakan metode Backpropagation Neural Network.
Menggunakan 4 jenis model data yang berbeda pada jumlah iterasi dan hidden layer neuron maka dapat diketahui tingkat akurasi masing-masing model data menggunakan metode MAPE.
Tabel 1 merupakan data latih yang digunakan yang digunakan untuk menguji 4 jenis model A.
Tabel 1.
Data Hasil Self Assessment Quetionnare tahun 2020 Label Actual Output Bojonegoro Madiun Pacitan Kota Probolinggo Situbondo Blitar Nganjuk Pamekasan Kota Malang Kota Blitar Kab.
Malang Ponorogo Sidoarjo Trenggalek Kab.
Mojokerto Surabaya Banyuwangi Lumajang Batu Kota Mojokerto Bondowoso Ngawi Sumenep Kab.
Kediri Tuban Kab.
Madiun Tulungagung Kab.
Probolinggo Kota Pasuruan Kab.
Pasuruan Lamongan Magetan Sampang Value Actual Output Smart Assessment Menggunakan .
(Agung Teguh Wibowo Almai.
ISSN: 2476-9843
HASIL DAN ANALISIS
Proses pelatihan dan proses pengujian dilakukan berdasarkan tahapan-tahapan yang telah disebutkan sebelumnya.
Proses pelatihan yang telah dilakukan menghasilkan bobot-bobot yang nantinya akan dipakai pada proses pengujian .
Hasil dari proses pengujian berupa nilai Mean Squared Error (MSE) menggunakan persamaan sebagai berikut:
k Oe yk )2 M SE = k=1 .
MSE : Mean Squared Error (MSE) : Banyaknya Data : Data Aktual : Data Prediksi : Nilai Data a ke-1 hingga ke-n Setelah nilai MSE sudah diketahui maka langkah selanjutnya mencari nilai Mean Average Precentage Error (MAPE) dengan persamaan rumus 2:
Pn .
txOey M AP E = y 100% .
MAPE : Mean Absolute Percent Error (MAPE) : Besarnya data prediksi : Data Aktual ke t : Data Prediksi : Nilai Data n ke-1 hingga ke-n Jika nilai Mean Absolute Percent Error (MAPE)sudah ketemu maka nilai MAPE digunakan utuk menghitung nilai accuracy dengan rumus:
Accuracy = 100% Oe M P E Pengujian yang dilakukan pada penelitian ini menggunakan skenario dengan melakukan kombinasi hidden layer neuron dan Nilai hidden layer neuron yang digunakan yaitu 5, 7, 9 sedangkan iterasi yang digunakan yaitu 1000, 2000, 4000.
Untuk pemodelan data yang menggunakan kombinasi hidden layer neuron dan iterasi dapat dilihat pada tabel 2.
Tabel 2.
Pemodelan Data Attribute Data Actual Data Uji Iterasi Hidden Layer Neuron Input Layer Output Layer Model A Model B Model C Model D Berdasarkan hasil eksperimen kombinasi hidden layer neuron dan iterasi diatas, maka diperoleh nilai MSE menggunakan persamaan .
Kemudian nilai MPE menggunakan persamaan .
dan nilai accuracy di masing-masing model menggunakan persamaan .
Proses dan hasil perhitungan MSE.
MAPE dan accuracy dapat dilihat dibawah ini:
Matrik: Jurnal Managemen,Teknik Informatika, dan Rekayasa Komputer.
Vol.
No.
Juli 2022: 525 Ae 538 Matrik: Jurnal Managemen,Teknik Informatika, dan Rekayasa Komputer Model A Model A menggambarkan analisis data dengan menggunakan data uji dan data actual sebanyak 33 data, iterasi 1000, hidden layer neuron sebanyak 5, input layer 3 dan output layer 1.
Hasil dari beberapa attribute tersebut akan di modelkan dengan menggunakan bahasa pemrograman python untuk mendapatkan hasil predicted output yang mendekati data actual output.
Pada gambar 4 menunjukkan bahwa value actual output dengan value predicted output masih ada value loss yang tinggi yaitu 0, 011724796987684924.
Untuk value loss dan value predicted output pada Model A menggunakan metode Backpropagation Neural Network dapat dilihat sebagai berikut:
Hasil value loss: 0,011724796987684924 Hasil value predicted output:
, 40617.
, 52402.
, 64769.
, 46478.
, 43952.
, 43381.
, 47679.
, 43286.
, 41383.
, 36913.
, 4843.
, 50914.
, 47843.
, 3203.
, 28915.
, 44881.
, 34159.
, 5000.
, 25568.
, 34820.
, 39928.
, 38039.
, 24694.
, 27799.
, 16005.
, 42088.
, 29955.
, 24062.
, 32291.
, 27006.
, 23513.
, 25779.
, 15027.
Gambar 4.
Grafik untuk Model A Pada tabel 3 dapat dilihat bahwa proses untuk mendapatkan nilai MSE diawali dengan proses mencari nilai Erorr, .
, erorr square dan % erorr.
Setelah nilai-nilai tersebut diketahui maka langkah selanjutnya adalah mencari nilai MSE menggunakan persamaan .
berdasarkan data tabel 3, setelah itu mencari nilai MAPE menggunakan persamaan .
berdasarkan data tabel 3, setelah nilai MAPE diketahui maka langkah selanjutnya adalah mencari nilai accuracy menggunakan persamaan .
dengan menggunakan data tabel 3.
Nilai Accuracy yang dihasilkan pada model data A yaitu 60,63962 %.
Smart Assessment Menggunakan .
(Agung Teguh Wibowo Almai.
ISSN: 2476-9843 Tabel 3.
Perhitungan MSE.
MAPE dan Accuracy untuk Model A Actual Output
0,598
0,585
0,58
0,553
0,529
0,512
0,499
0,51
0,502
0,49
0,494
0,473
0,427
0,455
0,413
0,437
0,393
0,411
0,39
0,359
0,374
0,334
0,314
0,289
0,189
0,18
0,147
0,127
0,125
0,154
0,14
0,112
Predicted Output
0,406176
0,524022
0,647691
0,464786
0,439529
0,433814
0,476796
0,432868
0,413834
0,36913
0,484323
0,509143
0,47843
0,320345
0,289155
0,448818
0,341599
0,500019
0,255687
0,348204
0,399286
0,380392
0,246945
0,277992
0,160057
0,420889
0,299558
0,240621
0,322913
0,270063
0,235134
0,257792
0,150274
Error
0,193824
0,073978
-0,06269
0,115214
0,113471
0,095186
0,035204
0,066132
0,096166
0,13287
0,005677
-0,01514
-0,00543
0,106655
0,165845
-0,03582
0,095401
-0,10702
0,155313
0,041796
-0,04029
-0,00639
0,087055
0,036008
0,128943
-0,23189
-0,11956
-0,09362
-0,19591
-0,14506
-0,08113
-0,11779
-0,03827
Ai error Ai
0,1938243
0,0739779
0,0626912
0,1152144
0,1134712
0,095186
0,035204
0,0661318
0,0961659
0,1328697
0,0056771
0,0151431
0,0054301
0,1066548
0,1658452
0,0358177
0,0954012
0,1070191
0,1553128
0,0417961
0,0402864
0,0063921
0,0870547
0,0360082
0,1289426
0,2318893
0,119558
0,093621
0,1959131
0,1450634
0,0811341
0,1177922
0,0382742
3,040763
MSE
MAPE (%)
Accuracy (%) error square 0,037568 0,005473 0,00393 0,013274 0,012876 0,00906 0,001239 0,004373 0,009248 0,017654 3,22E-05 0,000229 2,95E-05 0,011375 0,027505 0,001283 0,009101 0,011453 0,024122 0,001747 0,001623 4,09E-05 0,007579 0,001297 0,016626 0,053773 0,014294 0,008765 0,038382 0,021043
0,006583
0,013875
0,001465
0,386918
0,011725
39,36038
60,63962
% error
32,30405
12,37088
10,71645
19,86455
20,5192
17,99358
6,875785
13,25286
18,85607
26,46806
1,158592
3,065407
1,148006
24,9777
36,4495
8,672574
21,83093
27,23132
37,789
10,71695
11,22184
1,709123
26,06428
11,46758
44,61683
122,6928
66,42112
63,68774
154,2623
116,0508
52,68446
84,13731
34,17341
1141,451
Model B Model B menggambarkan analisis data dengan menggunakan data uji dan data actual sebanyak 33 data, iterasi 1000, hidden layer neuron sebanyak 7, input layer 3 dan output layer 1.
Hasil dari beberapa attribute tersebut akan di modelkan dengan menggunakan bahasa pemrograman python untuk mendapatkan hasil predicted output yang mendekati data actual output.
Pada gambar 5 menunjukkan bahwa value actual output dengan value predicted output masih ada value loss yang cukup tinggi yaitu 0,008723719203816059.
Untuk value loss dan value predicted output pada Model B menggunakan metode Backpropagation Neural Network dapat dilihat sebagai berikut:
Hasil value loss: 0, 008723719203816059 Hasil value predicted output:
, 37255.
, 47744.
, 62753.
, 4269.
, 52795.
, 42713.
, 48780.
, 43321.
, 40509.
, 37649.
, 43772.
, 45532.
, 42127.
, 33515.
, 28527.
, 38532.
, 3332.
, 44858.
, 35214.
, 36827.
, 39395.
, 39015.
, 33681.
, 26042.
, 14784.
, 30474.
, 26709.
, 26097.
, 2742.
, 10994.
, 18610.
, 22415.
, 16428.
Matrik: Jurnal Managemen,Teknik Informatika, dan Rekayasa Komputer.
Vol.
No.
Juli 2022: 525 Ae 538 Matrik: Jurnal Managemen,Teknik Informatika, dan Rekayasa Komputer Gambar 5.
Grafik untuk Model B Pada tabel 4 dapat dilihat bahwa proses untuk mendapatkan nilai MSE diawali dengan proses mencari nilai Erorr.
AierorrAi, erorr square dan %erorr.
Setelah nilai-nilai tersebut diketahui maka langkah selanjutnya adalah mencari nilai MSE menggunakan persamaan .
berdasarkan data tabel 4, setelah itu mencari nilai MAPE menggunakan persamaan .
berdasarkan data tabel 4, setelah nilai MAPE diketahui maka langkah selanjutnya adalah mencari nilai accuracy menggunakan persamaan .
dengan menggunakan data tabel 4.
Nilai Accuracy yang dihasilkan pada model data B yaitu 70,50749 %.
Tabel 4.
Perhitungan MSE.
MAPE dan Accuracy untuk Model B
Actual Output
0,598
0,585
0,58
0,553
0,529
0,512
0,499
0,51
0,502
0,49
0,494
0,473
0,427
0,455
0,413
0,437
0,393
0,411
0,39
0,359
0,374
0,334
0,314
0,289
0,189
0,18
0,147
0,127
0,125
0,154
0,14
0,112
Predicted Output
0,37256
0,477444
0,627533
0,426957
0,527953
0,427134
0,487802
0,433211
0,405092
0,376494
0,437724
0,455324
0,421276
0,335152
0,28527
0,385329
0,333224
0,448582
0,352143
0,368277
0,393954
0,390152
0,336819
0,260429
0,14784
0,304742
0,267096
0,260978
0,274217
0,109945
0,186103
0,224152
0,164282
Error
0,22744
0,120556
-0,04253
0,153043
0,025047
0,101866
0,024198
0,065789
0,104908
0,125506
0,052276
0,038676
0,051724
0,091848
0,16973
0,027671
0,103776
-0,05558
0,058857
0,021723
-0,03495
-0,01615
-0,00282
0,053571
0,14116
-0,11574
-0,0871
-0,11398
-0,14722
0,015055
-0,0321
-0,08415
-0,05228
Ai error Ai
0,22744
0,120556
0,042533
0,153043
0,025047
0,101866
0,024198
0,065789
0,104908
0,125506
0,052276
0,038676
0,051724
0,091848
0,16973
0,027671
0,103776
0,055582
0,058857
0,021723
0,034954
0,016152
0,002819
0,053571
0,14116
0,115742
0,087096
0,113978
0,147217
0,015055
0,032103
0,084152
0,052282
2,559031
MSE
MAPE (%)
Accuracy (%) error square 0,051729 0,014534 0,001809 0,023422 0,000627 0,010377 0,000586 0,004328 0,011006 0,015752 0,002733 0,001496 0,002675 0,008436 0,028808 0,000766 0,01077 0,003089 0,003464 0,000472 0,001222 0,000261 7,94E-06 0,00287 0,019926 0,013396 0,007586 0,012991 0,021673 0,000227
0,001031
0,007081
0,002733
0,287883
0,008724
29,49251
70,50749
% error
37,90671
20,15991
7,27067
26,38679
4,529315
19,25631
4,726258
13,18413
20,57029
25,0012
10,66862
7,829105
10,93522
21,51002
37,30325
6,699935
23,74744
14,14312
14,32036
5,570033
9,736538
4,318586
0,84388
17,06082
48,8442
61,2394
48,38672
77,53574
115,9186
12,04433
20,84631
60,10826
46,6807
855,2827
Smart Assessment Menggunakan .
(Agung Teguh Wibowo Almai.
ISSN: 2476-9843 Model C Model C menggambarkan analisis data dengan menggunakan data uji dan data actual sebanyak 33 data, iterasi 2000, hidden layer neuron sebanyak 9, input layer 3 dan output layer 1.
Hasil dari beberapa attribute tersebut akan di modelkan dengan menggunakan bahasa pemrograman python untuk mendapatkan hasil predicted output yang mendekati data actual output.
Pada gambar 6 menunjukkan bahwa value actual output dengan value predicted output masih ada value loss yang cukup tinggi yaitu 0, 006385032153835237.
Untuk value loss dan value predicted output pada Model C menggunakan metode Backpropagation Neural Network dapat dilihat sebagai berikut:
Hasil value loss: 0, 006385032153835237 Hasil value predicted output:
, 43757.
, 50356.
, 65608.
, 43909.
, 55569.
, 44835.
, 46644.
, 40163.
, 48243.
, 44712.
, 45299.
, 45691.
, 43546.
, 34211.
, 29666.
, 36845.
, 342.
, 40047.
, 3187.
, 3748.
, 34059.
, 3467.
, 33748.
, 28878.
, 12095.
, 27182.
, 27748.
, 23187.
, 21929.
, 12288.
, 16765.
, 22090.
, 17361.
Gambar 6.
Grafik untuk Model C Pada tabel 5 dapat dilihat bahwa proses untuk mendapatkan nilai MSE diawali dengan proses mencari nilai Erorr.
AierorrAi, erorr square dan %eror.
Setelah nilai-nilai tersebut diketahui maka langkah selanjutnya adalah mencari nilai MSE menggunakan persamaan .
berdasarkan data tabel 5, setelah itu mencari nilai MAPE menggunakan persamaan .
berdasarkan data tabel 5, setelah nilai MAPE diketahui maka langkah selanjutnya adalah mencari nilai accuracy menggunakan persamaan .
dengan menggunakan data tabel 5.
Nilai Accuracy yang dihasilkan pada model data C yaitu 75.
53794 %.
Matrik: Jurnal Managemen,Teknik Informatika, dan Rekayasa Komputer.
Vol.
No.
Juli 2022: 525 Ae 538 Matrik: Jurnal Managemen,Teknik Informatika, dan Rekayasa Komputer Tabel 5.
Perhitungan MSE.
MAPE dan Accuracy untuk Model C
Actual Output
0,598
0,585
0,58
0,553
0,529
0,512
0,499
0,51
0,502
0,49
0,494
0,473
0,427
0,455
0,413
0,437
0,393
0,411
0,39
0,359
0,374
0,334
0,314
0,289
0,189
0,18
0,147
0,127
0,125
0,154
0,14
0,112
Predicted Output
0,437576
0,503567
0,656084
0,439094
0,555693
0,448359
0,466442
0,401638
0,482435
0,447127
0,452991
0,45692
0,435464
0,342112
0,296664
0,368459
0,342793
0,400476
0,318783
0,374855
0,340597
0,346755
0,337482
0,288782
0,120951
0,271828
0,27748
0,231872
0,219293
0,122884
0,167653
0,220902
0,173612
Error
0,162424
0,094433
-0,07108
0,140906
-0,00269
0,080641
0,045558
0,097362
0,027565
0,054873
0,037009
0,03708
0,037536
0,084888
0,158336
0,044541
0,094207
-0,00748
0,092217
0,015145
0,018403
0,027245
-0,00348
0,025218
0,168049
-0,08283
-0,09748
-0,08487
-0,09229
0,002116
-0,01365
-0,0809
-0,06161
Ai error Ai
0,162424
0,094433
0,071084
0,140906
0,002693
0,080641
0,045558
0,097362
0,027565
0,054873
0,037009
0,03708
0,037536
0,084888
0,158336
0,044541
0,094207
0,007476
0,092217
0,015145
0,018403
0,027245
0,003482
0,025218
0,168049
0,082828
0,09748
0,084872
0,092293
0,002116
0,013653
0,080902
0,061612
2,144126
MSE
MAPE (%)
Accuracy (%) error square 0,026381 0,008918 0,005053 0,019855 7,25E-06 0,006503 0,002076 0,009479 0,00076 0,003011 0,00137 0,001375 0,001409 0,007206 0,02507 0,001984 0,008875 5,59E-05 0,008504 0,000229 0,000339 0,000742 1,21E-05 0,000636 0,028241 0,006861 0,009502 0,007203 0,008518 4,48E-06
0,000186
0,006545
0,003796
0,210706
0,006385
24,46206
75,53794
% error
27,07062
15,79142
12,15114
24,29414
0,486897
15,24397
8,897996
19,51151
5,404876
10,93079
7,552906
7,506126
7,935717
19,87999
34,79906
10,78474
21,55767
1,902384
22,4372
3,88341
5,126315
7,284813
1,042407
8,03107
58,14858
43,82446
54,15573
57,73606
72,67159
1,69244
8,86574
57,78735
55,01059
709,3997
Model D Model D menggambarkan analisis data dengan menggunakan data uji dan data actual sebanyak 33 data, iterasi 4000, hidden layer neuron sebanyak 9, input layer 3 dan output layer 1.
Hasil dari beberapa attribute tersebut akan di modelkan dengan menggunakan bahasa pemrograman python untuk mendapatkan hasil predicted output yang mendekati data actual output.
Pada gambar 7 menunjukkan bahwa value actual output dengan value predicted output masih ada value loss yang rendah yaitu 0, 0036049491283552558.
Untuk value loss dan value predicted output pada Model D menggunakan metode Backpropagation Neural Network dapat dilihat sebagai berikut:
Hasil value loss: 0.
Hasil value predicted output:
, 60274.
, 57187.
, 64564.
, 46469.
, 60764.
, 58234.
, 5159.
, 50868.
, 54168.
, 57386.
, 52275.
, 53669.
, 432.
, 37800.
, 49307.
, 43306.
, 39047.
, 39444.
, 41482.
, 39030.
, 39131.
, 39387.
, 34939.
, 34139.
, 10870.
, 26758.
, 29861.
, 25191.
, 19500.
, 13133.
, 17475.
, 22342.
, 11564.
Smart Assessment Menggunakan .
(Agung Teguh Wibowo Almai.
ISSN: 2476-9843 Gambar 7.
Grafik untuk Model D Pada tabel 6 dapat dilihat bahwa proses untuk mendapatkan nilai MSE diawali dengan proses mencari nilai Erorr.
AierorrAi, erorr square dan %erorr.
Setelah nilai-nilai tersebut diketahui maka langkah selanjutnya adalah mencari nilai MSE menggunakan persamaan .
berdasarkan data tabel 6, setelah itu mencari nilai MAPE menggunakan persamaan .
berdasarkan data tabel 6, setelah nilai MAPE diketahui maka langkah selanjutnya adalah mencari nilai accuracy menggunakan persamaan .
dengan menggunakan data tabel 6.
Nilai Accuracy yang dihasilkan pada model data C yaitu 81.
28917 %.
Tabel 6.
Perhitungan MSE.
MAPE dan Accuracy untuk Model D Actual Output
0,598
0,585
0,58
0,553
0,529
0,512
0,499
0,51
0,502
0,49
0,494
0,473
0,427
0,455
0,413
0,437
0,393
0,411
0,39
0,359
0,374
0,334
0,314
0,289
0,189
0,18
0,147
0,127
0,125
0,154
0,14
0,112
Predicted Output
0,602741
0,571879
0,645645
0,4647
0,60764
0,582349
0,515936
0,508684
0,541689
0,573863
0,522752
0,536694
0,432874
0,378007
0,493079
0,433066
0,390473
0,394445
0,414828
0,390306
0,391313
0,393877
0,349391
0,341393
0,108706
0,267587
0,298611
0,251919
0,195001
0,131332
0,174751
0,223422
0,115641
Error
-0,00274
0,026121
-0,06064
0,1153
-0,05464
-0,05335
-0,00394
-0,00968
-0,03169
-0,07186
-0,03275
-0,04269
0,040126
0,048993
-0,03808
-0,02007
0,046527
-0,00145
-0,00383
-0,00031
-0,03231
-0,01988
-0,01539
-0,02739
0,180294
-0,07859
-0,11861
-0,10492
-0,068
-0,00633
-0,02075
-0,08342
-0,00364
Ai error Ai
0,002741
0,026121
0,060645
0,1153
0,05464
0,053349
0,003936
0,009684
0,031689
0,071863
0,032752
0,042694
0,040126
0,048993
0,038079
0,020066
0,046527
0,001445
0,003828
0,000306
0,032313
0,019877
0,015391
0,027393
0,180294
0,078587
0,118611
0,104919
0,068001
0,006332
0,020751
0,083422
0,003641
1,464315
MSE
MAPE (%)
Accuracy (%) Matrik: Jurnal Managemen,Teknik Informatika, dan Rekayasa Komputer.
Vol.
No.
Juli 2022: 525 Ae 538
error square 7,51E-06 0,000682 0,003678 0,013294 0,002986 0,002846 1,55E-05 9,38E-05 0,001004 0,005164 0,001073 0,001823 0,00161 0,0024 0,00145 0,000403 0,002165 2,09E-06 1,47E-05 9,39E-08 0,001044 0,000395 0,000237 0,00075 0,032506 0,006176 0,014069 0,011008 0,004624 4,01E-05
0,000431
0,006959
1,33E-05
0,118963
0,003605
18,71083
81,28917
% error
0,456785
4,368082
10,36664
19,87932
9,880678
10,08496
0,768691
1,940583
6,213594
14,31532
6,684112
8,642445
8,483298
11,4738
8,368976
4,858588
10,64681
0,367794
0,931465
0,078559
9,000788
5,314754
4,608012
8,724
62,38543
41,58043
65,89495
71,37333
53,54434
5,065848
13,47442
59,58679
3,250491
542,6141
Matrik: Jurnal Managemen,Teknik Informatika, dan Rekayasa Komputer Berdasarkan hasil perhitungan MSE.
MAPE dan Accuracy disetiap model data diatas, maka dapat dilihat nilai MSE.
MAPE dan Accuracy pada tabel 7 dapat dijelaskan bahwa dengan menggunakan 4 model data yang terdapat perbedaan pada jumlah iterasi dan hidden layer maka didapatkan nilai MSE.
MAPE dan Accuracy.
Pada model A menggunakan iterasi 1000 dan 5 hidden layer maka menghasilkan nilai MSE sebesar 0,0117.
MAPE sebesar 39,36% dan Accuracy sebesar 60,64%.
Sedangkan pada model B model B menggunakan iterasi 1000 dan 7 hidden layer maka menghasilkan nilai MSE sebesar 0,0087.
MAPE sebesar 29,49% dan Accuracy sebesar 70,50%.
Untuk model C dengan menggunakan iterasi 2000 dan 9 hidden layer maka menghasilkan nilai MSE sebesar 0,0064.
MAPE sebesar 24,46% dan Accuracy sebesar 75,53%.
Untuk model terakhir yaitu model D menggunakan iterasi 4000 dan 9 hidden menghasilkan nilai MSE sebesar 0,0036.
MAPE sebesar 18,71% dan Accuracy sebesar 81,28%.
untuk melihat perbedaan nilai MSE.
MAPE dan Accuracy yang di hasilkan pada masing-masing model, dapat dilihat pada gambar 8.
Tabel 7.
Hasil MSE.
MAPE (%) dan Accuracy (%) pada setiap model data
Model
Iterasi
Hidden Layer
MSE
0,0117
0,0087
0,0064
0,0036
MAPE (%)
39,36
29,49
24,46
18,71
Accuracy (%) 60,64 75,53 81,28 Pada gambar 8 dapat dilihat bahwa semakin rendah nilai MAPE yang dihasilkan di masing-masing model data maka semakin tinggi nilai accuracy dari model data tersebut.
Pada model data ke-4 tersebut merupakan model data yang menghasilkan nilai accuracy terbaik dibandingkan dengan model data uji lainnya, dengan menggunakan jumlah iterasi 4000 dan hidden layer 9 maka didapat nilai MAPE sebesar 18,71% dengan tingkat accuracy 81,28%.
Gambar 8.
Grafik Perbandingan Nilai MSE.
MAPE dan Accuracy pada setiap model data
KESIMPULAN
Teknik scraping dapat digunakan untuk mendapatkan data dan informasi di website Pemerintah Daerah, kemudian data dan informasi tersebut dapat digunakan untuk assessment website Pemerintah Daerah.
Data dan Informasi tersebut di proses menggunakan metode Backpropagation Neural Network untuk memprediksi hasil Self-Assessment Questionnaire (SAQ) 2021 website Pemerintah Daerah di Provinsi Jawa Timur.
Dengan mengimplementasikan model prediksi .
berdasarkan data hasil SAQ 2020 yang di modelkan dengan menggunakan metode Backpropagation Neural Network sehingga di dapatkan nilai MSE.
MAPE dan accuracy untuk memprediksi nilai SAQ 2021 website Pemerintah Daerah Provinsi Jawa Timur.
Nilai hasil dari MSE dan MAPE setiap model data akan di proses untuk mendapatkan nilai accuracy pada setiap model data.
Dari 4 model data yang digunakan ujicoba menghasilkan nilai MSE.
MAPE dan tingkat accuracy yang berbeda-beda tergantung dari jumlah iterasi dan hidden layer yang digunakan.
Dari hasil pengujian yang telah dilakukan menghasilkan tingkat accuracy tertinggi didapat pada model data ke-4 dengan menggunakan iterasi 4000, hidden layer 9 dan mendapatkan nilai MSE 0,0036.
MAPE 18,71%, accuracy 81,28%.
Berbeda dengan hasil ujicoba model data ke-3 yang menggunakan iterasi 2000, hidden layer 9 dan mendapatkan nilai MSE 0,0064.
MAPE 24,46%, accuracy 75,53%.
Berdasarkan pengujian tersebut didapatkan bahwa Tim PPID dapat memprediksi nilai SAQ 2021 website Pemerintah Daerah di Provinsi Jawa Timur dengan menggunakan menggunakan data hasil SAQ tahun sebelumnya yang diproses menggunakan pendekatan metode Backpropagation Neural Network.
Smart Assessment Menggunakan .
(Agung Teguh Wibowo Almai.
ISSN: 2476-9843 Untuk penelitian selanjutnya dapat mengimplementasikan metode assessment website Pemerintah Daerah menggunakan kombinasi model analisis assessment Importance Performance Analysis (IPA) dengan metode Artificial Intelligence (AI), dengan menggunakan model IPA dapat digunakan untuk mencari 3 dimensi pada webqual 4.
0 yaitu usability, information dan service interaction.
Selain itu juga dapat diterapkan metode yang dapat menghasilkan nilai non-continues agar dapat di uji menggunakan metode confuxion matrix.
UCAPAN TERIMA KASIH
Terima kasih kami ucapkan kepada Lembaga Penelitian dan Pengabdian Masyarakat (LP2M) UIN Maulana Malik Ibrahim Malang atas pendanaan penelitian ini serta turut mendukung terselesainya penelitian ini.
REFERENSI