Jurnal SAINTEKOM (Sains dan Teknologi Komputas.
Vol.
No.
Juni, 2025 Lembaga Penelitian.
Pengembangan, dan Pengabdian Kepada Masyarakat UNBIN e-ISSN: x Received: 31 Maret 2025.
Accepted: 28 April 2025.
Published: Juni 2025 Penerapan Algoritma Winnowing dan Cosine Similarity untuk Penilaian Jawaban Esai Marwan Hadid1*.
Anggra Triawan2 Program Studi Teknik Informatika.
Fakultas Informatika dan Komputer.
Universitas Binaniaga Indonesia e-mail: marwanhadid6@gmail.
*Coresponding Author
ABSTRACT
Essay assessment is one of the evaluation methods frequently used to measure students' understanding of the material.
However, manual essay assessment often takes a long time, is prone to errors, and sometimes the grading results are incorrect.
Therefore, a computational approach is needed to facilitate lecturers in grading.
The Winnowing and Cosine Similarity algorithms are proposed as solutions to improve the effectiveness and accuracy of essay assessments.
The assessment process begins with text pre-processing, where important words are retained, and irrelevant words are discarded.
Next, the essay text is broken into several substrings or turned into tokens using the k-gram method.
Then, hashing is performed on these tokens using the Rolling Hash algorithm.
The Winnowing algorithm is used to select the smallest hashing value from the set of generated hashing values, and the frequency of the occurrence of these values is calculated in both the student's essay and the answer key.
Finally, the similarity between the essay and the answer key is calculated using Cosine Similarity.
This assessment application has been tested by system experts and deemed "Highly Feasible" with a feasibility rate of 100%.
A user test using the PPSUQ questionnaire also showed that this application is "Highly Feasible," with an overall result of Additionally, the MAPE (Mean Absolute Percentage Erro.
test result showed a grading error rate of 11%, which indicating that this application is effective and accurate in essay assessments.
Keywords: Essay Scoring.
Winnowing Algorithm.
Cosine Similarity Algorithm.
Mean Absolute Percentage Error.
Application Protoype ABSTRAK Penilaian esai merupakan salah satu bentuk evaluasi yang sering digunakan untuk mengukur kemampuan mahasiswa dalam memahami materi.
Namun, penilaian esai secara manual sering kali memakan waktu yang lama, rentan terhadap kesalahan, dan terkadang hasil penilaiannya kurang tepat.
Oleh karena itu, diperlukan pendekatan komputasi untuk mempermudah dosen dalam memberikan nilai.
Algoritma Winnowing dan Cosine Similarity diusulkan sebagai solusi untuk meningkatkan efektivitas dan ketepatan penilaian esai.
Proses penilaian dimulai dengan text pre-processing, di mana kata-kata penting dipertahankan dan kata-kata yang tidak relevan dibuang.
Selanjutnya, teks jawaban dipecah menjadi beberapa potongan substring atau dijadikan sebagai token menggunakan metode k-gram.
Kemudian, dilakukan hashing terhadap token-token menggunakan algoritma Rolling Hash.
Algoritma Winnowing digunakan untuk memilih nilai hashing terkecil dari kumpulan nilai hashing yang dihasilkan, dan frekuensi kemunculan nilai tersebut dihitung pada jawaban mahasiswa dan kunci jawaban.
Akhirnya, tingkat kemiripan antara jawaban dan kunci jawaban dihitung menggunakan Cosine Similarity.
Aplikasi penilaian ini telah diuji oleh ahli sistem dan dinyatakan AuSangat LayakAy dengan tingkat kelayakan 100%.
Hasil pengujian kelayakan aplikasi kepada pengguna juga menunjukkan aplikasi ini AuSangat LayakAy dengan hasil keseluruhan 83%.
Selain itu, hasil uji Mean Absolute Percentage Error (MAPE) menunjukkan tingkat kesalahan nilai sebesar 11%, yang menunjukkan aplikasi ini efektif dan tepat dalam penilaian esai.
Kata Kunci: Penilaian Esai.
Algortitma Winnowing.
Algoritma Cosine Similarity.
Mean Absolute Percentage Error.
Prototype Aplikasi
PENDAHULUAN
Latar Belakang Evaluasi merupakan proses yang bersifat komprehensif dan sistematis di mana ini meliputi pengukuran, penilaian, dan analitis untuk menentukan tingkat kemampuan peserta didik dalam mencapai tujuan pembelajaran serta menentukan keberhasilan suatu program pendidikan yang dilaksanakan (Widiyanto, 2018, hlm.
Ujian atau tes adalah salah satu bentuk evaluasi yang dilakukan secara sistematik, komprehensif, dan objektif di mana hasilnya akan dijadikan sebagai acuan dalam mengukur kemampuan siswa dan menentukan keputusan bagi dalam proses Tes jenis uraian atau esai adalah jenis tes yang menuntut peserta didik untuk mengorganisasikan, mengekspresikan, serta menyatakan jawabannya menurut kata Ae kata sendiri.
Proses penilaian tes uraian dilakukan dengan menyiapkan sejumlah kata kunci atau keyword sebagai kunci jawaban lalu akan dicocokkan dengan jawaban peserta ujian.
Semakin banyak jumlah kata yang sama, semakin besar pula skor yang diberikan.
Proses penilaian jawaban ujian yang semula dilakukan secara penuh oleh manusia kini dapat dialihkan ke dalam bentuk sebuah aplikasi atau sistem.
Sistem yang memiliki kecerdasan layaknya manusia.
Natural Language Processing merupakan gabungan dari cabang ilmu komputer dan linguistik yang mempelajari serta mengembangkan kemampuan komputer untuk memahami bahasa alami manusia yang lebih kompleks.
Cosine Similarity adalah salah satu metode untuk mengukur kemiripan antara dua buah vektor.
Secara spesifik, metode ini mengukur sudut cosinus di antara dua vektor dalam ruang multidimensi.
Semakin kecil sudut antara dua vektor, semakin mirip pula kemiripan mereka.
Penelitian sebelumnya menggunakan metode Cosine Similarity dengan pendekatan string similarity untuk melakukan penilaian otomatis jawaban esai ujian.
dan didapat tingkat akurasi sebesar 85,4% (Kurniadi.
Gernowo.
Surarso.
Wibowo, & Warsito, 2.
Algoritma Winnowing adalah algoritma yang digunakan untuk melakukan document fingerprinting, yakni teknik mengubah setiap string menjadi susunan angka atau disebut juga dengan hashing (Purwaningrum dkk.
, 2.
Teknik ini dilakukan untuk mengukur tingkat kemiripan salinan antardokumen atau sebagian teks (Kurniawati & Pradnya, 2.
Berdasarkan beberapa pemaparan yang telah dijelaskan di atas, penyusun berkeinginan untuk melakukan penelitian yaitu menerapkan Algoritma Winnowing dan Cosine Similarity untuk penilaian jawaban esai ujian berbasis komputer.
Jurnal SAINTEKOM (Sains dan Teknologi Komputas.
Vol.
No.
Juni, 2025 Lembaga Penelitian.
Pengembangan, dan Pengabdian Kepada Masyarakat UNBIN e-ISSN: x Permasalahan Proses penilaian jawaban esai ini cenderung menggunakan waktu yang tidak relatif singkat.
Terdapat beberapa indikator yang memunculkan adanya suatu masalah yang dijabarkan pada tabel berisi tiga pertanyaan kuesioner sebagaimana dijelaskan pada Tabel 1.
Tabel 1.
Pertanyaan Kuesioner Permasalahan Pertanyaan Apakah selama melakukan penilaian esai terdapat kesulitan yang bapak / ibu alami? Apakah bapak / ibu pernah melakukan kesalahan dalam melakukan penilaian esai? Dalam melakukan penilaian esai, perlu adanya objektivitas selama melakukan penilaian seperti dengan cara tidak membeda Ae bedakan antar mahasiswa, memberikan nilai sesuai dengan kompetensi yang Tetapi pelaksanaannya terdapat beberapa kasus penilaian dilakukan secara subjektif seperti memberikan nilai berdasarkan gender di mana mahasiswi akan lebih diutamakan dalam memberikan bobot nilai sebagaimana dijelaskan pada situs:
https://persfe.
com/menilik-objektivitas-dosen-dalam-memberikannilai/.
Dari kasus tersebut, apakah bapak atau ibu pernah melakukan penilaian esai secara subjektif? Iya Jawaban Tidak Selain itu, dampak dari waktu dalam menilai esai yang relatif tidak singkat adalah adanya keterlambatan dosen dalam mengirimkan nilai.
Hal ini dibuktikan dengan adanya tabel keterangan pengumpulan nilai mata kuliah dijelaskan pada Tabel 2.
Tabel 2.
Keterangan Pengumpulan Nilai Mata Kuliah Kelas A.
Statistik
DBMS
Pancasila Programming Language Business Process Platform Tech User Experience Kelas D Enterprise System Business Intelligence - Data Mining Project Proposal and Seminar Keterangan Pengumpulan Nilai untuk kelas C belum dikumpulkan Nilai sudah dikumpulkan Nilai untuk kelas C belum dikumpulkan Nilai untuk kelas C belum dikumpulkan Nilai sudah dikumpulkan Nilai sudah dikumpulkan Nilai sudah dikumpulkan Nilai sudah dikumpulkan Nilai sudah dikumpulkan Nilai belum dikumpulkan IT Service Management Management of Science Data Mining and Data Warehousing Information Visualization Enterprise System IS/IT Enterprise Architecture IS Strategy.
Management, and Acquisition Web-based Programmang Nilai sudah dikumpulkan Nilai sudah dikumpulkan Nilai untuk kelas C belum dikumpulkan Nilai sudah dikumpulkan Nilai sudah dikumpulkan Nilai sudah dikumpulkan Nilai sudah dikumpulkan Nilai untuk kelas C belum dikumpulkan Bahasa Indonesia Nilai untuk kelas C belum dikumpulkan Nilai untuk kelas A.
B, dan C belum Nilai sudah dikumpulkan Information System Project (Mino.
Data Integration Jurnal SAINTEKOM (Sains dan Teknologi Komputas.
Vol.
No.
Juni, 2025 Lembaga Penelitian.
Pengembangan, dan Pengabdian Kepada Masyarakat UNBIN e-ISSN: x Mata Kuliah Information System Application Testing Interpersonal Skill Technopreneurship Basic Culture Citizenship Studies Enterpreneurship Religious Studies Social and Professionalism Bahasa Indonesia Interpersonal Skill Technopreneurship Information System Project (Mino.
Distributed Computing Interactive System Development Keterangan Pengumpulan Nilai sudah dikumpulkan Nilai sudah dikumpulkan Nilai untuk kelas B belum dikumpulkan Nilai untuk kelas C belum dikumpulkan Nilai untuk kelas C belum dikumpulkan Nilai untuk kelas A dan B belum dikumpulkan Nilai sudah dikumpulkan Nilai sudah dikumpulkan Nilai sudah dikumpulkan Nilai sudah dikumpulkan Nilai belum dikumpulkan Nilai belum dikumpulkan Nilai sudah dikumpulkan Nilai belum dikumpulkan Dari uraian permasalahan di atas, dapat diketahui bahwa proses penilaian esai cenderung sulit karena harus menyesuaikan jawaban mahasiswa yang kosakatanya beragam, adanya kesalahan selama penilaian esai seperti adanya poin penilaian yang tertukar dengan nilai soal poin lainnya, penilaian esai cenderung memakan waktu yang relatif tidak singkat dan adanya keterlambatan bagi dosen dalam mengirimkan nilai.
Tujuan Menerapkan algoritma Winnowing dan Cosine Similarity untuk mendapatkan tingkat ketepatan, efektivitas, mengembangkan prototype aplikasi, dan mengukur seberapa tepat dan efektif algoritma yang diterapkan untuk penilaian esai.
METODE
Algoritma Winnowing adalah salah satu algoritma untuk melakukan document fingerprinting di mana fingerprint tersebut didapat dari dokumen teks yang diubah setiap karakter hurufnya menjadi susunan kode atau dengan istilah Pada setiap window, nilai hash yang dipilih adalah yang minimum, tetapi jika ada lebih dari satu nilai hash dengan nilai minimum, nilai yang dipilih berada posisinya paling kanan, kemudian simpan nilai hash yang dipilih untuk dijadikan sebagai document fingerprinting (Schleimer.
Wilkerson, & Aiken, 2003, hlm.
Proses pembentukan document fingerprinting pada jawaban dan kunci jawaban terdiri dari beberapa langkah, yakni diawali dengan melakukan:
Text pre-processing, di mana teks akan diolah dengan cara mengubah huruf kapital menjadi huruf kecil, menghilangkan tanda baca, dan menghapus awalan dan akhiran teks.
Tokenisasi, dilakukan dengan cara memotong setiap kata pada teks menjadi beberapa potongan huruf.
tokenisasi ini menggunakan metode k-gram.
Hashing atau mengonversi token jawaban esai menjadi susunan kode angka.
pada dokumen token sejumlah karakter pertama pada token di-hash dengan cara karakter paling pertama dalam token dikonversi menjadi karakter ASCII.
setelah nilai hash pertama didapatkan, hashing berlanjut dengan menggeser satu karakter ke Fingerprinting, nilai hashing dikelompokkan ke dalam window.
ukuran window menentukan berapa banyak nilai hash yang ditampung.
dari kumpulan nilai Ae nilai hash dipilih nilai hash minimum.
Menghitung frekuensi kemunculan fingerprinting jawaban dan kunci jawaban.
Nilai token pada fingerprint jawaban dan kunci jawaban digabungkan kemudian masing Ae masing token jawaban dan kunci jawaban dihitung frekuensi kemunculannya.
Cosine Similarity adalah algoritma untuk mengukur kesamaan antara dua dokumen yang mana dua dokumen tersebut masing Ae masing didefinisikan sebagai ya1 dan yaA1 .
Tingkat kesamaan antara dua dokumen diukur berdasarkan besar sudut yang menghubungkan dua dokumen tersebut, semakin kecil sudutnya, semakin besar tingkat kesamaan dua dokumen tersebut (Manning.
Raghavan, & Schytze, 2009, hlm.
120Ae.
Rumus metode cosine similarity dapat dijelaskan sebagaimana yang ditunjukkan pada Gambar 1.
Jurnal SAINTEKOM (Sains dan Teknologi Komputas.
Vol.
No.
Juni, 2025 Lembaga Penelitian.
Pengembangan, dan Pengabdian Kepada Masyarakat UNBIN e-ISSN: x Gambar 1.
Cosine Similarity Keterangan:
yuE adalah sudut antara dua vektor, ya Oo yaA adalah dot product pada vektor A dan B dan dikalkulasikan sebagai ya Oo yaA = yaycN yaA = Ocycu1 yaycn yaAycn = ya1 yaA1 ya2 yaA2 ya3 yaA3 U yaycu yaAycu .
AnyaAn dan Anyan adalah skala pada vektor yang dikalkulasikan sebagai AnyaAn = Ooya21 ya22 U ya2ycu dan begitupun dengan Anyan.
Setelah memperoleh fingerprint jawaban dan kunci jawaban, selanjutnya adalah menghitung tingkat similaritas antara dokumen jawaban esai dengan dokumen kunci jawaban dengan menggunakan algoritma Cosine Similarity.
Setelah mendapatkan tingkat kemiripan, pemberian nilai dilakukan dengan cara hasil tingkat kemiripan dikalikan dengan bobot soal sebagaimana dijelaskan pada rumus di bawah.
HASIL DAN PEMBAHASAN
HASIL
Proses penilaian esai dilakukan dengan mencocokkan antara jawaban mahasiswa dengan kunci jawaban.
Jawaban didapatkan dari soal esai yang telah dibuat sebelumnya beserta bobotnya.
Tabel 3.
Soal Esai dan Bobot Soal Soal Esai Tuliskan 3 kerangka DSS dan jelaskan! Bobot Soal Setelah didapatkan soal beserta bobotnya, selanjutnya adalah mengumpulkan jawaban esai dan kunci jawabanya.
Tabel 4.
Jawaban dan Kunci Jawaban Esai Jawaban Esai - Terstruktur, mengacu pada permasalahan rutin dan berulang untuk solusi standar yang ada - Tak terstruktur, adalah 'fuzzy', permasalahan kompleks dimana tak ada solusi serta merta - Semi terstruktur, terdapat beberapa keputusan terstruktur, tetapi tak semuanya dari fase-fase yg Kunci Jawaban Terstruktur: mengacu kepada permasalahan yang rutin dan berulang untuk solusi standar yang ada.
Tak terstruktur: mengacu kepada permsalahan kompleks di mana tidak ada solusi.
Semi terstruktur: terdapat beberapa keputusan terstruktur, tetapi tak semuanya dari fase - fase yang ada.
Text pre-processing dilakukan baik pada jawaban esai maupun pada kunci jawaban esai.
Tabel 5.
Pre-processing Jawaban dan Kunci Jawaban Jawaban Esai struktur acu masalah rutin ulang solusi standar struktur fuzzy masalah kompleks mana solusi merta semi struktur putus struktur fasefase yang Kunci Jawaban struktur acu masalah rutin ulang solusi standar struktur acu masalah kompleks solusi semi struktur putus struktur fase fase Tokenisasi pada jawaban dan kunci jawaban dilakukan dengan cara memotong kalimat menjadi potongan substring sehingga potongan substring ini disebut sebagai k-gram.
Proses tokenisasi ini dilakukan setelah melalui tahap text Untuk nilai k-gram yang digunakan adalah 2 sehingga pada setiap token terdapat dua buah huruf.
Tabel 6.
Tokenisasi Jawaban dan Kunci Jawaban Jawaban Esai "st", "tr", "ru", "uk", "kt", "tu", "ur", "ra", "ac", "cu", "um", "ma", "as", "sa", "al", "la", "ah", "hr", "ru", "ut", "ti", "in", "nu", "ul", "la", "an", "ng", "gs", "so", "ol", "lu", "us", "si", "is", "st", "ta", "an", "nd", "da", "ar", "rs", "st", "tr", "ru", "uk", "kt", "tu", "ur", "rf", "fu", "uz", "zz", "zy", "ym", "ma", "as", "sa", "al".
Kunci Jawaban "st", "tr", "ru", "uk", "kt", "tu", "ur", "ra", "ac", "cu", "um", "ma", "as", "sa", "al", "la", "ah", "hr", "ru", "ut", "ti", "in", "nu", "ul", "la", "an", "ng", "gs", "so", "ol", "lu", "us", "si", "is", "st", "ta", "an", "nd", "da", "ar", "rs", "st", "tr", "ru", "uk", "kt", "tu", "ur", "ra", "ac", "cu", "um".
Jurnal SAINTEKOM (Sains dan Teknologi Komputas.
Vol.
No.
Juni, 2025 Lembaga Penelitian.
Pengembangan, dan Pengabdian Kepada Masyarakat UNBIN e-ISSN: x Jawaban Esai "la", "ah", "hk", "ko", "om", "mp", "pl", "le", "ek", "ks", "sm", "ma", "an", "na", "as", "so", "ol", "lu", "us", "si", "im", "me", "er", "rt", "ta", "as", "se", "em", "mi", "is", "st", "tr", "ru", "uk", "kt", "tu", "ur", "rp", "pu", "ut", "tu", "us", "ss", "st", "tr", "ru", "uk", "kt", "tu", "ur", "rf", "fa", "as", "se", "ef", "fa", "as", "se", "ey", "ya", "an", "ng" Kunci Jawaban "ma", "as", "sa", "al", "la", "ah", "hk", "ko", "om", "mp", "pl", "le", "ek", "ks", "ss", "so", "ol", "lu", "us", "si", "is", "se", "em", "mi", "is", "st", "tr", "ru", "uk", "kt", "tu", "ur", "rp", "pu", "ut", "tu", "us", "ss", "st", "tr", "ru", "uk", "kt", "tu", "ur", "rf", "fa", "as", "se", "ef", "fa", "as", "se" Jawaban dan kunci jawaban yang telah ditokenisasi selanjutnya masuk ke tahap hashing atau susunan kode angka.
Token-token yang telah di hash akan dijadikan sebagai document fingerprinting.
Untuk mengubah token menjadi hashing, digunakan metode rolling hash di mana perlu adanya nilai bilangan prima di mana untuk nilai yang ditentukan adalah 5.
Tabel 7.
Hashing Jawaban dan Kunci Jawaban Jawaban Esai
691, 694, 687, 692, 651, 697, 699, 667, 584, 612,
694, 642, 600, 672, 593, 637, 589, 634, 687, 701,
685, 635, 667, 693, 637, 595, 653, 630, 686, 663,
657, 700, 680, 640, 691, 677, 595, 650, 597, 599,
685, 691, 694, 687, 692, 651, 697, 699, 672, 627,
707, 732, 731, 714, 642, 600, 672, 593, 637, 589,
627, 646, 664, 657, 668, 641, 612, 650, 684, 642,
595, 647, 600, 686, 663, 657, 700, 680, 634, 646,
619, 686, 677, 600, 676, 614, 650, 640, 691, 694,
687, 692, 651, 697, 699, 682, 677, 701, 697, 700,
690, 691, 694, 687, 692, 651, 697, 699, 672, 607,
600, 676, 607, 607, 600, 676, 626, 702, 595, 653
Kunci Jawaban Esai
691, 694, 687, 692, 651, 697, 699, 667, 584,
612, 694, 642, 600, 672, 593, 637, 589, 634,
687, 701, 685, 635, 667, 693, 637, 595, 653,
630, 686, 663, 657, 700, 680, 640, 691, 677,
595, 650, 597, 599, 685, 691, 694, 687, 692,
651, 697, 699, 667, 584, 612, 694, 642, 600,
672, 593, 637, 589, 627, 646, 664, 657, 668,
641, 612, 650, 690, 686, 663, 657, 700, 680,
640, 676, 614, 650, 640, 691, 694, 687, 692,
651, 697, 699, 682, 677, 701, 697, 700, 690,
691, 694, 687, 692, 651, 697, 699, 672, 607,
600, 676, 607, 607, 600, 676
Proses fingerprinting dilakukan dengan mengelompokkan nilai Ae nilai hashing ke dalam satu array, berdasarkan nilai window yang ditentukan adalah 7 sehingga dalam satu array terdapat tujuh nilai hashing, selanjutnya dijadikan sebagai document fingerprinting.
Tabel 8.
Fingerprinting Jawaban dan Kunci Jawaban Jawaban Esai
651, 651, 584, 584, 584, 584, 584, 584, 584, 593,
589, 589, 589, 589, 589, 589, 589, 634, 635, 595,
595, 595, 595, 595, 595, 595, 630, 630, 640, 640,
595, 595, 595, 595, 595, 595, 595, 597, 597, 599,
651, 651, 651, 627, 627, 627, 627, 627, 627, 600,
600, 593, 593, 589, 589, 589, 589, 589, 589, 589,
612, 612, 612, 612, 595, 595, 595, 595, 595, 595,
595, 600, 600, 634, 619, 619, 619, 600, 600, 600,
600, 600, 600, 600, 614, 614, 640, 640, 651, 651,
651, 651, 651, 677, 677, 677, 677, 687, 687, 651,
651, 651, 651, 607, 600, 600, 600, 600, 600, 600,
600, 600, 595, 595
Kunci Jawaban Esai
651, 651, 584, 584, 584, 584, 584, 584, 584,
593, 589, 589, 589, 589, 589, 589, 589, 634,
635, 595, 595, 595, 595, 595, 595, 595, 630,
630, 640, 640, 595, 595, 595, 595, 595, 595,
595, 597, 597, 599, 651, 651, 651, 584, 584,
584, 584, 584, 584, 584, 593, 589, 589, 589,
589, 589, 589, 589, 612, 612, 612, 612, 612,
612, 612, 650, 640, 640, 614, 614, 614, 614,
614, 614, 614, 640, 640, 651, 651, 651, 651,
651, 677, 677, 677, 677, 687, 687, 651, 651,
651, 651, 607, 600, 600, 600, 600, 600, 600
Fingerprinting jawaban dan kunci jawaban kemudian akan dihitung frekuensi kemunculannya.
menggabungkan fingerprint di antara dua dokumen.
Tabel 9.
Frekuensi Kemunculan Fingerprinting Jawaban Esai .
: 14.
: 7.
: 3.
:14.
: 2.
: 1.
: 23.
: 2.
: 4.
: 2.
: 1.
: 6.
: 19.
: 4.
: 3.
: 2.
: 4.
: 2.
: 1.
: 0
Kunci Jawaban Esai .
: 14.
: 14.
: 2.
:14.
: 1.
: 14.
: 2.
: 6.
: 1.
: 0.
: 6.
: 7.
: 7.
: 4.
: 2.
: 1.
Fingerprinting jawaban dan kunci jawaban esai yang telah ditentukan akan diukur tingkat kemiripannya menggunakan algoritma Cosine Similarity.
Menentukan nilai Dot Product:
Jurnal SAINTEKOM (Sains dan Teknologi Komputas.
Vol.
No.
Juni, 2025 Lembaga Penelitian.
Pengembangan, dan Pengabdian Kepada Masyarakat UNBIN e-ISSN: x = .
O .
O .
O .
O .
O .
O .
O .
O .
O .
O .
O .
O .
O .
O .
O .
O .
O .
O .
O .
O .
= 1031
Menentukan nilai magnitude jawaban mahasiswa:
= 142 72 32 142 22 12 232 22 42 22 12 62 192 42 32 22
42 22 12 02 = 1456 = Oo1456 = 38,1576.
Menentukan nilai magnitude kunci jawaban:
= 142 142 22 142 12 12 142 22 62 22 12 02 62 72 02 72
42 22 12 12 = 991 = Oo991 = 31,4802 Menghitung nilai similarity:
38,1576 O 31,4802
= 0,858304 atau 85,83%.
Nilai similarity yang didapatkan dengan cara mengalikan nilai similarity dengan nilai bobot soal.
= 0,858304 y 5
= 4,29152
nilai perolehan dibulatkan ke bilangan bulat terdekat sehingga nilai yang didapatkan adalah 4.
Pembahasan Pengujian hasil dilakukan dengan cara membandingkan nilai yang diberikan dari dosen dengan nilai hasil prediksi dari algoritma menggunakan metode Mean Absolute Percentage Error.
Pengujian ini dilakukan pada soal esai UTS mata kuliah Desicion Support System semester lima tahun akademik 2023/2024.
Soal esai ini terdiri dari lima butir soal yang masing Ae masing butir soal memiliki jawaban sebanyak 17 jawaban dari mahasiswa.
Untuk nilai bobot yang diberikan pada keseluruhan soal ini sebesar 25 di mana masing Ae masing butir soal diberi nilai bobot sebesar Selanjutnya menghitung selisih antara nilai prediksi algoritma dengan nilai perolehan UTS yang diberikan oleh Tabel 10.
Perbandingan Nilai Prediksi Algoritma dengan Nilai Rekapitulasi UTS
Nilai Prediksi
Algoritma
Nilai Rekapitulasi
UTS
Rudy Sephiannudin Diego Fauzi Nurcintya Achmad Maulana Sefira Salsabila Dimas Permana Putra Faris Safa Ramdani Fitrinur Indriyana Salsabila Meisa Rahma Siti Nurbani Muhammad Reihan Muhammad Rizky Pratama Nadhira Faza Fatiha Nisrina Salsabila Yunisa Ahgnia Zahrah Faisal Rifky Nugraha Zacky Nur Ramadhan Bachtiar Suparwan Rindiyanti NPM Nama Jurnal SAINTEKOM (Sains dan Teknologi Komputas.
Vol.
No.
Juni, 2025 Lembaga Penelitian.
Pengembangan, dan Pengabdian Kepada Masyarakat UNBIN e-ISSN: x Perhitungan nilai Mean Absolute Percentage Error didapatkan dengan menggunakan rumus:
cuycnOeycycn ) = ycA Ocycuycn=1 | ycuycn | y 100%.
Di mana nilai Xi adalah nilai sesungguhnya dan nilai Yi adalah nilai prediksi, sehingga didapatkan:
19 Oe 19
15 Oe 18
20 Oe 22
20 Oe 22
20 Oe 19
19 Oe 22
15 Oe 19
= |
| |
| |
| |
| |
| |
| |
20 Oe 24
20 Oe 21
16 Oe 18
19 Oe 21
20 Oe 22
20 Oe 19
20 Oe 20
| |
| |
| |
| |
| |
| |
19 Oe 18
19 Oe 22
18 Oe 15
| |
| |
= 0,11 O 100% = 11%
Berdasarkan penelitian yang dilakukan oleh (Sumari dkk.
, 2.
interpretasi dari nilai Mean Absolute Percentage Error tersebut menandakan bahwa kemampuan model dalam memberikan nilai masuk ke dalam kategori Baik.
KESIMPULAN
Berdasarkan hasil penelitian yang dilakukan, dapat diuraikan beberapa kesimpulan, antara lain:
Mendapatkan hasil nilai perolehan jawaban esai secara tepat dengan menggunakan algoritma Winnowing dan Cosine Similarity.
Mendapatkan hasil nilai perolehan jawaban esai berdasarkan tingkat kemiripan fingerprint kata antara jawaban esai dengan kunci jawaban.
Prototype aplikasi penilaian esai berhasil dikembangkan untuk mempermudah dosen dalam proses pemberian nilai esai.
Hasil nilai Mean Absolute Percentage Error pada algoritma Winnowing dan algoritma Cosine Similarity dalam memberikan nilai saat dibandingkan selisihnya dengan nilai dosen sebesar 11% yakni ketepatan algoritma dalam memberikan nilai masuk ke dalam kategori Baik, kemudian hasil kuesioner kelayakan sistem dari pihak pengguna secara keseluruhan sebesar 83%.
DAFTAR PUSTAKA