Jurnal SAINTEKOM (Sains dan Teknologi Komputas.
Vol.
No.
September, 2025 Lembaga Penelitian.
Pengembangan, dan Pengabdian Kepada Masyarakat UNBIN e-ISSN: 3109 - 1350 Received: 31 Maret 2025.
Accepted: 28 April 2025.
Published: September 2025 DOI: 10.
36350/jskom.
Penerapan Algoritma Cosine Similarity dan Term Frequency untuk Penilaian Jawaban Ujian Esai Martin Hidayat Rihwan1*.
Hidola Syamsito2 Program Studi Teknik Informatika.
Fakultas Informatika dan Komputer.
Universitas Binaniaga Indonesia email: martin.
rihwan@gmail.
*Corresponding Author
ABSTRACT
Exams are one form of educational evaluation to measure students' ability to understand lessons.
Essays are one type of exam that requires students to describe the answers using their own words.
Essay answer assessment is done by matching the similarity of students' answers with the answer key.
The problems that occur during the assessment are the process which takes a relatively long time, there are errors in giving points, and the giving of marks is not quite right.
There needs to be a computational engineering approach to make it easier for teachers to give marks using the Term Frequency and Cosine Similarity algorithms.
With this algorithm, the essay assessment process is expected to be able to increase the level of accuracy and effectiveness.
This assessment process is carried out by measuring the level of similarity between the essay answer text and the answer key text based on the frequency of occurrence of the essay answer word weight and the answer key.
the calculations obtained from the algorithm calculation are as follows Similarity to the student's answer key as many as 10 students get scores of 76, 71, 84, 71, 84, 76, 84, 88, 88 and 71.
In the developed application, a feasibility test has been carried out by the system expert and the feasibility percentage results are 100%.
user test using the PSSUQ questionnaire which is divided into four categories, including Overall of 86.
System Usability of 87.
Information Quality of 87.
25%, and Interface Qualit.
79% which means this application is "Very Worthy" to use.
test results on this algorithm using the F1-Score method which produces an accuracy value of 0.
824 which is included in the "good" category.
Keywords: Essay Assessment.
Term Frequency Algorithm.
Cosine Similarity Algorithm.
F1-Score.
Application Prototype.
ABSTRAK
Ujian adalah salah satu bentuk evaluasi pendidikan untuk mengukur kemampuan siswa/i dalam memahami pelajaran.
Esai merupakan salah satu jenis ujian yang menuntut siswa/i untuk menguraikan jawaban menggunakan kata Ae katanya sendiri.
Penilaian jawaban esai dilakukan dengan cara mencocokkan kemiripan jawaban siswa/i dengan kunci jawaban.
Permasalahan yang terjadi selama melakukan penilaian adalah prosesnya yang memakan waktu yang relatif tidak singkat, adanya kesalahan dalam memberikan poin nilai, dan pemberian nilai yang dilakukan kurang tepat.
Perlu adanya pendekatan teknik komputasi untuk memudahkan guru dalam memberikan nilai menggunakan algoritma Term Frequency dan Cosine Similarity.
Dengan algoritma tersebut, proses penilaian esai diharapkan mampu meningkatkan tingkat ketepatan dan efektivitas.
Proses penilaian ini dilakukan dengan mengukur tingkat kemiripan antara teks jawaban esai dengan teks kunci jawaban berdasarkan frekuensi kemunculan bobot kata jawaban esai dan kunci jawaban.
perhitungan yang diperoleh dari perhitungan algortima adalah sebagai berikut Kemiripan dengan kunci jawaban siswa sebanyak 10 siswa mendapatkan nilai sebesar 76, 71, 84, 71, 84, 76, 84, 88, 88 dan 71.
Pada aplikasi yang dikembangkan telah dilakukan uji kelayakan dari pihak ahli sistem dan diperoleh hasil persentase kelayakan sebesar 100%.
uji pengguna menggunakan kuesioner PSSUQ yang dibagi menjadi empat kategori, di antaranya Secara Keseluruhan sebesar 86.
Kegunaan Sistem sebesar 87.
Kualitas Informasi sebesar 87.
25%, dan Kualitas Antarmuk.
79% yang artinya aplikasi ini AuSangat LayakAy digunakan.
uji hasil pada algoritma ini menggunakan metode F1-Score yang menghasilkan nilai ketepatan sebesar 0.
824 yang dimana termasuk kedalam kategori AubaikAy.
Kata Kunci : Penilaian Esai.
Algortitma Term Frequency.
Algoritma Cosine Similarity.
F1-Score.
Prototype Aplikasi.
PENDAHULUAN
Latar Belakang Ujian esai telah menjadi salah satu metode evaluasi yang umum digunakan di berbagai tingkat pendidikan dan disiplin ilmu.
Metode ini memungkinkan siswa untuk mengekspresikan pemikiran mereka secara mendalam tentang topik tertentu dan menunjukkan pemahaman yang mereka miliki.
Pertama-tama, ujian esai memungkinkan guru atau pengajar untuk mengukur pemahaman siswa terhadap materi pelajaran yang telah Dengan memberikan pertanyaan terbuka, ujian esai memungkinkan siswa untuk menunjukkan pemahaman mereka secara menyeluruh daripada hanya mengingat fakta-fakta tertentu.
Hal ini memungkinkan siswa untuk menerapkan konsep-konsep yang telah mereka pelajari dalam situasi nyata atau dalam konteks yang berbeda, sehingga memperdalam pemahaman mereka.
Untuk memahami latar belakang penelitian ini lebih lanjut, penting untuk menjelaskan algoritma cosine similarity dan term frequency secara lebih rinci.
term frequency (TF) mengukur seberapa sering sebuah kata muncul dalam suatu dokumen dengan membagi jumlah kemunculan kata tersebut dengan total jumlah kata dalam dokumen tersebut.
Sementara itu.
Cosine similarity adalah metode yang mengukur sejauh mana jawaban siswa mirip dengan kunci jawaban yang benar, mengingat aspek semantik dan konten.
Pemilihan algoritma cosine similarity dan term frequency untuk penilaian essay memiliki alasan kuat.
Penilaian yang bersifat subjektif dan cenderung memberikan penilaian yang tidak konsisten dapat diatasi dengan penggunaan Jurnal SAINTEKOM (Sains dan Teknologi Komputas.
Vol.
No.
September, 2025 Lembaga Penelitian.
Pengembangan, dan Pengabdian Kepada Masyarakat UNBIN e-ISSN: 3109 - 1350 algoritma ini.
cosine similarity dan term frequency memiliki kerangka kerja yang objektif, yang meminimalkan potensi bias penilai dan memberikan keadilan dalam.
Penggunaan algoritma Cosine similarity dan Term frequency (TF) dalam penilaian jawaban ujian siswa memiliki beberapa alasan yang mendasar.
Pertamatama, algoritma Cosine similarity digunakan untuk mengukur sejauh mana kesamaan antara jawaban siswa dan kunci jawaban yang benar.
Dengan mewakili jawaban sebagai vektor dalam ruang kata-kunci.
Cosine similarity memungkinkan evaluasi yang lebih kontekstual daripada metode perbandingan yang sederhana, memperhitungkan seberapa mirip pola kata-kata yang digunakan oleh siswa dengan kunci jawaban.
Kedua, penggunaan term frequency dalam penilaian jawaban ujian memberikan pemahaman tentang frekuensi kemunculan kata-kata kunci dalam jawaban siswa.
Dengan menghitung frekuensi kata-kata yang relevan, term frequency memberikan indikasi seberapa baik siswa memahami dan menyampaikan konsep yang diminta dalam pertanyaan ujian.
Dengan kata lain, term frequency membantu mengevaluasi seberapa kaya konten jawaban siswa dan sejauh mana mereka menggambarkan pemahaman yang mendalam terhadap materi pelajaran.
Permasalahan Proses penilaian jawaban ujian esai dilakukan dengan cara membaca setiap kata atau kalimat dalam jawaban ujian siswa secara bertahap dan membandingkannya dengan kata kunci jawaban yang telah ditentukan oleh Lalu nilai diberikan berdasarkan tingkat kemiripan jawaban siswa dengan kunci jawaban yang telah dibuat oleh guru.
Namun guru yang cenderung memeriksa jawaban ujian siswa satu per satu dengan menguraikan dan menyesuaikan jawaban esai siswa yang jawaban nya beragam sehingga cenderung berbeda dengan kunci jawaban.
Hal itu dapat mempengaruhi objektivitas dalam penilaian, pengaruh bias ini dapat menyebabkan penilaian yang tidak konsisten atara satu siswa dengan siswa lainnya.
Lalu untuk proses penilaian jawaban esai juga cenderung menggunakan waktu yang tidak relatif singkat jika dibandingkan dengan penilaian soal pilihan ganda, yang dimana perlu memeriksa jawaban siswa perkalimat.
Terdapat beberapa indikator yang memunculkan adanya suatu masalah dari segi guru yang diambil dari sampel guru sebanyak 16 guru mata pelajaran.
Untuk permasalahan nya dijabarkan pada tabel yang berisi tiga pertanyaan kuesioner sebagaimana dijelaskan pada Tabel 1.
Tabel 1 Hasil Kuesioner Permasalahan Untuk Guru Pertanyaan Kuesioner Apakah bapak/ibu guru terdapat kesulitan yang dialami dalam melakukan penilaian jawaban ujian esai? Apakah bapak/ibu guru dalam melakukan penilaian jawaban ujian esai, memerlukan waktu yang relatif lama? Apakah bapak/ibu guru pernah menerima keluhan dari siswa terkait hasil nilai yang diberikan kepada siswa? Iya Tidak 81,3% 18,8% 31,3% 68,8% Terdapat beberapa indikator yang memunculkan adanya suatu masalah dari segi siswa yang diambil dari sampel siswa sebanyak 24 siswa.
Untuk permasalahan nya dijabarkan pada tabel yang berisi tiga pertanyaan kuesioner sebagaimana dijelaskan pada Tabel 2.
Tabel 2 Hasil Kuesioner Permasalahan Siswa Pertanyaan Kuesioner Apakah Anda merasa ada siswa lain yang menerima skor lebih tinggi meskipun kualitas jawaban mereka serupa atau lebih rendah? Apakah Anda merasa bahwa hasil penilaian esai sering diterima setelah waktu yang cukup lama sejak ujian Iya Tidak 62,5% 37,5% Dari uraian permasalahan di atas, dapat diketahui bahwa proses penilaian esai cenderung sulit karena harus menyesuaikan jawaban siswa yang memiliki kosakata dan cara penyampaian yang beragam, siswa merasa ada ketidaksesuaian atau ketidakadilan dalam pemberian skor, di mana kualitas jawaban serupa mendapatkan nilai yang berbeda dan proses penilaian esai membutuhkan waktu yang relatif lama dibandingkan dengan penilaian soal pilihan ganda.
Jurnal SAINTEKOM (Sains dan Teknologi Komputas.
Vol.
No.
September, 2025 Lembaga Penelitian.
Pengembangan, dan Pengabdian Kepada Masyarakat UNBIN e-ISSN: 3109 - 1350 Tujuan Menerapkan algoritma cosine similarity dan term frequency untuk mendapatkan tingkat ketepatan, efektivitas, mengembangkan prototype aplikasi, dan mengukur seberapa tepat dan efektif algoritma yang diterapkan untuk penilaian esai.
LANDASAN TEORI
Penerapan Term Frequency Istilah dalam dokumen diberi bobot berdasarkan frekuensinya dalam dokumen tersebut, metode paling sederhana adalah menggunakan frekuensi istilah (TF), disebut sebagai tft,d .
rekuensi istilah t dalam dokumen .
, bobot ini sama dengan jumlah kemunculan istilah dalam dokumen (Manning.
Raghavan, & Schytze, 2009, 117-.
dalam konteks suatu dokumen, set bobot yang ditentukan oleh TF, atau fungsi pembobotan serupa, berfungsi sebagai representasi kuantitatif dokumen dalam model bag of words, dalam model ini, urutan istilah yang tepat diabaikan, dan hanya jumlah kemunculan setiap istilah yang penting.
Untuk rumus pembobotan TF dapat dijelaskan sebagai berikut (Manning.
Raghavan, & Schytze, 2009, hal.
Keterangan:
adalah kata atau term yang dihitung frekuensi nya adalah dokumen yang sedang di evaluasi Dalam kata-kata.
Term frequency (TF) untuk suatu term tt dalam suatu dokumen dd dihitung dengan membagi jumlah kemunculan term tersebut dalam dokumen dengan total jumlah term dalam dokumen.
Contoh kasus Misalkan ada dokumen berikut: Dokumen d: "kucing suka ikan, kucing bermain dengan kucing Untuk Langkah-Langkah Menghitung Term Frequency (TF): Identifikasi setiap term unik dalam dokumen: Term yang unik dalam dokumen d adalah: "kucing", "suka", "ikan", "bermain", "dengan", "lain".
Kemudian hitung jumlah kemunculan setiap term dalam dokumen: "kucing": 3 kali, "suka": 1 kali, "ikan": 1 kali, "bermain": 1 kali, "dengan": 1 kali, "lain": 1 kali.
Setelah itu dihitung menggunakan rumus term frequency hasilnya seperti berikut ini:
Penerapan Cosine Similarity Cosine similarity yaitu metode untuk mengukur kesamaan antara dua dokumen, dua dokumen tersebut masingmasing didefinisikan sebagai A, dan B.
Dokumen dapat direpresentasikan sebagai vektor dalam ruang vektor.
Tingkat kesamaan antara dua dokumen diukur berdasarkan besar sudut yang menghubungkan dua dokumen tersebut (Manning.
Raghavan, & Schytze, 2009, hal.
120Ae.
Pada cosine similarity untuk tingkat kesamaan antara dua dokumen itu diukur berdasarkan besar sudut yang menghubungkan keduanya, semakin kecil sudutnya, maka semakin tinggi juga tingkat kesamaan antara kedua dokumen tersebut.
Untuk rumus Cosine similarity yaitu sebagai berikut ini (Manning.
Raghavan, & Schytze, 2009, hal.
Keterangan:
= sudut antara dua vektor, = dot product pada vektor A dan B dan dikalkulasikan sebagai = skala pada vektor yang dikalkulasikan sebagai dan begitupun Contoh penerapan Cosine Similarity dengan dua dokumen.
Dokumen A: "kucing suka bermain dengan bola" dan Dokumen B: "kucing bermain dengan teman-temannya".
Pertama representasikan setiap dokumen sebagai vektor berdasarkan dokumen yaitu Dokumen A: "kucing": 1, "suka": 1, "bermain": 1, "dengan": 1, "bola": 1.
Jurnal SAINTEKOM (Sains dan Teknologi Komputas.
Vol.
No.
September, 2025 Lembaga Penelitian.
Pengembangan, dan Pengabdian Kepada Masyarakat UNBIN e-ISSN: 3109 - 1350 Total kata dalam A = 5.
Vektor A = .
/5, 1/5, 1/5, 1/5, 1/.
Dan Dokumen B: "kucing": 1, "bermain": 1 AudenganAy:1 Auteman-temannyaAy: 1.
Total kata dalam B = 4.
Vektor B = .
/4.
A).
Dot product A.
B dihitung dengan mengalikan nilai yang sesuai antara kedua vektor dan menjumlahkan hasilnya.
Selanjutnya hitung panjang .
dari masing-masing vektor:
Sekarang kita dapat menghitung cosine similarity menggunakan rumus:
Maka untuk hasil tingkat kemiripan nya yaitu sebesar 0.
Penilaian Ujian Esai Menjelaskan peningkatan kualitas pendidikan dapat dilihat dari nilai-nilai yang diperoleh peserta didik penilaian merupakan langkah lanjutan setelah dilakukan pengukuran.
Menyatakan tes jenis uraian atau esai adalah jenis tes yang menuntut peserta didik untuk mengorganisasikan, mengekspresikan, serta menyatakan jawabannya menurut kata Ae kata sendiri.
Tes esai dapat dibagi menjadi dua bentuk berdasarkan keluasan materi yang ditanyakan, yakni uraian terbatas dan uraian bebas (Widiyanto, 2018, hal.
Bentuk esai menuntut peserta untuk mengorganisir, menginterpretasi, dan menghubungkan konsep-konsep yang telah dipelajari.
Ini merupakan ujian bagi peserta untuk menguji pemahaman mereka terhadap materi yang telah diberikan, serta kemampuan mereka untuk mengingatnya.
METODE
Metode Penelitian Penelitian ini merupakan jenis penelitian dan pengembangan atau Research and Development (R&D).
Metode penelitian Research and Development (R&D) adalah metode penelitian yang digunakan untuk mengembangkan suatu produk dan menguji keefektifan produk tersebut (Sugiyono, 2013, hal.
Objek.
Definisi Operasional Variabel dan Lokasi Penelitian Penelitian ini berfokus pada proses penilaian jawaban esai siswa berdasarkan tingkat kemiripan dan kesesuaian dengan kunci jawaban.
Penelitian dilakukan dalam konteks evaluasi pembelajaran di Sekolah Menengah Kejuruan (SMK) yang menggunakan soal esai sebagai metode penilaian pemahaman siswa.
Tantangan utama dalam penilaian jawaban esai meliputi efisiensi waktu, konsistensi dalam pemberian nilai, serta potensi kesalahan interpretasi akibat variasi penyampaian jawaban siswa.
Oleh karena itu, penelitian ini mengeksplorasi dan mengembangkan pendekatan berbasis teknologi yang dapat membantu guru dalam menilai jawaban esai secara lebih objektif, akurat, dan efisien.
Jurnal SAINTEKOM (Sains dan Teknologi Komputas.
Vol.
No.
September, 2025 Lembaga Penelitian.
Pengembangan, dan Pengabdian Kepada Masyarakat UNBIN e-ISSN: 3109 - 1350 Variabel dalam penelitian ini adalah keakuratan penilaian jawaban esai siswa sebagai variabel dependen, sedangkan variabel independennya adalah tingkat kemiripan jawaban, kesesuaian jawaban, efisiensi penilaian, dan konsistensi penilaian.
Tingkat kemiripan jawaban diukur berdasarkan persentase kesamaan teks antara jawaban siswa dengan kunci jawaban menggunakan metode analisis teks berbasis algoritma.
Kesesuaian jawaban diukur berdasarkan relevansi isi jawaban siswa dengan konsep yang terdapat dalam kunci jawaban, meskipun dengan perbedaan struktur kalimat atau pemilihan kata.
Efisiensi penilaian diukur berdasarkan waktu yang dibutuhkan untuk menyelesaikan penilaian jawaban esai dalam skala waktu tertentu.
Konsistensi penilaian diukur dengan membandingkan hasil penilaian sistem dengan penilaian manual oleh guru pada beberapa sampel jawaban esai.
Penelitian ini dilakukan di salah satu Sekolah Menengah Kejuruan (SMK) kota bogor yang menggunakan metode evaluasi berbasis esai dalam berbagai mata pelajaran, baik teori maupun praktik.
Pemilihan lokasi penelitian didasarkan pada kebutuhan akan sistem penilaian yang lebih efisien dan objektif dalam menilai jawaban esai siswa.
Populasi dan Sampel Populasi dalam penelitian ini terdiri dari guru dan siswa yang terlibat dalam proses evaluasi jawaban esai, serta dua orang ahli di bidang kecerdasan buatan yang bertindak sebagai evaluator dalam pengujian keakuratan Sampel dalam penelitian ini ditentukan menggunakan rumus Slovin dengan margin kesalahan sebesar 0,2.
Sampel terdiri dari:
Responden ahli, yaitu dua dosen yang memiliki keahlian dalam bidang kecerdasan buatan, yaitu Julio Warmansyah.
Kom.
MSI.
, dan Binanda Wicaksana.
Kom.
Pengujian terhadap ahli dilakukan menggunakan metode black box testing untuk mengevaluasi efektivitas sistem.
Responden guru, dengan jumlah populasi 45 orang.
Berdasarkan perhitungan rumus Slovin, jumlah sampel yang digunakan adalah 16 guru.
Responden siswa, dengan jumlah populasi 379 orang.
Berdasarkan perhitungan rumus Slovin, jumlah sampel yang digunakan adalah 24 siswa.
Pengujian kepada responden guru dan siswa dilakukan menggunakan metode Post-Study System Usability Questionnaire (PSSUQ) untuk mengukur tingkat kepuasan dan efektivitas sistem dalam mendukung proses penilaian jawaban esai.
Teknik Pengumpulan Data Data dalam penelitian ini dikumpulkan melalui beberapa metode, yaitu survei langsung, wawancara, observasi, dan eksperimen.
Teknik pengumpulan data dibagi menjadi dua kategori berdasarkan jenis responden, yaitu ahli dan pengguna .
uru dan sisw.
Pengumpulan Data dari Ahli Data yang dikumpulkan dari ahli bertujuan untuk mengevaluasi keakuratan dan efektivitas sistem dari perspektif teknis.
Proses pengumpulan data dilakukan melalui metode black box testing, di mana dua dosen ahli dalam bidang kecerdasan buatan mengevaluasi fungsionalitas aplikasi yang telah Pengumpulan Data dari Pengguna Data yang dikumpulkan dari pengguna .
uru dan sisw.
bertujuan untuk mengevaluasi tingkat kepuasan dan kemudahan penggunaan sistem dalam mendukung proses penilaian jawaban esai.
Pengumpulan data dilakukan menggunakan metode kuesioner Post-Study System Usability Questionnaire (PSSUQ), yang terdiri dari empat bagian utama, yaitu Overall.
System Usefulness.
Information Quality dan Interface Quality Teknik Analisis Data Analisis data dalam penelitian ini dilakukan menggunakan dua pendekatan utama, yaitu metode persentase kelayakan dan evaluasi performa model klasifikasi menggunakan F1-score.
Metode Persentase Kelayakan Metode ini digunakan untuk mengevaluasi tingkat kelayakan sistem berdasarkan hasil yang diperoleh dari responden ahli dan pengguna.
Persentase kelayakan dihitung menggunakan rumus berikut:
Jurnal SAINTEKOM (Sains dan Teknologi Komputas.
Vol.
No.
September, 2025 Lembaga Penelitian.
Pengembangan, dan Pengabdian Kepada Masyarakat UNBIN e-ISSN: 3109 - 1350 Hasil perhitungan persentase ini digunakan untuk mengkategorikan tingkat kelayakan sistem berdasarkan tabel berikut:
Tabel 3 Interpretasi Persentase Kelayakan Persentase Pencapaian <21% 21% - 40% 41% - 60% 61% - 75% 76% - 100% Interpretasi Sangat Tidak Layak Tidak Layak Cukup Layak Layak Sangat Layak Sumber: (Lubis dkk.
, 2023, hlm.
Metode ini diterapkan untuk mengevaluasi hasil pengujian dari responden pengguna yang menilai aspek kelayakan sistem berdasarkan kuesioner PSSUQ yang telah disebarkan.
Evaluasi Performa Model dengan F1-score Untuk menilai keakuratan model dalam menilai jawaban esai, digunakan metrik F1-score yang mempertimbangkan keseimbangan antara precision dan recall, terutama pada dataset yang memiliki distribusi kelas tidak seimbang.
F1-score dihitung menggunakan rumus berikut:
Dengan perhitungan:
Keterangan:
TP (True Positiv.
: Hasil yang dinilai benar oleh algoritma dan sesuai dengan nilai sistem yang .
FP (False Positiv.
: Hasil yang dinilai benar oleh algoritma tetapi sebenarnya salah menurut nilai .
FN (False Negativ.
: Hasil yang dinilai salah oleh algoritma tetapi sebenarnya benar menurut nilai Hasil F1-score diinterpretasikan berdasarkan tabel berikut:
Tabel 4 Interpretasi F1-Score Nilai F1-Score Interpretasi Sangat Baik 75 Ae 0.
Baik 50 Ae 0.
Cukup Baik < 0.
Tidak Baik Sumber: (Widodo, 2022, p.
Evaluasi ini dilakukan untuk menilai sejauh mana sistem dapat memberikan hasil penilaian yang tepat dibandingkan dengan penilaian manual oleh guru.
Jurnal SAINTEKOM (Sains dan Teknologi Komputas.
Vol.
No.
September, 2025 Lembaga Penelitian.
Pengembangan, dan Pengabdian Kepada Masyarakat UNBIN
e-ISSN: 3109 - 1350
HASIL DAN PEMBAHASAN
Hasil Soal esai yang digunakan bersifat closed-ended, yaitu soal yang mengharuskan siswa menjawab berdasarkan Soal ini membutuhkan jawaban yang relevan dan terstruktur sesuai dengan teori yang ada.
Jawaban didapatkan dari soal esai yang telah dibuat sebelumnya beserta bobotnya.
Tabel 5 Soal dan Bobot Soal Tuliskan pengertian proses fotosintesis yang terjadi pada tumbuhan! Bobot Kunci jawaban dan jawaban siswa yang digunakan pada penelitian ini hanya berbentuk teks dan bukan berbentuk gambar, grafik, dan file.
Untuk kunci jawaban dari data soal guru dan jawaban siswa diambil dari test ujian kepada siswa.
Tabel 6 Kunci Jawaban dan Jawaban Siswa Kunci Jawaban Fotosintesis adalah proses di mana tumbuhan menggunakan cahaya matahari, air, dan karbon dioksida untuk menghasilkan glukosa dan Jawaban Siswa Fotosintesis menggunakan cahaya matahari dan karbon dioksida untuk menghasilkan oksigen.
Menentukan Text-Preprocessing dan Tokenisasi dari kunci jawaban dan jawaban siswa.
Jawaban siswa dan kunci jawaban diproses untuk menghilangkan noise, seperti tanda baca, huruf kapital, dan karakter non-alfabet.
Proses ini juga mencakup stemming untuk mengubah kata ke bentuk dasarnya.
Tabel 7 Hasil Stemming Kunci Jawaban fotosintesis proses tumbuhan menggunakan menghasilkan glukosa oksigen Jawaban Siswa fotosintesis proses tumbuhan menggunakan cahaya matahari karbon dioksida menghasilkan oksigen Setelah melakukan text-preprocessing selanjutnya dilakukan tokenisasi dengan cara pembersihan teks dari karakter non-alfanumerik dan memotong kalimat yang telah dibersihkan dipecah menjadi token .
ata-kata individua.
berdasarkan spasi.
Tabel 8 Hasil Text-Preprocessing dan Tokenisasi Kunci Jawaban [AufotosintesisAy.
AuprosesAy.
AutumbuhanAy.
AumenggunakanAy.
AucahayaAy.
AumatahariAy.
AuairAy.
AukarbonAy.
AudioksidaAy.
AumenghasilkanAy.
AuglukosaAy.
AuoksigenA.
Jawaban Siswa [AufotosintesisAy.
AuprosesAy.
AutumbuhanAy.
AumenggunakanAy.
AucahayaAy.
AumatahariAy.
AukarbonAy.
AudioksidaAy.
AumenghasilkanAy.
AuoksigenA.
Selanjutnya kunci jawaban dan jawaban siswa akan dihitung frekuensi kemunculan nya per kata.
Hasil dari tokenisasi di hitung dengan term frequency untuk menghitung frekuensi kata nya.
Tabel 9 Hasil Perhitungan Term Frequency Kata (Jawaba.
(Kunc.
IDF log.
/2 .
=0.
/2 .
=0.
/2 .
=0.
/2 .
=0.
/2 .
=0.
/2 .
=0.
/1 .
=0.
TF-IDF
(Jawaba.
TF-IDF (Kunc.
Jurnal SAINTEKOM (Sains dan Teknologi Komputas.
Vol.
No.
September, 2025 Lembaga Penelitian.
Pengembangan, dan Pengabdian Kepada Masyarakat UNBIN e-ISSN: 3109 - 1350 Kata (Jawaba.
(Kunc.
IDF log.
/2 .
=0.
/2 .
=0.
/2 .
=0.
/2 .
=0.
/1 .
=0.
TF-IDF
(Jawaba.
TF-IDF (Kunc.
Setelah menghitung term frequency nya selanjutnya akan dihitung dengan consine similarity untuk di ukur tingkat kemiripan nya.
Pengukuran nya di hitung berdasarkan vektor frekuensi dari dua dokumen yaitu kunci jawaban dan jawaban siswa.
Perhitungan:
Dot Product:
Magnitude Jawaban Siswa:
Magnitude Kunci Jawaban:
Cosine Similarity:
Setelah hasil dari perhitungan term frequency dan cosine similarity maka hasil nilai nya akan di tentukan masuk kedalam grade yang mana, untuk grade nya yaitu:
Maka grade dari nilai siswa itu adalah AuSangat baik! Jawaban siswa sangat mirip dengan kunci jawaban Ay Pembahasan Uji hasil yang dilakukan pada penelitian ini dengan cara membandingkan nilai hasil dari pengerjaan ujian esai siswa .
ilai aktua.
dengan nilai hasil penilaian dari algoritma .
ilai algoritm.
, untuk uji hasil ini menggunakan metode F1-Score.
Nilai aktual diperoleh dari hasil pemeriksaan langsung oleh guru berdasarkan pedoman penilaian yang telah ditetapkan.
Hasil pemeriksaan guru .
ilai aktua.
dibandingkan dengan hasil Jurnal SAINTEKOM (Sains dan Teknologi Komputas.
Vol.
No.
September, 2025 Lembaga Penelitian.
Pengembangan, dan Pengabdian Kepada Masyarakat UNBIN e-ISSN: 3109 - 1350 penilaian algoritma .
ilai algoritm.
untuk mengukur ketepatan algoritma.
Proses perbandingan dilakukan menggunakan metode evaluasi seperti F1-score, dengan membandingkan hasil benar dan salah dari algoritma terhadap hasil aktual.
Data hasil nilai siswa dari pemeriksaan guru dan algoritma dapat dilihat pada tabel.
Tabel 10 Hasil Nilai Ujian Esai Nama Nilai Aktual Nilai Algoritma Muhammad Rasya S.
Raya Aulia Zahrani Pandu Bhekti Febrian Muhammad Riva Ramdhan Pandu Dwi Pangestu Sabil Nadir Air Raya Nadisa Putri Sabina Syahbian Rizqi Ramadan Muhammad Feriansyah Cristen Nathanael Penjelasan TP.
FP dan FN:
TP (True Positiv.
: Hasil yang didapatkan oleh algoritma sesuai atau mendekati dari nilai yang sebenarnya diberikan oleh guru.
FP (False Positiv.
: Hasil didapatkan oleh algoritma lebih tinggi dari nilai yang sebenarnya diberikan oleh .
FN (False Negativ.
: Hasil didapatkan oleh algoritma lebih rendah dari nilai yang sebenarnya diberikan oleh guru.
Perhitungan Precision.
Recall, dan F1-Score:
Precision :
Recall :
F1-Score :
Nilai F1-score yang didapatkan dari perhitungan di atas adalah sebesar 0.
824 masuk dalam kategori Baik.
Hal ini menunjukkan bahwa algoritma cosine similarity dan term frequency memiliki performa yang cukup tepat dalam menilai jawaban esai siswa dibandingkan dengan hasil penilaian guru.
KESIMPULAN
Berdasarkan hasil penelitian yang dilakukan, dapat diuraikan beberapa kesimpulan, antara lain:
Mendapatkan hasil nilai perolehan jawaban esai secara tepat dengan menggunakan algoritma Term Frequency dan Cosine Similarity.
Prototype aplikasi penilaian esai berhasil dikembangkan untuk mempermudah guru dalam proses pemberian nilai esai.
Untuk uji hasil dengan menggunakan F1-Score mendapatkan hasil sebesar 0.
824 yang menunjukkan bahwa sistem memiliki ketepata n yang masuk dalam kategori "Baik".
Untuk uji ahli sistem ini mendapatkan nilai 100% untuk kelayakan nya.
Lalu untuk uji pengguna nya mendapatkan hasil secara keseluruhan sebesar 86.
63%, kegunaan sistem sebesar 87.
67%, kualitas informasi 25%, dan kualitas antarmuka sebesar 80.
79% yang artinya aplikasi ini AuSangat LayakAy digunakan.
Jurnal SAINTEKOM (Sains dan Teknologi Komputas.
Vol.
No.
September, 2025 Lembaga Penelitian.
Pengembangan, dan Pengabdian Kepada Masyarakat UNBIN
e-ISSN: 3109 - 1350
DAFTAR PUSTAKA