Jurnal Teknologi Informasi dan Ilmu Komputer (JTIIK) Vol.
No.
Juni 2025, hlm.
p-ISSN: 2355-7699
e-ISSN: 2528-6579
PROTOTIPE SISTEM PENDUKUNG KEPUTUSAN TERINTEGRASI MODEL NER
UNTUK VALIDASI DAN PENETAPAN PEMUKTAHIRAN DATA ASN
Nur Muhamad Holik*1.
Surya Sumpeno2.
Reza Fuad Rachmadi3
1,2,3
Institut Teknologi Sepuluh Nopember.
Surabaya Email: nurmuhamadh@gmail.
com, 2surya@its.
id, 3fuad@its.
*Penulis Korespondensi (Naskah masuk: 04 September 2024, diterima untuk diterbitkan: 19 Juni 2.
Abstrak Untuk mendukung dan memperlancar penyelenggaraan manajemen aparatur sipil negara serta pengambilan keputusan yang efisien, efektif, dan akurat, diperlukan data pegawai ASN.
Data tersebut harus dimutakhirkan dan divalidasi secara berkala sebelum disebarluaskan dan diakses oleh instansi pemerintah sesuai kewenangannya masing-masing serta dapat diakses oleh masyarakat melalui portal data sesuai dengan ketentuan peraturan perundang-undangan.
Pada paper ini ditampilkan prototipe berbasis web untuk menunjukkan bahwa model NER yang dikembangkan dapat diintegrasikan sebagai subsistem dari sistem pendukung keputusan dalam melakukan validasi dan penetapan persetujuan pemutakhiran data ASN.
Prototipe menunjukkan tingkat kemiripan hasil prediksi model dengan data yang diusulkan, tertinggi sebesar 100% dan terendah sebesar 41,34%.
Pengukuran kinerja model menggunakan spacy menunjukkan bahwa model terbaik memperoleh nilai F1-score rata-rata sebesar 99,01 menggunakan dataset training, 98,20 menggunakan dataset testing, dan 94,26 menggunakan dataset other.
Kata kunci: Aparatur Sipil Negara.
Named Entity Recognition.
Sistem Pendukung Keputusan.
Optical Character Recognition.
PROTOTYPE INTEGRATED DECISION SUPPORT SYSTEM WITH NER MODEL
FOR VALIDATION AND DETERMINATION OF ASN DATA UPDATES
Abstract To support and facilitate the implementation of state civil apparatus management and efficient, effective, and accurate decision-making.
ASN employee data are required.
The data must be updated and validated periodically before being disseminated and accessed by government agencies according to their respective authorities and can be accessed by the public through a data portal in accordance with the provisions of laws and regulations.
This paper presents a web-based prototype to demonstrate that the proposed NER model can be integrated as a subsystem of a decision support system to validate and determine approval for ASN data updates.
The prototype shows the level of similarity between the model's prediction results and the proposed data, with the highest value being 100% and the lowest being 41.
The measurement of model performance using spacy demonstrated that the best model obtained an average F1-score of 99.
01 using the training dataset, 98.
20 using the testing dataset, 26 using the other dataset.
Keywords: State Civil Apparatus.
Named Entity Recognition.
Decision Support System.
Optical Character Recognition keputusan yang efisien, efektif, dan akurat, diperlukan data pegawai ASN yang wajib dimutakhirkan dan divalidasi secara berkala sebelum disebarluaskan dan diakses oleh instansi pemerintah sesuai kewenangannya serta dapat diakses oleh masyarakat dengan memanfaatkan portal data sesuai ketentuan peraturan perundang-undangan (BKN.
Validasi pemutakhiran data dilakukan oleh pegawai BKN Pusat dan pegawai BKN pada Kantor Regional di PENDAHULUAN Badan Kepegawaian Negara (BKN) bertugas membina dan mengoordinasikan pengelolaan aparatur sipil negara (ASN) nasional.
Pengelolaan ASN menghasilkan pegawai ASN yang kompeten, memiliki nilai-nilai dan berperilaku etis, serta terhindar dari pengaruh politik dan perilaku koruptif, termasuk kolusi dan nepotisme.
Untuk pelaksanaan pengelolaan ASN serta pengambilan 574 Jurnal Teknologi Informasi dan Ilmu Komputer (JTIIK).
Vol.
No.
Juni 2025, hlm.
seluruh Indonesia sesuai wilayah kerjanya dengan cara memeriksa dokumen yang telah diterbitkan oleh pejabat yang berwenang dan kebenaran usulan pemutakhiran data yang telah dilakukan.
Salah satu data pegawai ASN yang wajib divalidasi adalah dokumen dan data surat keputusan tentang kenaikan Validasi pemutakhiran data dilakukan dengan mencermati dan memperhatikan informasi entitas penting yang terdapat dalam dokumen surat keputusan kenaikan pangkat seperti NIP ASN, nama ASN, nomor persetujuan BKN, tanggal persetujuan BKN, nomor surat keputusan kenaikan pangkat, dan tanggal surat keputusan kenaikan pangkat.
Entitas penting pada dokumen tersebut akan dicocokkan dengan kebenaran usulan pemutakhiran data yang telah diajukan oleh masing-masing ASN.
Berdasarkan laporan terakhir yang dibuat pada tanggal 25 November 2022, dapat disebutkan bahwa data pegawai ASN yang wajib divalidasi dan disetujui yang telah menjadi beban kerja Kantor Wilayah XI Badan Kepegawaian Negara sebanyak 260.
269 data, dan data tersebut tersebar pada tiga provinsi yaitu Gorontalo.
Maluku Utara, dan Sulawesi Utara.
Data pegawai ASN tersebut telah divalidasi dan disetujui oleh seluruh pegawai pada Kantor Regional XI BKN sesuai dengan beban kerja yang diberikan oleh Kepala Kantor.
Validasi data pegawai ASN dimulai pada tanggal 12 September 2022 dan dilakukan selama 12 .
ua bela.
jam per hari (Kanreg XI BKN,2.
Dalam Natural Language Processing (NLP), mengidentifikasi dan mengkategorikan entitas seperti orang, tempat, organisasi, dan tanggal disebut pengenalan Named Entity Recognition (NER).
Entitas menyimpan data penting dalam dokumen yang berisi informasi pribadi dan bisnis (Zhang, 2.
Tugas NLP, termasuk ekstraksi informasi, sangat bergantung pada NER (Royesh,2.
, pengambilan informasi penting (Kanhaiya et al.
, 2.
peringkasan teks (Thottempudi,2.
, dan tanya jawab (Mishra et al.
, 2.
Penelitian sebelumnya yang telah difokuskan membahas tentang NER pada beberapa aplikasi, seperti spesimen herbarium, untuk secara otomatis memperoleh data entitas dari gambar spesimen herbarium, sehingga membantu entri data ke dalam database spesimen (Takano et al.
, 2.
menggunakan pendekatan berbasis aturan untuk mendapatkan nama-nama nabi, individu, ciptaan, lokasi, dan berbagai gelar Tuhan sebagai komponen penting dalam domain teks Al-Qur'an (Tarmizi et al.
dan mengidentifikasi makanan halal berdasarkan bahan-bahan seperti Halal.
Haram, dan Syubhat .
agu-rag.
, yang dapat membantu pelanggan muslim dalam mengidentifikasi produk makanan halal yang dapat dikonsumsi (Khairani et , 2.
Dalam penelitian ini, model NER akan dimanfaatkan pada dokumen keputusan kenaikan pangkat ASN yang diterbitkan oleh pejabat yang berwenang, seperti Presiden.
Menteri.
Kepala Badan atau Lembaga.
Gubernur.
Walikota, dan Bupati.
Untuk dapat mengidentifikasi dan mengenali entitas (NOMOR_SK).
BKN (NOMOR_LG_BKN), tanggal persetujuan BKN (TANGGAL_LG_BKN), nama ASN (NAMA_PNS), nomor induk pegawai ASN (NIP_PNS), tanggal mulai berlakunya pangkat baru (TMT_KP), dan nama pangkat baru (PANGKAT_BARU), sehingga model NER dapat diintegrasikan sebagai salah satu bagian pada sistem pendukung keputusan dalam mendukung proses validasi dan penetapan pemutakhiran data yang telah diajukan oleh masing-masing ASN.
Sistem pendukung keputusan (SPK) adalah sistem komputer yang menawarkan informasi kepada pengguna dan menganalisisnya berdasarkan kebutuhan pengguna dalam pengambilan keputusan.
Sistem pendukung keputusan menyediakan data, informasi, dan analisis penting bagi pengguna untuk memfasilitasi pengambilan keputusan yang efektif.
Dalam skenario yang tidak terstruktur atau tidak dapat diprediksi, sistem pendukung keputusan membantu pengguna mengelola informasi dan membuat keputusan berdasarkan data (Khadir,2.
Sistem pendukung keputusan memiliki tiga komponen atau subsistem utama yang menentukan kemampuan teknis sistem pendukung keputusan, termasuk subsistem data, yang merupakan bagian dari sistem pendukung keputusan sebagai penyedia subsistem model, yang menampilkan hasil dan subsistem dialog, yang memungkinkan pengguna berinteraksi dengan sistem melalui antarmuka dialog.
Dengan menggunakan model NER, entitas dapat diidentifikasi secara akurat, sehingga dapat meningkatkan kinerja validasi dan penetapan pemutakhiran data data ASN.
METODE PENELITIAN
Alur kerja penelitian dirangkumkan dalam blok Diagram ini akan membantu peneliti pada setiap tahap penelitian.
Gambar 1 mengilustrasikan alur penelitian yang terdiri dari tiga tahapan utama yaitu pengumpulan data, pengembangan model NER dan pembuatan prototipe sistem pendukung 1 Data Crawling Data dapat dikumpulkan dan diindeks secara otomatis dari berbagai sumber, termasuk situs web, basis data, dan dokumen.
Program komputer yang disebut sebagai "web crawler" atau "spider" bertanggung jawab untuk menelusuri halaman web, mengumpulkan data, dan mengaturnya secara Fungsi utama perayapan data adalah untuk memfasilitasi akses ke informasi oleh mesin pencari Muhamad Holik, dkk.
Prototipe Sistem PendukungA 575 dan aplikasi melalui pengembangan, analisis, dan pengindeksan (Ani et al.
, 2.
Gambar 1.
Alur Penelitian Data yang dikumpulkan melalui data crawling adalah dokumen terkait keputusan kenaikan pangkat ASN yang bersumber dari Sistem Informasi ASN (SIASN).
SIASN merupakan serangkaian dokumen dan data terkait ASN yang disusun secara sistematis, komprehensif, dan terintegrasi dengan teknologi.
Dokumen tersebut adalah surat yang telah diterbitkan oleh pejabat berwenang, seperti Presiden.
Menteri.
Kepala Badan/Lembaga.
Gubernur.
Wali Kota, dan Bupati, dokumen dikumpulkan dari beberapa instansi pemerintah yang telah diterbitkan oleh pejabat yang berwenang mulai tahun 2023 sampai dengan tahun 2024 berdasarkan data ASN yang bekerja pada wilayah kerja Kantor Regional XI BKN.
Dokumen yang diperoleh kemudian disimpan secara offline atau lokal dalam bentuk file PDF dengan format nama file SK_KP_TAHUN_NIPASN.
masalah OCR lainnya.
Untuk meningkatkan kualitas dokumen hasil pemindaian dan meningkatkan hasil OCR, diperlukan pra-pemrosesan citra (Ramdhani et , 2.
Pada penelitian ini dilakukan prapemrosesan citra menggunakan pustaka OpenCV dengan enam langkah algoritma yaitu rescaling dengan faktor skala 4 dan metode INTER_LINEAR, adjust ilumination, remove noise, unsharp mask, dan adaptive threshold, prapemrosesan citra dilakukan sebelum proses OCR untuk meningkatkan kualitas pengenalan karakter.
Alur kerja prapemrosesan citra diilustrasikan pada Gambar 3.
2 Convert PDF To Image Pada tahap ini, setiap halaman dokumen surat keputusan kenaikan pangkat diubah menjadi file citra menggunakan pustaka "pdf2image".
Hal ini diperlukan untuk memudahkan manipulasi citra menggunakan berbagai teknik pemrosesan citra daripada menggunakan berkas PDF.
citra dapat dengan mudah diubah ukurannya, dipotong, atau disesuaikan kecerahan dan kontrasnya, yang sering kali diperlukan sebelum diproses lebih lanjut.
Gambar 2.
Alur prapemrosesan citra 3 Image Preprocessing 4 OCR Processing Membaca teks pada dokumen hasil pemindaian terkadang menimbulkan masalah seperti dokumen buram, teks memudar, terdapat tanda air, stempel, tanda tangan, dan bekas lipatan pada dokumen.
Masalah seperti ini dapat menyebabkan penurunan kualitas optical character recognition (OCR) dan Metode yang dikenal sebagai OCR mengubah gambar dalam bentuk teks menjadi teks terstruktur yang dapat dikenali oleh mesin (Wahyuddin et al.
OCR banyak digunakan untuk membaca teks dari gambar yang dipindai dan juga digunakan untuk membaca teks dari dokumen identitas seperti kartu identitas atau paspor.
576 Jurnal Teknologi Informasi dan Ilmu Komputer (JTIIK).
Vol.
No.
Juni 2025, hlm.
Proses klasifikasi karakter dilakukan secara berurutan dengan OCR (Mollah et al.
, 2.
, alur kerja OCR Processing ditampilkan pada Gambar 4.
5 Text Preprocessing Berbagai text-preprocessing berkontribusi pada keberhasilan NER.
Penulis menyatakan bahwa penggunaan satu atau kombinasi prosedur text-preprocessing, seperti kontraksi ekspansi, konversi angka ke kata, dan pemisahan koma, tanda hubung, dapat meningkatkan kinerja Dapat dilihat bahwa model conditional random fields (CRF) tanpa text-preprocessing dan model CRF dengan text-preprocessing lebih baik saat menjalankan tugas NER (Situmeang, 2.
Natural Language Processing (NLP) sangat bergantung pada tahap text-preprocessing.
Gambar 5 menampilkan alur text-preprocessing Gambar 3.
Alur OCR Processing Binarized character adalah berkas citra digital yang diubah menjadi citra biner.
Citra biner hanya memiliki dua tingkat keabuan, hitam dan putih.
Piksel objek bernilai 1, dan piksel latar belakang Saat citra ditampilkan, 1 mewakili hitam dan 0 mewakili putih.
Oleh karena itu, dalam citra biner, latar belakang berwarna putih, dan objek berwarna hitam.
Boundary selection bertujuan untuk mengelompokkan piksel objek ke dalam wilayah yang mewakili suatu objek.
Batas antara objek dan latar belakang terlihat jelas dalam citra biner.
Piksel objek dan latar belakang berwarna hitam, dan piksel latar belakang berwarna putih.
Perpotongan antara piksel hitam dan putih dimodelkan sebagai segmen Normalization merupakan tahap dalam praproses citra yang dilakukan sebelum pengenalan.
Proses ini menyesuaikan data citra masukan dengan data citra dalam basis data.
Template Matching merupakan teknik pemrosesan citra digital yang mencocokkan setiap bagian citra dengan citra referensi.
Citra masukan dibandingkan dengan citra template dalam basis data, dan kesamaan ditentukan menggunakan aturan Pencocokan citra yang menghasilkan kesamaan tinggi menunjukkan bahwa citra dikenali sebagai citra template.
Character recognition adalah proses mengenali karakter yang diamati dengan membandingkan ciri-ciri karakter yang diperoleh dengan ciri-ciri karakter dalam basis data.
OCR Processing pada penelitian ini menggunakan Tesseract-OCR, sebuah platform OCR sumber terbuka untuk melakukan ekstraksi teks dari gambar dan dokumen.
Teknologi ini dapat mengidentifikasi dan membaca teks dari berbagai gambar, seperti dokumen dan foto.
Tesseract besutan Google, yang awalnya dibuat oleh Hewlett-Packard, beroperasi dalam berbagai bahasa dan sistem penulisan, termasuk Unicode (UTF-.
Gambar 4.
Alur text-preprocessing 6 Entity Annotation Anotasi entitas, yang juga disebut sebagai pelabelan data, adalah teknik pelabelan data yang dapat diterapkan pada teks, foto, atau video.
Pelabelan data adalah proses pemberian satu atau beberapa label deskriptif pada data yang belum diproses .
ambar, teks, video, dll.
) sehingga model machine learning dapat menggunakannya untuk Hal ini dilakukan untuk memudahkan model memahami sumber data tertentu dan mengidentifikasi objek, format, data, atau pola tertentu di masa mendatang berdasarkan pelabelan data (Kumar et al.
Berbagai metode anotasi telah disarankan dalam mengidentifikasi entitas.
Skema anotasi dan pengkodean diterapkan untuk menetapkan identitas dan lokasi entitas dalam kalimat tertentu.
Dalam NER, tujuannya adalah untuk menetapkan label sekuens yang sesuai ke sekuens teks tertentu.
Dalam skema anotasi entitas bernama, token pertama ditandai(B),token terakhir dari entitas bernama ditandai(E), sedangkan token perantara ditandai(I).
Token non-entitas dilambangkan sebagai(O).
Skema tag NER dapat terdiri dari empat tag sebagai berikut:
BIO.
IO.
IOE.
IOBES.
IE, dan BIES (Keraghel et al.
Pada NER Arab (Alshammari et al.
,2.
penulis menunjukkan bahwa skema tag IO, merupakan skema paling sederhana saat dipelajari, mencapai pengukuran F1-score tertinggi.
Pada penelitian ini, anotasi entitas menggunakan tools "spacy-annotator".
spacyannotator digunakan untuk membuat data beranotasi yang berisi teks dan label entitas.
spacy-annotator Muhamad Holik, dkk.
Prototipe Sistem PendukungA 577 dapat menyederhanakan proses anotasi data secara signifikan karena hanya memerlukan input teks yang berisi entitas dalam kotak teks yang disediakan sesuai dengan jenis entitas.
Gambar 5.
Tools spacy-annotator Hal ini memudahkan dan lebih efisien untuk mengembangkan model NER untuk NLP dalam domain machine learning.
Data beranotasi kemudian akan disimpan dalam format "spacy" yang akan digunakan untuk pelatihan, pengujian, dan evaluasi Gambar 6 menampilkan tools spacyannotator.
7 Training Pengetahuan yang sesuai untuk model machine learning ditentukan selama training.
Model machine learning belajar untuk melakukan generalisasi melalui proses training ini.
Metode machine learning bervariasi dalam prosedur training-nya.
Model pembelajaran mesin dapat dilatih menggunakan reinforcement,unsupervised, dan supervised learning (Elwirehardja et al.
, 2.
Pada penelitian (Kotevska, 2.
, semisupervised learning digunakan untuk melatih model NER, yaitu joint training, dimana beberapa label data Kemudian, secara periodik, data yang telah dilatih sebelumnya dapat memberikan label secara instan pada data yang belum diberi label, sehingga membuat model lebih reliabel .
enghasilkan hasil yang sama pada setiap percobaan yang berhasi.
8 NER Model Model NER yang telah menjalani proses training sehingga dapat digunakan untuk mengidentifikasi bagian teks yang dianggap entitas dan mengklasifikasikan entitas ke dalam tipe entitas yang ditentukan sebelumnya dalam teks tidak Model NER inilah yang dipergunakan juga dalam membantu saat proses pelabelan.
9 Performance Evaluation Dalam konteks machine learning, metrik evaluasi digunakan untuk mengukur sejauh mana model dapat mempelajari pola yang ada dalam data pelatihan dan menerapkannya pada data yang sebelumnya tidak terlihat .
ata validasi dan Beberapa pengukuran NER yang umum digunakan melibatkan penggunaan metrik evaluasi seperti recall.
F1-score, dan precision (Keraghel et , 2.
Pada penelitian ini, evaluasi model dilakukan melalui pipeline spacy dengan menggunakan perintah Auspacy benchmarkAy pada command line.
10 NER Model Integration Sistem terintegrasi merupakan gabungan dari beberapa sistem komputerisasi dan perangkat Sistem terintegrasi menyatukan fungsi komponen-komponen subsistem menjadi satu Integrasi data dari sistem sangatlah penting dikarenakan beberapa hal berikut (Yuliana, 2.
Kolaborasi antar pemangku kepentingan.
Pemrosesan data dalam sistem terpisah memerlukan pertukaran data untuk memperoleh informasi yang komprehensif.
Menawarkan akses instan dan realtime.
Pada penelitian ini Model NER akan diintegrasikan sebagai subsistem manajeman model sehingga dapat memberikan prediksi dalam melakukan validasi dan penetapan persetujuan data pegawai ASN berdasarkan surat keputusan kenaikan pangkat yang telah diterbitkan oleh pejabat berwenang.
11 Prototipe Decision Support System Sistem Pendukung Keputusan (SPK) biasanya dikembangkan menggunakan pendekatan pembuatan prototipe (Turban et al.
, 2.
Dalam pengembangan perangkat lunak, prototipe dapat digunakan dalam berbagai cara (Sommervile, 2.
Prototipe berperan penting dalam proses rekayasa persyaratan untuk memperoleh dan memvalidasi persyaratan sistem.
Dalam proses desain, prototipe digunakan untuk menyelidiki solusi perangkat lunak 578 Jurnal Teknologi Informasi dan Ilmu Komputer (JTIIK).
Vol.
No.
Juni 2025, hlm.
Selama pengujian pengguna, prototipe berfungsi sebagai pengganti sistem yang Gambar 6.
Hasil OCR Gambar 7.
Hasil Training NER
HASIL DAN PEMBAHASAN
Berdasarkan diagram alur penelitian (Gambar .
, hasil dan pembahasan secara sistematis disusun ke dalam tahapan-tahapan berikut:
Tabel 1.
Dataset surat keputusan Diterbitkan oleh Tahun Presiden Menteri/Kepala Badan Gubernur Walikota Total Gambar 9 menyajikan hasil proses OCR yang dilakukan oleh Tesseract-OCR menggunakan contoh dokumen surat keputusan kenaikan pangkat yang telah diterbitkan oleh Gubernur Pemerintah Daerah Provinsi Sulawesi Utara.
Jumlah Tabel 2.
Dataset Training Diterbitkan oleh Tahun Presiden Menteri/Kepala Badan Gubernur Walikota Bupati Total Jumlah OCR Processing 3 Entity Annotation Data File PDF surat keputusan kenaikan pangkat ASN yang terkumpul kemudian diubah Aupdf2imageAy.
Selanjutnya, untuk meningkatkan kualitas citra, dilakukan preprocessing citra menggunakan pustaka AuopencvAy sebelum proses OCR dilakukan oleh Tesseract-OCR, kemudian hasil yang diperoleh setelah OCR disimpan secara lokal sebagai file TXT.
Teks hasil OCR kemudian dibersihkan melalui tahapan text-preprocessing, selanjutkan dibagi menjadi dua bagian secara acak, 70% berfungsi sebagai dataset training, seperti ditunjukkan pada Tabel 2, sedangkan 30% data berfungsi sebagai dataset testing, seperti ditunjukan pada Tabel 3.
Muhamad Holik, dkk.
Prototipe Sistem PendukungA 579 Selanjutnya, proses pelabelan dilakukan menggunakan tools spacy-annotator.
Pelabelan merupakan proses yang memakan waktu dalam pembuatan dataset untuk training model, oleh karena itu, proses pelabelan atau anotasi dalam penelitian ini menggunakan anotasi semi-supervised, yaitu dengan membangun model dari sebagian dataset yang telah diberi label.
Kemudian, dataset yang belum diberi label akan diberi label atau anotasi oleh model yang telah terbentuk.
Tabel 3.
Dataset Testing Diterbitksn oleh Tahun Presiden Menteri/Kepala Badan Gubernur Walikota Bupati Total Tabel 5 menyajikan dataset yang dipergunakan oleh model machine learning pada penelitian ini dalam mempelajari pola menggunakan dataset training dan testing, menampilkan tipe entitas, dan jumlah entitas dalam dataset.
Pada dataset training jumlah token sebanyak 539.
628, dan jumlah kata sebanyak 477.
Pada dataset testing jumlah token sebanyak 232.
588 dan jumlah kata sebanyak Tabel 5.
Dataset berdasar tipe entitas Tipe Entitas Dataset Training Testing NOMOR_SK NOMOR_LG_BKN TANGGAL_LG_BKN NAMA_PNS NIP_PNS TMT_KP PANGKAT_BARU Total 4 Training 5 Evaluation Training model dilakukan menggunakan notebook Lenovo Yoga Slim 7 Pro 14ACH5 dengan Prosesor AMD Ryzen7 5800H dengan unit pemrosesan grafis Radeon.
RAM terpasang 16 GB, dan Penyimpanan SSD 1 TB.
Hasil pelatihan NER dengan spacy ditunjukkan pada Gambar 7.
Nilai F1score pada training terakhir adalah 97,22.
Recall 97,46.
Precision 96,98.
Speed 4723,73 kata per detik.
Score 0,39, dan Loss 78,46.
Kinerja model NER dinilai menggunakan matriks precision, recall, dan F1-score berdasarkan klasifikasi True Positives.
False Positives, dan False Negatives.
Kinerja model terbaik dievaluasi, dan hasilnya diperoleh.
Sebanyak 500 data tambahan digunakan untuk menilai kinerja model NER sebagai dataset other yang diambil dari usulan peremajaan atau pemutakhiran data pangkat atau golongan yang disampaikan melalui SIASN (Sistem Informasi Aparatur Sipil Negar.
dan juga dari data Keputusan Kenaikan Pangkat ASN yang diterbitkan oleh pejabat berwenang sebelum tahun 2023.
Perbandingan performa model training, testing, dan other disajikan dalam Tabel 6.
Perbandingan performa model berdasarkan tipe entitas ditunjukkan dalam Tabel 7.
Tabel 4 menjelaskan deskripsi output melakukan training model NER menggunakan spacy.
Nama F-Score (F) Precision (P) Recall (R) UAS / LAS Speed Loss Tabel 4.
Deskripsi training output Deskripsi Rata-rata harmonik presisi dan recall.
Biasanya Persentase anotasi yang diprediksi benar.
Biasanya meningkat.
Persentase anotasi referensi yang dipulihkan.
Biasanya meningkat.
Skor lampiran berlabel dan tidak berlabel untuk pengurai ketergantungan, yaitu persentase busur yang benar.
Biasanya meningkat.
Kecepatan prediksi dalam kata per detik (WPS).
Biasanya tetap stabil.
Loss pelatihan yang mewakili jumlah pekerjaan yang tersisa untuk pengoptimal.
Harus berkurang, tetapi biasanya tidak sampai 0 Setelah proses pelatihan, model disimpan dalam dua folder: model-last, yang berisi versi model pada iterasi pelatihan terakhir, yang dapat digunakan untuk melanjutkan proses pelatihan di masa mendatang, dan model-best, yang berisi versi model yang memiliki performa terbaik dalam proses Secara umum, model ini dapat digunakan untuk membuat prediksi pada data yang tidak Tipe Evaluasi Precision Recall F1-Score Tabel 6.
Evaluasi kinerja model Training Testing Other Gambar 8 menampilkan kinerja model NER menggunakan contoh dokumen surat keputusan kenaikan pangkat yang telah diterbitkan oleh Gubernur Pemerintah Daerah Provinsi Sulawesi Utara, dalam melakukan prediksi untuk mengenali entitas nomor surat keputusan (NOMOR_SK), nomor persetujuan BKN (NOMOR_LG_BKN), tanggal persetujuan BKN (TANGGAL_LG_BKN), nama ASN (NAMA_PNS).
NIP ASN (NIP_PNS), tanggal mulai berlaku pangkat baru (TMT_KP), dan nama pangkat baru (PANGKAT_BARU) Tabel 7.
Evaluasi kinerja berdasarkan tipe entitas 580 Jurnal Teknologi Informasi dan Ilmu Komputer (JTIIK).
Vol.
No.
Juni 2025, hlm.
Tipe Entitas Precision Recall Training Testing Other NOMOR_SK NOMOR_LG_BKN TANGGAL_LG_BK NIP_PNS PANGKAT_BARU TMT_KP F1-Score
Testing Other Trainin
Testing Other Trainin
NAMA_PNS
Average Gambar 8.
Kinerja Model Gambar 9.
Prototipe 6 Prototype Pada penelitian ini digunakan prototipe untuk menguji kinerja model NER seperti ditampilkan pada Gambar 9, prototipe yang mengintegrasikan model NER sebagai salah satu elemen sistem pendukung keputusan (SPK) dalam melakukan validasi dan penetapan persetujuan pemutakhiran data kenaikan pangkat ASN.
Dalam prototipe hasil prediksi entitas yang dihasilkan oleh model NER dibandingkan kedekatannya masing4.
KESIMPULAN
Hasil penelitian menunjukkan keberhasilan model NER dalam mengenali entitas penting pada surat keputusan kenaikan pangkat ASN.
Model NER dapat mengenali entitas nomor surat keputusan (NOMOR_SK).
BKN (NOMOR_LG_BKN), tanggal persetujuan BKN masing entitas dengan data usulan dan akan diberi poin 1 .
apabila data prediksi model mirip dengan data usulan.
Prototipe diujicobakan pada 50 dataset acak.
Dari 50 data yang diujicobakan menggunakan pustaka AuLevenshtein RatioAy, tingkat kemiripan prediksi model dengan data usulan memperoleh skor tertinggi 100%, dan skor terendah 41,34%.
Skor yang rendah terkadang disebabkan oleh hasil OCR yang tidak sempurna akibat dokumen yang buram, terbalik, atau bukan dokumen surat keputusan kenaikan pangkat.
(TANGGAL_LG_BKN), nama ASN (NAMA_PNS).
NIP ASN (NIP_PNS), tanggal mulai berlakunya pangkat baru (TMT_KP), dan nama pangkat baru (PANGKAT_BARU).
Pengukuran kinerja model NER menggunakan spacy menunjukkan bahwa model terbaik memperoleh nilai F1-score rata-rata sebesar 99,01 menggunakan dataset training, 98,20 menggunakan dataset testing, dan 94,26 menggunakan dataset other.
Muhamad Holik, dkk.
Prototipe Sistem PendukungA 581 Dalam makalah ini, prototipe berbasis web ditampilkan untuk menunjukkan bahwa model NER yang telah dikembangkan dapat diintegrasikan sebagai subsistem dari sistem pendukung keputusan yang dapat dipergunakan dalam melakukan validasi dan menetapkan persetujuan pemutakhiran data pangkat dan golongan ruang ASN.
Prototipe menampilkan persentase tingkat kemiripan hasil prediksi model NER dengan data usulan, tertinggi sebesar 100% dan terendah sebesar 41,34%.
UCAPAN TERIMA KASIH
Penulis mengucapkan terima kasih kepada Kementerian Komunikasi dan Informatika atas bantuan dan dukungan yang diberikan kepada penulis melalui Program Beasiswa Dalam Negeri sehingga penulis dapat melanjutkan studi di Institut Teknologi Sepuluh Nopember.
DAFTAR PUSTAKA