Volume 01.
No.
Juni 2025.
Hal.
23 Ae 27 e-ISSN : 3109Ae4163 Deteksi Ekspresi Wajah Real-Time Menggunakan YOLOv12 Rizal Adimas Ronaldo1*.
Garet Al Firmansyah2.
Ardiansyah3 Universitas Muhammadiyah Klaten.
Kabupaten Klaten Program Studi Teknologi Informasi.
Fakultas Kesehatan dan Teknologi.
Universitas Muhammadiyah Klaten.
Klaten Email: 1Rizaladhie85@gmail.
com, 2garetalfirmansyah@gmail.
com, 2ardiansyah@umkla.
ABSTRACT Ai This research focuses on the development of a real-time facial expression detection system using YOLOv12.
The study utilizes a secondary dataset from Kaggle, consisting of 1000 images categorized into two classes: "Happy" and "Not Happy.
" The dataset undergoes preprocessing steps, including Gabor filter bank for key facial feature identification and geometric augmentation to enhance data quality.
The YOLOv12 model is trained with 100 epochs, a batch size of 4, and the AdamW optimizer, achieving a mean Average Precision .
AP@0.
89 for both expression classes.
So the AI model developed is able to recognize facial expressions with high accuracy, indicated by mAP@0.
5 of 0.
89 for two types of expressions.
The system demonstrates real-time performance with an average processing speed of 15 FPS on CPU-based devices, adapting well to varying lighting conditions and angles, though accuracy decreases by 5-7% in low-light The results highlight the model's potential applications in mental health, human-computer interaction, and Limitations include the restricted dataset and challenges with micro-expressions.
Future work suggests expanding the dataset to include more expression classes and integrating post-processing models to reduce false positives.
KEYWORDS Ai Real-Time.
YOLOv12.
Facial Expression Detection.
Artificial Intelligence.
Human-Computer Interaction.
INTISARI Ai Penelitian ini berfokus pada pengembangan sistem deteksi ekspresi wajah secara real-time menggunakan YOLOv12.
Studi ini menggunakan dataset sekunder dari Kaggle yang terdiri dari 1.
000 gambar yang dikategorikan ke dalam dua kelas: "Senang" dan "Tidak Senang.
" Dataset tersebut melalui tahap pra-pemrosesan, termasuk penggunaan bank filter Gabor untuk mengidentifikasi fitur wajah utama dan augmentasi geometrik untuk meningkatkan kualitas data.
Model YOLOv12 dilatih dengan 100 epoch, ukuran batch 4, dan pengoptimal AdamW, mencapai nilai mean Average Precision .
AP@0.
sebesar 0,89 untuk kedua kelas ekspresi, jadi model AI yang dikembangkan mampu mengenali ekspresi wajah dengan akurasi tinggi, ditunjukkan oleh mAP@0.
5 sebesar 0,89 untuk dua jenis ekspresi.
Sistem ini menunjukkan kinerja real-time dengan kecepatan pemrosesan rata-rata 15 FPS pada perangkat berbasis CPU, serta mampu beradaptasi dengan baik terhadap berbagai kondisi pencahayaan dan sudut pandang, meskipun akurasi menurun sekitar 5-7% dalam lingkungan dengan cahaya rendah.
Hasil penelitian menunjukkan potensi penerapan model ini dalam bidang kesehatan mental, interaksi manusia-komputer, dan keamanan.
Keterbatasan meliputi dataset yang terbatas dan tantangan dalam mendeteksi ekspresi Untuk penelitian selanjutnya, disarankan untuk memperluas dataset dengan lebih banyak kelas ekspresi dan mengintegrasikan model pasca-pemrosesan untuk mengurangi false positives.
KATA KUNCI Ai Real-Time.
YOLOv12.
Deteksi Ekspresi Wajah.
Kecerdasan Buatan.
Interaksi Manusia-Komputer.
PENDAHULUAN
Tujuan pengembangan teknologi kecerdasan buatan (AI) adalah untuk membangun mesin cerdas yang dapat bernalar, belajar, dan bertindak sendiri.
Menciptakan algoritma dan sistem komputer yang dapat menjalankan aktivitas yang biasanya membutuhkan kecerdasan manusia merupakan fokus cabang ilmu komputer ini.
AI semakin banyak digunakan dalam berbagai industri, seperti robotika, perawatan kesehatan, dan keuangan, yang meningkatkan pengambilan keputusan, meningkatkan efisiensi, dan mengotomatiskan prosedur.
berpotensi merevolusi sejumlah bisnis dengan memajukan analisis data, deteksi penipuan, dan layanan pelanggan.
Penelitian ini meneliti awal mula dan penemuan penting dalam bidang kecerdasan buatan (AI), dengan menekankan bagaimana kecerdasan buatan telah berkembang dari teori awal hingga perkembangan kontemporer.
Pembahasan tentang titik balik yang telah memengaruhi AI seperti pengembangan visi komputer, pembelajaran mesin, dan pemrosesan bahasa alami.
A Jurnal Keilmuan Teknologi Informasi Volume 01.
No.
Juni 2025.
Hal 23 Ae 27 e-ISSN 3109Ae4163 Dengan mencermati kemajuan ini, makalah ini menyiapkan landasan bagi kemajuan dan masalah di masa mendatang di bidang ini sekaligus menawarkan wawasan tentang teknologi mendasar yang telah memfasilitasi kebangkitan AI dan penggunaan saat ini di berbagai sector .
AI dapat meningkatkan kinerja manusia dalam manajemen SDM seperti perekrutan, pelatihan, dan evaluasi.
Dengan penerapan yang tepat.
AI mendorong produktivitas, efisiensi, dan kesejahteraan karyawan.
Namun.
AI harus menjadi pendukung, bukan pengganti, demi menciptakan tempat kerja yang produktif dan memuaskan.
AI meningkatkan produktivitas dengan mengotomatiskan tugas berulang dan membebaskan staf untuk fokus pada proyek bernilai tinggi.
Asisten AI membantu meningkatkan kinerja, sementara analitik memberikan wawasan untuk pengambilan Agar efektif, perlu pembaruan pelatihan, redefinisi peran dan KPI, pemantauan bias, serta transparansi penggunaan AI.
Jurnal Keilmuan Teknologi Informasi Volume 01.
No.
Juni 2025.
Hal 23 Ae 27 Tinjauan umum tentang evolusi kecerdasan buatan (AI) mengikuti perkembangan dari ide-ide matematika awal hingga implementasi modern.
Pembahasan tentang titik balik penting seperti Deep Blue dan AlphaGo, yang menunjukkan bagaimana AI telah berkembang sebagai perluasan logis dari ilmu komputer dan matematika.
Karena gayanya yang mudah dipahami, yang secara bertahap memperkenalkan ide-ide matematika dan spesifikasi teknis, cerita ini dapat dibaca oleh siapa saja dengan berbagai tingkat minat dan kemahiran dalam kecerdasan buatan dan bidang terkaitnya .
Konsep kecerdasan tertambahAidi mana teknologi AI beroperasi berdampingan dengan pekerja manusia untuk meningkatkan, alih-alih menggantikan, kemampuan merekaAi disorot dalam laporan penelitian.
Peningkatan produktivitas dan kinerja tugas yang lebih baik di tempat kerja merupakan hasil dari hubungan ini.
Studi ini terutama mengkaji bagaimana perusahaan dan karyawan Filipina memandang integrasi AI ini, menyelidiki teknik adaptasi yang memungkinkan orang hidup berdampingan dengan komputer pintar dan pada akhirnya mengoptimalkan keunggulan sistem AI di tempat kerja yang berteknologi maju.
Penelitian ini terutama berfokus pada pengukuran kinerja model deteksi objek terbaru YOLOv12, karena perkembangan AI semakin cepat.
Dengan mengacu pada sejarah penting dalam perkembangan kecerdasan buatan, mulai dari teori-teori pembelajaran mesin dan teori matematika dasar, penelitian ini menempatkan YOLOv12 sebagai contoh langsung dari kemajuan algoritmik dalam bidang visi komputer.
Evaluasi kinerja YOLOv12 menunjukkan betapa efektif teknis model tersebut dalam mengenali dan mengklasifikasikan objek secara real-time, dan juga menunjukkan bagaimana teknologi AI dasar telah digunakan secara optimal.
Oleh karena itu, penelitian ini membantu kami memahami fungsi algoritma deteksi objek terbaru dalam mendukung efisiensi dan otomatisasi di berbagai industri yang telah terkena dampak transformasi digital berbasis AI.
kemungkinan ancaman keamanan dalam aplikasi pengawasan waktu nyata.
Perangkat keras berkinerja tinggi dibutuhkan untuk YOLO, yang sering digunakan dalam aplikasi video cerdas untuk pengenalan objek secara real-time.
Kemampuan YOLO ditingkatkan dengan arsitektur adaptive frame control (AFC) yang disarankan, yang memungkinkan pemrosesan real-time yang efektif bahkan pada perangkat tertanam dengan sumber daya terbatas.
, memanfaatkan metode pembelajaran mendalam dan visi komputer yang canggih untuk mengidentifikasi jatuh pada orang dengan tingkat akurasi yang mencengangkan yakni 90%.
METODE
Dataset Penggunaan dataset pada penelitian menggunakan dataset sekunder dari open resource Kaggle .
Dari dataset tersebut didapatkan beberapa 2 jenis ekspresi pada manusia yaitu :
Senang dan Tidak Senang.
Gambar yang terdapat pada dataset tersebut memiliki ukuran dimensi 2048 x 1024 pixel dengan jenis RGB dan sebanyak 1000 gambar.
Dari dataset yang digunakan akan didistrubusikan ke 2 kelas yang berbeda.
Preprocessing Untuk mengurangi efek interaksi, penelitian ini menggunakan tugas pencarian visual dengan wajah-wajah netral yang bertindak sebagai pengalih perhatian.
Kemampuan untuk memodifikasi fitur wajah secara tepat guna mengevaluasi efisiensi pendeteksian emosi marah dan senang dimungkinkan oleh klasifikasi ekspresi emosi ke dalam keadaan normal dan mencolok.
Preprocessing untuk mendeteksi ekspresi marah dan senang memerlukan identifikasi elemen-elemen kunci dalam foto wajah menggunakan bank filter Gabor.
Sebelum menggunakan teknik reduksi dimensionalitas dan klasifikasi Support Vector Machine, fase ini menyempurnakan data.
Metode preprocessing untuk mengidentifikasi ekspresi gembira dan marah tidak dibahas secara khusus dalam makalah ini.
Meskipun demikian, makalah ini menyoroti betapa pentingnya memeriksa indikator wajah seperti lengkungan bibir dan gerakan alis, yang penting untuk mengklasifikasikan emosi dalam sistem deteksi emosi wajah.
Selain itu, penghapusan gambar ganda pada dataset hasil dari preprocessing dataset terlihat pada tabel berikut.
II.
TINJAUAN PUSTAKA
Penelitian ini Meskipun YOLO untuk deteksi wajah dibahas dalam makalah ini, deteksi ekspresi wajah YOLOv12 tidak dibahas secara tegas.
Untuk identifikasi yang andal, makalah ini menekankan verifikasi wajah dan ekstraksi fitur dengan teknologi YOLO.
FaceNet, dan ArcFace.
Penelitian ini berfokus pada identifikasi ekspresi wajah menggunakan teknik deteksi wajah YOLO, meskipun lebih banyak membahas YOLO daripada YOLOv12.
Dengan menggunakan kumpulan data FER2013, model yang disarankan mencapai tingkat akurasi 94% dalam mengklasifikasikan emosi ke dalam tujuh kategori.
Untuk meningkatkan akurasi identifikasi emosi seperti marah, terkejut, jijik, gembira, sedih, dan takut dalam rangkaian video waktu nyata untuk berbagai aplikasi, penelitian ini memperkenalkan model Pengenalan Ekspresi Wajah (FER) hibrida yang menggabungkan Jaringan Syaraf Buatan dan Algoritma Genetika.
Dengan mengklasifikasikan objek sebagai masalah regresi dan memprediksi kotak pembatas dan probabilitas kelas dari gambar lengkap dalam satu evaluasi, pendekatan YOLO memanfaatkan AI untuk pengenalan objek waktu nyata, meningkatkan kecepatan dan akurasi dalam aplikasi.
Untuk meningkatkan sistem deteksi dengan Lapisan Deteksi Anomali dan Algoritma Analisis Perilaku serta meningkatkan akurasi identifikasi objek bergerak dan TABEL I.
PREPROCESSING DATASET
Preprocessing Dataset Senang Tidak Senang Dataset Annotasi Dengan memberikan label Action Unit (AU) menggunakan FACS, anotasi memainkan peran penting dalam deteksi Label-label ini kemudian digabungkan untuk menentukan label ekspresi.
Dengan melatih pola wajah dasar model, teknik metodis ini meningkatkan kapasitas model untuk mengidentifikasi ekspresi mikro secara tepat .
TABEL II.
KELAS PADA DATASET
Id Kelas Nama Kelas Senang Tidak Senang Jurnal Keilmuan Teknologi Informasi Volume 01.
No.
Juni 2025.
Hal 23 Ae 27 Yolo proses preprosesing akan dilakukan proses augmentasi untuk menambahkan jumlah data yang berasal dari preprosesing.
Selanjutnya proses label anotasi menggunakan Labelling secara manual yang akan menyimpan informasi tentang id, kelas, nilai x, nilai y, w, dan h kedalam file label berekstrasi txt sesuai dengan nama file gambar.
File label dan gambar yang telah melalui proses anotasi dibagi menjadi train dan val dengan presentasi 80:20 yang diletakkan pada direktori data.
Pada pembagian data train dan val yaitu Senang 659 dan Tidak Senang 349.
Selanjutnya proses yang dilakukan adalah membuat file data custom.
yaml dan file training yolov12-custom.
yaml yang menjelaskan lokasi file train dan validasi.
Ide YOLOv12 dikembangkan berdasarkan ide-ide mendasar yang dikeluarkan oleh iterasi sebelumnya dari kerangka kerja deteksi objek YOLO (You Only Look Onc.
, dengan penekanan khusus pada peningkatan akurasi dan kemampuan deteksi waktu nyata.
Diharapkan bahwa YOLOv12 akan menggabungkan metode pembelajaran mendalam yang canggih, meningkatkan metode berbasis grid yang memungkinkan prediksi kotak pembatas dan probabilitas kelas secara bersamaan.
Tujuan dari evolusi ini adalah untuk memecahkan masalah seperti oklusi, deteksi objek kecil, dan perubahan keadaan sekitar.
TABEL i.
PERBANDINGAN MODEL YOLOV12
Model
Size
SPD
Params (M) FLOPs
Comparison
1%/-9%
1%/ 42%
0%/-3.
4%/-8% .
6%/-4% .
Evaluasi Performa Matrix Penelitian ini menggunakan akurasi, presisi, recall, dan skor F1 sebagai matrix evaluasi kinerja untuk deteksi ekspresi .
, .
Setelah menggunakan augmentasi geometrik dan oversampling acak, tingkat akurasi meningkat menjadi 0,81.
ycEycyceycaycnycycnycuycu = ycIyceycaycaycoyco = ycoyaycE = ya1 = 2x ycNycE ycNycE yaycE ycNycE OcycA ycn 1 yaycE ycNycE yaycA ycEycyceycaycnycycnycuycu ycu ycIyceycaycaycoyco ycEycyceycaycnycycnycuycu ycIyceycaycaycoyco Gambar 1.
Custom.
yaml dan training yolov12-custom.
beserta lokasi folder Evaluasi Performa Precision : seberapa banyak prediksi positif model Evaluasi performa yang digunakan pada penelitian untuk mengukur hasil dari latih data menggunakan parameter Precision (P).
Recall (R), da mAP.
TP : Jumlah prediksi positif yang benar FP : Jumlah prediksi positif yang salah .
Recall : Banyak ekspresi yang sebenarnya positif FN : Jumlah kasus yang seharusnya positif tapi tidak .
mAP : Rata-rata dari AP N : Jumlah kelas ekspresi AP : Nilai rata-rata dari precision TABEL IV.
EVALUASI PERFORMA HASIL PELATIHAN DATASET
Kelas Senang Tidak senang Gambar mAP@IoU Model menunjukkan kinerja sangat baik.
Precision dan Recal tinggi dikedua kelas, nilai mAP mendekati 1 untuk kedua kelas.
IV.
HASIL & PEMBAHASAN
Pada pelatihan model menggunakan arsitektur YOLOv12 dengan konfigurasi parameter berikut: Jumlah epochs sebanyak 100, batch size 4, dan optimizer menggunakan AdamW dengan learning rate awal .
Grafik evaluasi performa lainnya seperti F1-Score.
Precision.
Recall dan Confusion Matrix terlihat pada Gambar 2 dan 3.
Pelatihan Dataset Pada penelitian yang dilakukan saat pelatihan sebelumnya dilakukan preprosesing dataset asli seperti yang dijelaskan pada bagian preprosesing lebih spesifik.
Setelah dataset melalui Jurnal Keilmuan Teknologi Informasi Volume 01.
No.
Juni 2025.
Hal 23 Ae 27 .
Grafik F1-Confidence Curve menunjukkan F1 tertinggi .
pada confidence 0.
Kelas AuhappyAy memiliki F1 lebih stabil, sementara F1 menurun tajam di atas confidence 0.
karena turunnya recall.
Gambar 3.
Confusion Matrix latih dataset.
Pendeteksian Objek Sistem berhasil mendeteksi ekspresi wajah secara real-time dengan kecepatan pemrosesan rata-rata 15 FPS .
rame per secon.
pada perangkat berbasis CPU.
Beberapa temuan kunci:
Kemampuan Adaptasi: Model dapat mengenali ekspresi wajah dalam berbagai kondisi pencahayaan dan sudut pandang, meskipun akurasi menurun sekitar 5-7% pada lingkungan dengan cahaya rendah.
False Positives: Sebagian kecil kesalahan terjadi pada ekspresi ambigu .
isalnya, senyum tipis yang diklasifikasikan sebagai "Tidak Senang").
Gambar 2.
Grafik Precision .
Grafik Recall .
Grafik F1Score .
Berdasarkan Precision-Confidence Curve, model memiliki precision tinggi untuk kelas AuhappyAy, terutama saat confidence > 0.
Precision kelas AuunhappyAy lebih rendah, khususnya pada confidence rendah.
Semua kelas mencapai precision 100% pada confidence 0.
903, menjadikannya ambang yang baik untuk prediksi akurat.
Recall-Confidence Curve menunjukkan recall tinggi (>90%) pada confidence rendah hingga menengah, namun menurun tajam di atas 0.
8, terutama untuk kelas AuunhappyAy.
Recall maksimum .
%) dicapai saat confidence = 0, meskipun precision bisa menurun.
Gambar 4.
Hasil deteksi dan klasifikasi ekspresi wajah.
KESIMPULAN
Penelitian ini mengembangkan sistem deteksi ekspresi wajah berbasis YOLOv12 dengan hasil sebagai berikut:
Akurasi: Model mencapai mAP@0.
5 sebesar 0.
89 untuk kedua kelas ekspresi.
Efisiensi: Kecepatan deteksi 15 FPS memenuhi kriteria aplikasi real-time.
Penerapan: Sistem ini berpotensi digunakan dalam bidang kesehatan mental, interaksi manusia- Jurnal Keilmuan Teknologi Informasi Volume 01.
No.
Juni 2025.
Hal 23 Ae 27 komputer, dan keamanan.
Keterbatasan: Dataset terbatas pada dua kelas ekspresi.
Performa menurun pada ekspresi mikro .
icro-expression.
Saran untuk Penelitian selanjutnya.
Penambahan kelas ekspresi .
isalnya, marah, sedi.
dan dataset yang lebih Integrasi dengan model post-processing untuk mengurangi false positives.
VI.
REFERENSI