Jurnal Telematika, vol.
19 no.
Institut Teknologi Harapan Bangsa.
Bandung e-ISSN: 2579-3772 Penerapan You Only Look Once dan DeepSORT untuk Deteksi Plat Nomor Kendaraan Firhat Hidayat#1.
Natanael Billy*2.
Nicholas Russel Permana*3.
Matthew Evans Hariady*4 Supernova Palapa Nusantara Jl.
Ciwulan No.
Cihapit.
Bandung.
Jawa Barat.
Indonesia 1firhat@ithb.
Program Studi Informatika.
Institut Teknologi Harapan Bangsa Jl.
Dipati Ukur No.
Bandung.
Jawa Barat.
Indonesia 2natanaelbilly21@gmail.
3nicholasrussel1234@gmail.
4matthewhariady@gmail.
diperlukan sistem ALPR yang memiliki akurasi tinggi, kecepatan pemrosesan yang baik, serta kemampuan pelacakan yang stabil dalam kondisi lalu lintas yang kompleks.
Menurut Badan Pusat Statistik (BPS) tahun 2022, jumlah kendaraan bermotor di Indonesia telah mencapai 148.
Dengan angka tersebut, pemantauan manual semakin tidak efisien dan rentan terhadap kesalahan manusia.
Oleh karena itu, pengembangan sistem ALPR berbasis computer vision dan deep learning menjadi solusi yang semakin banyak diterapkan dalam berbagai penelitian dan implementasi di dunia nyata.
Namun, tantangan utama dalam sistem ALPR adalah akurasi deteksi plat nomor yang dapat dipengaruhi oleh KeywordsAi object detection, license plate detection, convolutional berbagai faktor, seperti kondisi pencahayaan, sudut neural network.
YOLOv8.
DeepSORT pengambilan gambar, dan kecepatan kendaraan yang tinggi.
Selain itu, sistem harus dapat memastikan identitas kendaraan AbstrakAi Deteksi pelat nomor sangat penting dalam tetap konsisten selama proses pelacakan, terutama dalam pemantauan lalu lintas, penegakan hukum, dan sistem kondisi lalu lintas yang padat dan kendaraan yang bergerak transportasi cerdas.
Namun, metode yang ada masih mengalami cepat.
kesulitan dalam melacak kendaraan secara akurat pada kondisi Beberapa penelitian sebelumnya telah mengembangkan lalu lintas padat.
Studi ini mengatasi hal tersebut dengan metode untuk meningkatkan akurasi deteksi plat nomor.
Studi menggabungkan model deteksi YOLOv8 dan pelacakan yang dilakukan oleh Satya et al.
menggunakan DeepSORT.
Dengan menggunakan 453 gambar dari Kaggle, penelitian ini menganalisis pengaruh variasi ukuran batch serta YOLOv8 dan PaddleOCR untuk mendeteksi dan mengenali epoch terhadap kinerja model.
Model terbaik mencapai presisi karakter plat nomor kendaraan.
Model ini mencapai precision 95,5%, recall 95,1%, mAP50 98,7%, dan mAP95 64,5%.
sebesar 87,1% dan recall sebesar 85,0%, menunjukkan kinerja Integrasi YOLOv8 dan DeepSort dapat meningkatkan yang cukup baik dalam mengenali plat nomor, tetapi belum konsistensi pelacakan, mengurangi kesalahan ID switching, serta mempertimbangkan stabilitas pelacakan dalam kondisi lalu meningkatkan keandalan sistem pengenalan pelat nomor lintas kompleks .
Penelitian lain oleh Illmawati dan Hustinawati .
menerapkan YOLOv5 dikombinasikan dengan Optical Character Recognition (OCR).
Model ini Kata KunciAi deteksi objek, deteksi pelat nomor, convolutional mampu mendeteksi plat nomor dengan tingkat keberhasilan neural network.
YOLOV8.
DeepSORT 92,38%, tetapi mengalami kendala dalam akurasi karakterisasi plat nomor akibat kualitas gambar dan kondisi pencahayaan PENDAHULUAN .
Studi yang dilakukan oleh Cahyani .
menggunakan Sistem pengenalan plat nomor kendaraan otomatis atau YOLOv5 dan DeepSORT untuk pelacakan kendaraan secara Automatic License Plate Recognition (ALPR) merupakan real-time, mencapai precision 99%, recall 97%, dan teknologi yang berperan penting dalam pemantauan lalu lintas, mempertahankan akurasi pelacakan hingga 96,8%.
Namun, penegakan hukum, dan sistem keamanan transportasi.
ALPR penelitian ini tidak mengevaluasi pengaruh variasi parameter digunakan dalam berbagai aplikasi seperti sistem tol otomatis, model seperti batch size dan jumlah epoch, yang berpotensi pemantauan parkir, serta pendeteksian pelanggaran lalu lintas.
memengaruhi performa deteksi dan pelacakan dalam kondisi Dengan meningkatnya jumlah kendaraan setiap tahun, lalu lintas nyata .
AbstractAi Number plate detection is essential in traffic monitoring, law enforcement, and intelligent transport systems.
However, existing methods still have difficulty accurately tracking vehicles in heavy traffic conditions.
This study addresses this by combining the YOLOv8 detection model and DeepSORT tracking.
Using 453 images from Kaggle, this study analyses the effect of batch size variation and an epoch on model performance.
The best model achieved 95.
5% precision, 95.
1% recall, 98.
7% mAP50, and 5% mAP95.
The integration of YOLOv8 and DeepSORT can improve tracking consistency, reduce ID switching errors, and increase the reliability of the automatic number plate recognition Penerapan You Only Look Once dan DeepSORT untuk Deteksi Plat Nomor Kendaraan Berdasarkan studi-studi sebelumnya, masih terdapat gap penelitian yang perlu diselesaikan, yaitu stabilitas pelacakan ID objek serta optimasi hyperparameter untuk meningkatkan performa deteksi plat nomor kendaraan dalam kondisi lalu lintas yang dinamis.
Beberapa metode pelacakan yang digunakan dalam penelitian terdahulu masih mengalami kesalahan dalam mempertahankan identitas objek selama pelacakan, terutama pada kecepatan kendaraan tinggi atau dalam kondisi lalu lintas padat.
Oleh karena itu, penelitian ini mengusulkan kombinasi YOLOv8 dan DeepSORT sebagai solusi untuk meningkatkan akurasi deteksi sekaligus menjaga kestabilan identitas kendaraan dalam proses pelacakan.
Motivasi mengembangkan sistem deteksi dan pelacakan plat nomor kendaraan yang lebih stabil dan akurat dalam kondisi lalu lintas yang kompleks.
Dengan meningkatnya kebutuhan akan sistem pemantauan otomatis yang lebih cerdas dan akurat, penelitian ini berupaya mengatasi permasalahan yang belum terselesaikan dalam studi-studi sebelumnya, terutama terkait stabilitas ID kendaraan dalam proses pelacakan serta optimasi hyperparameter untuk meningkatkan kinerja deteksi.
Penelitian ini bertujuan untuk mengembangkan sistem ALPR berbasis YOLOv8 dan DeepSORT, serta mengevaluasi pengaruh batch size dan jumlah epoch terhadap performa Sistem ini diuji menggunakan dataset yang terdiri dari 453 gambar plat nomor kendaraan dari Kaggle, dengan variasi kondisi pencahayaan dan sudut pengambilan gambar.
Evaluasi model dilakukan berdasarkan precision, recall, mAP50, dan mAP50-95 untuk mengukur tingkat akurasi dan generalisasi sistem terhadap data yang belum pernah dilihat sebelumnya.
Dari hasil pengujian, model terbaik diperoleh pada konfigurasi epoch 50 dan batch size 32, dengan hasil precision 95,5%, recall 95,1%, mAP50 98,7%, dan mAP50-95 64,5%.
Hasil penelitian ini menunjukkan bahwa kombinasi YOLOv8 dan DeepSORT mampu meningkatkan konsistensi pelacakan ID kendaraan sehingga memastikan bahwa identitas kendaraan tetap stabil dalam berbagai skenario lalu lintas.
Dengan demikian, sistem ini dapat diimplementasikan dalam berbagai aplikasi ALPR yang membutuhkan akurasi tinggi, seperti penegakan hukum, pemantauan lalu lintas, serta pengelolaan parkir otomatis.
Penelitian ini berkontribusi dengan mengoptimalkan parameter pelatihan YOLOv8 serta mengevaluasi kinerja DeepSORT dalam mempertahankan ID objek yang belum banyak dieksplorasi dalam penelitian Penelitian ini memiliki beberapa manfaat dan kontribusi, antara lain:
Meningkatkan akurasi deteksi plat nomor kendaraan dengan YOLOv8 yang lebih unggul dibandingkan metode YOLOv5 dan YOLOv4.
Memastikan kestabilan pelacakan ID kendaraan dengan DeepSORT sehingga kendaraan tetap terdeteksi, meskipun terjadi tumpang tindih objek dalam lalu lintas padat.
Mengoptimalkan konfigurasi batch size dan epoch untuk meningkatkan kinerja model dalam kondisi dunia nyata.
Dengan demikian, penelitian ini tidak hanya memberikan solusi terhadap keterbatasan penelitian sebelumnya, tetapi juga menjadi langkah awal dalam pengembangan sistem ALPR yang lebih akurat dan stabil dalam berbagai kondisi II.
METODOLOGI
Bagian ini menjelaskan tahapan penelitian yang dilakukan dalam mendeteksi dan melacak plat nomor kendaraan menggunakan YOLOv8 dan DeepSORT.
Metodologi ini implementasi model, konfigurasi parameter, dan metode evaluasi performa model.
Desain Penelitian Penelitian ini menerapkan pendekatan eksperimen berbasis deep learning untuk mendeteksi dan melacak plat nomor kendaraan secara otomatis dalam lingkungan lalu lintas yang Arsitektur YOLOv8 digunakan untuk mendeteksi plat nomor kendaraan, sementara DeepSORT digunakan untuk pelacakan objek agar identitas kendaraan tidak berubah selama deteksi berlangsung.
Proses penelitian dibagi menjadi beberapa tahapan utama, yaitu: pengumpulan dan preprocessing data, pelatihan model dengan variasi hyperparameter, evaluasi performa model, implementasi sistem pelacakan dengan DeepSORT, dan analisis hasil dan optimasi model.
Gambar 1 Urutan proses global Penerapan You Only Look Once dan DeepSORT untuk Deteksi Plat Nomor Kendaraan Pengumpulan dan Preprocesing Data Dataset yang digunakan dalam penelitian ini diperoleh dari Kaggle yang terdiri dari 453 gambar plat nomor kendaraan dengan kondisi pencahayaan dan sudut pengambilan yang beragam .
Langkah preprocessing mencakup:
Resize gambar ke resolusi 1024y1024 piksel untuk memastikan konsistensi input ke dalam model YOLOv8.
Augmentasi data, termasuk rotasi, peningkatan kontras, dan blur guna meningkatkan ketahanan model terhadap variasi lingkungan.
Pembagian dataset menjadi 70% training dan 30% testing guna menghindari overfitting dan memastikan generalisasi model yang baik.
Dataset ini dipilih karena mengandung berbagai tipe kendaraan dan kondisi lingkungan yang realistis untuk implementasi ALPR .
Implementasi Model YOLOv8 dan DeepSort Penelitian ini mengintegrasikan arsitektur YOLOv8 seperti pada Gambar 2 untuk deteksi objek dan DeepSORT untuk pelacakan objek secara real-time.
YOLOv8 untuk Deteksi Plat Nomor YOLOv8 merupakan model deteksi objek anchor-free dengan arsitektur Feature Pyramid Network (FPN) dan Path Aggregation Network (PAN) yang memungkinkan deteksi objek multi-skala .
Model ini menggunakan loss function CIoU (Complete Intersection over Unio.
untuk meningkatkan akurasi bounding box, layer konvolusi yang lebih ringan dibandingkan YOLOv5, sehingga lebih efisien dalam inference, serta algoritma non-maximum suppression (NMS) yang lebih cepat, mengoptimalkan pemrosesan bounding box.
Model dilatih menggunakan dataset dalam format YOLO annotation yang mencakup koordinat bounding box dari plat nomor kendaraan .
DeepSORT untuk Pelacakan Objek DeepSORT merupakan pengembangan dari Simple Online and Realtime Tracker (SORT), yang menggabungkan Convolutional Neural Network (CNN) untuk ekstraksi fitur visual objek.
Algoritma ini mampu mengurangi ID switching hingga 45% dibandingkan SORT biasa .
, melacak objek secara lebih stabil, bahkan dalam skenario kendaraan bergerak cepat atau tertutup oleh objek lain, dan menggunakan fitur deep learning untuk mengenali pola unik tiap kendaraan sehingga ID objek tetap konsisten.
Integrasi YOLOv8 dan DeepSORT dalam penelitian ini bertujuan untuk memastikan akurasi deteksi tinggi serta pelacakan objek yang stabil dalam kondisi lalu lintas Konfigurasi Hyperparameter Dalam penelitian ini berbagai kombinasi hyperparameter diuji untuk menentukan konfigurasi terbaik bagi model YOLOv8.
Hyperparameter yang diuji diperlihatkan pada Tabel I.
Eksperimen dilakukan dengan melatih model menggunakan kombinasi berbeda dari batch size dan epoch, kemudian membandingkan performanya berdasarkan metrik evaluasi.
Evaluasi Model Model YOLOv8 diuji menggunakan empat metrik utama, .
Precision Precision adalah untuk mengukur seberapa akurat model dalam mendeteksi plat nomor kendaraan tanpa menghasilkan banyak false positive .
eteksi yang sala.
True Positive (TP) artinya deteksi yang benar, di mana model berhasil mengenali plat nomor yang ada.
False Positive (FP) artinya deteksi yang salah, di mana model mengidentifikasi sesuatu sebagai plat nomor, padahal bukan.
False Negative (FN) artinya kesalahan di mana model gagal mendeteksi plat nomor yang sebenarnya ada.
Precision dihitung dengan .
TABEL I
RANGKUMAN PARAMETER PENGUJIAN
Metode LSTM
Parameter Pengujian Epoch
Learning Rate
Bacth Size
Optimizer Nilai yang diuji 50, 100
0,01
16, 32
stochastic gradient descent Gambar 2 Arsitektur YOLOv8 .
Penerapan You Only Look Once dan DeepSORT untuk Deteksi Plat Nomor Kendaraan .
Recall Recall adalah kemampuan model dalam menangkap semua objek plat nomor yang ada.
Recall dihitung dengan .
mAP50 (Mean Average Precision @ 50% IoU) Rata-rata presisi model dengan ambang batas Intersection over Union (IoU) sebesar 50%.
mAP50-95 Rata-rata presisi model pada berbagai threshold IoU dari 50% hingga 95% yang mencerminkan kemampuan generalisasi model.
Model dengan kombinasi batch size 32 dan 50 epoch menghasilkan performa terbaik dengan precision sebesar 95,5%, recall sebesar 95,1%, mAP50 sebesar 98,7%, dan mAP50-95 sebesar 64,5% .
Implementasi dan Pengujian Model Setelah model terbaik ditemukan, dilakukan pengujian dalam skenario nyata dengan menggunakan dataset uji yang belum pernah dilihat oleh model, simulasi lalu lintas dengan video kendaraan bergerak cepat untuk melihat ketahanan pelacakan DeepSORT, dan pengujian dalam berbagai video dengan kondisi pencahayaan dan cuaca.
Pengujian bertujuan untuk mengevaluasi bagaimana sistem beroperasi dalam kondisi nyata dan untuk mengidentifikasi potensi perbaikan dan optimasi model.
HASIL DAN PEMBAHASAN
Bagian ini menyajikan hasil pengujian model YOLOv8 yang dikombinasikan dengan DeepSORT dalam mendeteksi dan melacak plat nomor kendaraan.
Evaluasi dilakukan berdasarkan precision, recall, mAP50, dan mAP50-95.
Selain itu, dilakukan analisis terhadap pengaruh variasi batch size dan jumlah epoch terhadap performa model, serta pengujian pada skenario dunia nyata.
Eksperimen dilakukan dengan kombinasi epoch 50 dan 100, serta batch size 16 dan 32, dengan optimizer Stochastic Gradient Descent (SGD) dan learning rate 0,01.
Gambar 3 merupakan visualisasi model dengan epoch 50 dan batch size 16.
Semua metrik mengalami peningkatan seiring meningkatnya epoch.
Nilai presisi dimulai dari sedikit di bawah 20% lalu meningkat seiring dengan bertambahnya jumlah epoch hingga mencapai nilai 96,6%.
Nilai recall mengalami peningkatan seiring dengan bertambahnya epoch hingga mencapai nilai sebesar 96,4%.
Mean Average Precision .
AP) merupakan ambang batas Intersection over Union (IoU) sebesar 50%.
Metrik mAP mencapai nilai sebesar 99% dan mAP50-95 mencapai nilai sebesar 63,5%.
Gambar 4 merupakan visualisasi model dengan epoch 100 dan batch size 16.
Semua metrik mengalami peningkatan seiring meningkatnya epoch.
Jika dibandingkan dengan model sebelumnya pada Gambar 3, nilai presisi berhasil mencapai nilai 96,8%, atau terjadi peningkatan sebesar 0,2%.
Nilai recall mengalami penurunan sebesar 2,3%.
Metrik mAP juga Gambar 3 Grafik pelatihan epoch 50 dan batch size 16 Gambar 4 Grafik pelatihan epoch 100 dan batch size 16 Penerapan You Only Look Once dan DeepSORT untuk Deteksi Plat Nomor Kendaraan mengalami penurunan sebesar 0,9%, sedangkan metrik mAP50-95 berhasil mengalami peningkatan hingga mencapai nilai sebesar 63,8%.
Gambar 5 merupakan visualisasi model dengan epoch 50 dan batch size 32.
Semua metrik mengalami peningkatan seiring meningkatnya epoch.
Jika dibandingkan dengan model sebelumnya pada Gambar 3, nilai presisi mengalami penurunan sehingga mencapai nilai 95,5%.
Nilai recall mengalami penurunan sehingga mencapai nilai 95,1%.
Metrik mAP juga mengalami penurunan sebesar 1,2%.
Namun, jika dibandingkan dengan model pada Gambar 4, mAP meningkat sebesar 0,6%.
Metrik mAP50-95 berhasil mengalami peningkatan hingga mencapai nilai sebesar 64,5%.
Gambar 6 merupakan visualisasi model dengan epoch 100 dan batch size 32.
Semua metrik mengalami peningkatan seiring meningkatnya epoch.
Jika dibandingkan dengan model sebelumnya pada Gambar 4, nilai presisi mengalami penurunan sehingga mencapai nilai 94,2%.
Nilai recall didapatkan sama sebesar 95,1%.
Metrik mAP juga mengalami kenaikan sebesar 0,2%.
Namun, jika dibandingkan dengan model pada Gambar 5, mAP menurun sebesar 0,4%.
Metrik mAP50-95 juga mengalami penurunan hingga nilainya menjadi sebesar 63,6%.
Dari semua eksperimen sampel dapat dilihat pada Gambar 7, hasil evaluasi performa model ditampilkan pada Tabel II.
Pada tabel tersebut dapat dilihat bahwa model dengan epoch 50 dan batch size 32 memberikan hasil terbaik dengan mAP50 sebesar 98,7% dan mAP50-95 sebesar 64,5%.
Hal ini menunjukkan keseimbangan optimal antara akurasi dan kestabilan pelacakan.
Gambar 6 grafik pelatihan epoch 100 dan batch size 32
Gambar 5 Grafik pelatihan epoch 50 dan batch size 32
Gambar 7 Contoh hasil deteksi model
Penerapan You Only Look Once dan DeepSORT untuk Deteksi Plat Nomor Kendaraan TABEL II
RANGKUMAN HASIL EVALUASI MODEL YOLOV8
Konfigurasi Model Epoch 50.
Batch Size 16 Epoch 100.
Batch Size 16 Epoch 50.
Batch Size 32 Epoch 100.
Batch Size 32
Precission (%) Recall (%) mAP50
(%)
mAP50-95
(%)
Pengaruh Epoch Terhadap Kinerja Model Dari hasil pengujian, meningkatkan jumlah epoch tidak selalu meningkatkan akurasi.
Pada Gambar 3 dan Gambar 4, terlihat bahwa ketika epoch meningkat dari 50 ke 100, maka precision meningkat sebesar 0,2%, tetapi recall menurun sebesar 2,3%.
mAP50 mengalami sedikit penurunan dari 99% menjadi 98,1%.
mAP50-95 meningkat sebesar 0,3%, tetapi tetap dalam kisaran 63-64%.
Hal ini menunjukkan bahwa terlalu banyak epoch dapat menyebabkan overfitting yang mengakibatkan penurunan kemampuan model dalam mengenali plat nomor baru di luar dataset pelatihan.
Pengaruh Batch Size Terhadap Kinerja Model Batch size mempengaruhi stabilitas pembelajaran model.
Pada Gambar 5 dan Gambar 6, terlihat bahwa dengan batch size yang lebih besar, maka precision sedikit menurun karena model memproses lebih banyak data dalam satu iterasi.
Recall yang tetap stabil menunjukkan bahwa model tetap mampu menangkap sebagian besar plat nomor kendaraan.
mAP50-95 yang sedikit meningkat mengindikasikan bahwa model lebih baik dalam mengenali berbagai ukuran dan posisi plat nomor.
Hasil ini menunjukkan bahwa batch size 32 memberikan keseimbangan terbaik antara akurasi deteksi dan kestabilan IV.
SIMPULAN
Penelitian ini telah mengembangkan sistem deteksi dan pelacakan plat nomor kendaraan berbasis YOLOv8 dan DeepSORT dengan fokus pada evaluasi pengaruh batch size dan jumlah epoch terhadap performa model.
Berdasarkan eksperimen yang dilakukan, model terbaik diperoleh dengan konfigurasi epoch 50 dan batch size 32 yang menghasilkan precision sebesar 95,5%, recall 95,1%, mAP50 98,7%, dan mAP50-95 64,5%.
Hasil ini menunjukkan bahwa pemilihan hyperparameter yang tepat dapat meningkatkan kinerja deteksi plat nomor kendaraan.
Keunggulan utama dari penelitian ini adalah kemampuan sistem dalam mempertahankan identitas kendaraan secara konsisten selama pelacakan sehingga sistem ALPR menjadi lebih handal dalam mendeteksi kendaraan di berbagai skenario lalu lintas.
Kombinasi YOLOv8 sebagai detektor objek dengan tingkat akurasi tinggi dan DeepSORT sebagai algoritme pelacakan yang dapat menjaga kestabilan ID.
Terdapat beberapa limitasi yang perlu diperhatikan.
Meskipun sistem yang dikembangkan menunjukkan kinerja yang baik, t.
Model masih mengalami penurunan akurasi dalam kondisi pencahayaan rendah, terutama pada malam hari atau dalam kondisi hujan.
Selain itu, kinerja pelacakan pada kendaraan dengan kecepatan tinggi (>70 km/ja.
masih perlu dioptimalkan karena beberapa objek terdeteksi tidak stabil dalam skenario ekstrem.
Tantangan lain yang ditemukan adalah deteksi pada kondisi lalu lintas padat, di mana beberapa objek plat nomor mengalami tumpang tindih yang menyebabkan sedikit penurunan recall.
Sebagai langkah penelitian lanjutan, terdapat beberapa aspek yang dapat dikembangkan lebih jauh.
Penggunaan teknik augmentasi data yang lebih luas dapat membantu meningkatkan akurasi deteksi dalam kondisi pencahayaan rendah, serta eksplorasi metode pelacakan lain, seperti ByteTrack atau transformer-based tracking yang berpotensi lebih stabil dalam mempertahankan identitas kendaraan dalam kondisi lalu lintas yang lebih kompleks.
Selain itu, implementasi sistem ini dalam lingkungan real-time dengan perangkat komputasi terbatas, seperti CCTV atau perangkat edge computing, perlu diuji lebih lanjut untuk memastikan bahwa sistem dapat berjalan dengan efisien tanpa kehilangan performa deteksi dan pelacakan.
Dengan hasil penelitian ini, sistem pengenalan plat nomor otomatis (ALPR) berbasis YOLOv8 dan DeepSORT telah terbukti lebih stabil dan akurat dibandingkan beberapa pendekatan sebelumnya, serta memiliki potensi untuk diterapkan dalam berbagai aplikasi, seperti pemantauan lalu lintas, penegakan hukum, dan sistem transportasi cerdas.
Dengan beberapa peningkatan di masa depan, sistem ini dapat menjadi bagian dari solusi yang lebih canggih dalam pengelolaan transportasi dan keamanan lalu lintas berbasis AI.
REFERENSI