Jurnal Kecerdasan Buatan dan Teknologi Informasi Vol.
No.
September 2023, hlm.
e-ISSN: 2964-2922, p-ISSN: 2963-6191
IDENTIFIKASI KEMIRIPAN FOTO ASLI DAN SKETSA MENGGUNAKAN MODEL
GENERATIVE ADVERSARIAL NETWORKS (GAN.
Andre Satriawan1.
Bahtiar Imran*2.
Surni Erniwati3 Teknik Informatika.
Fakultas Teknik Informatika dan Komunikasi.
Universitas Teknologi Mataram.
Indonesia Rekayasa Sistem Komputer.
Fakultas Teknik Informatika dan Komunikasi.
Universitas Teknologi Mataram.
Indonesia Manajemen Informatika.
Fakultas Vokasi.
Universitas Teknologi Mataram.
Indonesia Email: 1andrelainan@gmail.
id, 2bahtiarimranlombok@gmail.
id , 3mentari1990@gmail.
(Naskah masuk : 20 Juni 2023.
Revisi : 11 September 2023.
Diterbitkan : 20 September 2.
Abstrak Perkembangan seni semakin bertumbuh khususnya dalam bidang seni lukis, pertumbuhan tersebut terlihat dari banyaknya pemula yang mulai belajar melukis secara otodidak diawali dengan belajar membuat sketsa menggunakan metode yang beragam, tetapi masalah umum yang sering dihadapi oleh pemula dalam seni Lukis adalah seringkali sketsa dan foto asli terlihat serupa tetapi tidak tahu seberapa mirip sketsa yang telah dibuat.
Penlitian ini bertujuan untuk mengidentifikasi persentase kemiripan foto asli dan sketsa menggunakan metode diskriminatif dari model Generative Adversarial Networks (GAN.
memantkan library atau modul ssim.
Diskriminator merupakan CNN yang menerima input gambar berukuran sama atau memiliki dimensi yang sama dan menghasilkan angka yang menyatakan apakah input merupakan gambar yang sama atau memeiliki kemiripan.
Untuk mendapatkan persentase kemiripan yang tepat antara dua gambar memanfaatkan Struktural Similarity Index (SSIM) yang telah terlatih pada library scikit-image.
Kata kunci: gambar, generative adversarial networks .
, sketsa dan foto asli, struktural similarity index .
IDENTIFYING SIMILARITY TO ORIGINAL PHOTOS AND SKETCHES USING A
GENERATIVE ADVERSARIAL NETWORKS (GAN.
MODEL Abstract Abstrak berbahasa Inggris diletakkan pada bagian ini.
Gunakan font Times New Roman 10pt, italic.
The development of art is growing, especially in the field of painting, this growth can be seen from the number of beginners who are starting to learn to paint by themselves, starting with learning to make sketches using various methods, but a common problem often faced by beginners in painting is that the original sketches and photos are often visible.
similar but don't know how similar the sketch has been made.
This research aims to identify the percentage of similarities between original photos and sketches using a discriminative method from the Generative Adversarial Networks (GAN.
model using a library or ssim module.
The discriminator is a CNN that receives input images of the same size or have the same dimensions and produces a number that states whether the input is the same image or has similarities.
To get the correct percentage of similarity between two images, use the Structural Similarity Index (SSIM) which has been trained on the scikit-image library.
Keywords: images, generative adversarial networks .
, original sketches and photos, structural similarity index .
PENDAHULUAN Perkembangan ilmu computer vision dalam beberapa tahun terakhir telah membantu manusia dalam menyelesaikan tugasnya, seperti contohnya dalam menggunakan pengenalan wajah sebagai sistem keamanan maupun pencarian.
Face Recognition pada umumnya merupakan sebuah proses untuk mengidentifikasi maupun memverfikisai identitas seseorang dengan menggunakan wajahnya.
Penggunaan face recognition telah diterapkan oleh pihak otoritas hukum dalam mencari tersangka tindak pidana .
Perkembangan teknologi dalam bidang klasifikasi citra menggunakan Generative Adversarial Netwoks (GAN.
salah satu algoritma deep learning dan salah satu cabang dari ilmu artificial intelligance telah mengalami peningkatan yang sangat pesat dan memberikan dampak signifikan di berbagai bidang .
Andre Satriawan, dkk.
Identifikasi kemiripan foto asli dan sketsa menggunakan model generative adversarial networks .
Penggunaan GANs dalam pembuatan data citra baru, khususnya dalam menciptakan gambar sketsa yang serupa dengan gambar acuan, telah menjadi hal umum.
Proses ini melibatkan kombinasi sampel seperti titik, garis, bidang, dan warna untuk menciptakan sketsa atau gambar imitasi dari objek tertentu, seperti objek fisik atau Proses ini mirip dengan pembuatan sketsa manual oleh seniman di bidang lukisan .
Namun, pembuatan sketsa manual oleh pemula dalam bidang seni yang belajar secara otodidak sering menghadapi tantangan dalam mencapai tingkat kemiripan yang memadai antara foto asli dan sketsa yang dibuat.
Untuk mengatasi masalah tersebut, penelitian ini menggunakan metode diskriminatif dari model GANs .
dan memanfaatkan fungsi Structural Similarity Index (SSIM) yang dapat mengukur sejauh mana struktur dan komponen dari dua gambar mirip satu sama lain.
Dengan menggunakan model GANs yang menggabungkan elemen SSIM .
, penelitian ini bertujuan untuk mengukur kemiripan foto asli yang menjadi acuan dan sketsa berdasarkan proses pelatihan data, dengan tujuan mencapai akurasi seberapa miripnya sketsa yang dihasilkan.
METODE PENELITIAN
Motode penelitian yang dilakukan pada penelitian ini adalah penentuan tingkat kedekatan atau persentase kemiripan atara foto asli dan sketsa penulis melakukan menggunakan model Generative Adversarial Networks (GANS) yang bersifat diskriminatif.
Dalam metode ini penulis memanfaatkan fungsi Structural Similarity Index (SSIM) sebagai alat ukur untuk menghitung persentase kemiripan antara foto asli dan sketsa.
1 Sumber Data Gambarr dibawahh ini adalah sketsa kasar dan foto asli yang akan di identifikasi.
dataset sketsa kasar sendiri di peroleh dari hasil pembuatan sketsa secara manual dan sketsa yang dibuat menggunakan GANs berdasarkan foto asli yang akan di jadikan sebagai dataset untuk melakukan proses identifikasi perbandigan kemiripan foto asli dan sketsa kasar .
, .
Proses identifikasi ini peneliti menggunakan foto asli dari beberapa sumber terdiri dari google image, intagram, pinterest.
Kaggle dan yang terahir bersumber dari penelti sendiri.
Dataset ini diperlukan untuk menguji model apakah benar-benar bisa menghasilkan persentase yang akurat.
Gambar diatas merupakan salah satu contoh sketsa kasar dan foto asli yang menggunakan format file .
jpg dan .
Gambar 1.
Sketsa dan foto asli 2 Arsitektur Umum Perancangan Antarmuka Model Arsitektur Umum Perancangan Antarmuka Sistem dan proses pengujian Identifikasi ini semuanya di kerjakan pada aplikasi berbasis online .
yang di sediakan oleh google yang biasa disebut dengan nama google colab atau google colaboratory.
Antarmuka sistem biasa disebut dengan feature extraction and reverse image search yang terdiri terdiri dari beberapa bagian yaitu :
Import library Gambar dibawah merupakan baris kode berupa modul import pada python yang berfungsi untuk multi file yang dimaksud dengan multi file disini dapat memanggil file lain di dalam satu model yang berbeda atau dengan penjelasan sedernahanya untuk menginstal beberapa library yang akan mendukung proses identifikasi .
Andre Satriawan, dkk.
Identifikasi kemiripan foto asli dan sketsa menggunakan model generative adversarial networks .
Gambar 2.
Import library Modeling Diskriminator Kode dibawah ini merupakan sebuah definisi model neural network yang menggunakan TensorFlow Sequential API.
Model ini terdiri dari beberapa layer yang diatur secara berurutan.
Pertama, terdapat layer Conv2D yang bertujuan untuk mengekstraksi fitur dari gambar dengan menggunakan filter berukuran 3x3 dan fungsi aktivasi ReLU.
Kemudian, terdapat layer MaxPooling2D yang berfungsi untuk mengurangi dimensi spasial dari fitur yang telah diekstraksi sebelumnya.
Selanjutnya, ada layer Conv2D dan MaxPooling2D yang diulang sekali lagi untuk melakukan ekstraksi dan pengurangan dimensi spasial lebih lanjut.
Setelah itu, terdapat layer Flatten yang digunakan untuk meratakan output dari layer sebelumnya menjadi satu dimensi.
Akhirnya, terdapat dua layer Dense, di mana layer pertama memiliki 1064 neuron dengan fungsi aktivasi ReLU, dan layer terakhir memiliki 2 neuron dengan fungsi aktivasi sigmoid yang menghasilkan prediksi klasifikasi biner.
Model ini digunakan untuk memproses gambar dengan ukuran 150x150 piksel dan menghasilkan prediksi terkait klasifikasi yang dilakukan.
Gambar 3.
Modeling Diskriminator Data Aquitition Kode untuk memanggil dataset yang sebelumnya sudah disiapkan dan disimpan pada google drive.
Hal ini perlu dilakukan karena jika dataset lansung di impor dari penyimpanan lokal kedalam lembar kerja pada google colab kemungkinan besar akan terhapus secara otomatis jika ada masalah dengan sambungan ineternet.
Memanggil dataset dari google drive juga akan mengalami hal serupa yang membedakan file akan terhapus jika google colab ditutup dan tidak akan terhapus apabila sambugan internet bermasalah.
Impor dataset dari google drive juga tidak membutuhkan waktu yaang lama.
Pada saat melakukan impor file dari lokal akan membutuhkan waktu yang cukup lama jika file berukuran besar.
Gambar 4.
import dataset Load Image dan Diskriminator kode untuk memanggil atau memuat gambar dan model diskriminator dari google drive yang akan di setelah itu gambar yang sudah di input akan dilakukan perubahan dimensi agar bisa terbaca oleh ssim Andre Satriawan, dkk.
Identifikasi kemiripan foto asli dan sketsa menggunakan model generative adversarial networks .
Gambar 5.
load image dan diskriminator Forwarding image Perintah atau sebuah fungsi untuk merubah gambar berwarna menjadi abu-abu sebelum di eksekusi oleh ssim.
cv2_imread berfungsi untuk menampilkan gambar yang di identifikasi, dan printah print(AuSkor kemiripan:(:.
%Ay.
core * .
berfungsi untuk menampilkan persentase keemiripn yang di dapatkan dari dua gambar yang di identifikasi.
Gambar 6.
Function menyamakan warna dan function ssim.
Output Gambar dibawah ini untuk menampilkan output kemiripan pada gambar yang telah di identifikasi, dengan mencari kontur yang memiliki kemiripan, bagian dari gambar yang memiliki kemiripan yang paling jelas akan ditandai dengan abu-abu pada gambar Gambar 7.
Output
HASIL DAN PEMBAHASAN
Data testing dan Data training Hasil dari epoch model discriminator gans, dalam penelitian ini menggunakan epoch 15.
hasil akurasi pada epoch 1 mendapatkan akurasi sebesar 80,80% dan mendapatkan loss sebesar 39,60%, pada epoch 10 mendapatkan akurasi sebesar 98,66% dan mwndapatkan loss yang cukup besar yaitu sebesar 84,39%, hasil kurasi terbaik didapatkan pada epoch ke 15 sebesar 99,55% dan mendapatkan nilai loss yang sangat kecil, yaitu sebesar 02,70%.
Tabel 1.
Hasil Epoch Training Diskriminator Andre Satriawan, dkk.
Identifikasi kemiripan foto asli dan sketsa menggunakan model generative adversarial networks .
Epoch Loss Accuracy 39,60% 84,39% 80,80% 98,66% 02,70% 99,55% Gambar 8 menggambarkan cara kerja ssim yang telah terlatih untuk mengukur akurasi dan kualitas gambar.
Skor mse 0,00 menunjukkan bahwa kualitas gambar memiliki kualitas yang saangat baik tanpa adanya pengurangan jumlah piksel.
Namun, jika mse menunjukkan skor 3894,84, hal ini menandakan adanya jarak atau penurunan kualitas gambar dan.
Skor ssim 0,65 mewakili persentase kemiripan foto asli dan sketsa, yaitu sebesar 65%.
Pada penelitian ini, pengujian menggunakan mse tidak diterapkan, melaikan fokus pada penggunaan ssim untuk mengidentifikasi persentase kemiripan pada foto asli dan sketsa .
, .
Gambar 8.
Testing accuracy ssim Hasil penelitian Gambar 9 adalah hasil identifikasi dari dua set data, berupa sketsa dan foto asli yang menjadi acuan.
Persentase kemiripan sebesar 45.
371% diperoleh dengan identifikasi menggunakan metode diskriminatif model generative adversarial networks (GAN.
memanfaatkan fungsi Struktural Similarity Index Measure (SSIM), model tersebut membaca kedua gambar yang di input, dan saling membandignkannya secara komparatif.
Andre Satriawan, dkk.
Identifikasi kemiripan foto asli dan sketsa menggunakan model generative adversarial networks .
Gambar 9.
Hasil identifikasi Persentase 45.
ditunjukkan oleh bagian yang memiliki struktur pembentuk yang mirip, ditandai dengan warna abu-abu pada gambar identifikasi diatas.
bagian yang tidak memiliki struktur yang sama seperti ditunjukkan pada bagian kotak hijau diatas tidak akan terbaca oleh model, contohnya backgound tidak memiliki struktur yang serupa, yang terbaca hanya srtuktur yang memiliki kesamaan.
Bagian dengan tingkat keabuan atau bagian yang memiiliki blur paling tinggi menunjukkan kemiripan yang lebih signifikan.
Jika salah satu dari dua gambar yang di input memiliki kualitas resulusi yang rendah model akan menunjukan persentase kemiripan 0.
karena model tidak dapat mengidentifikasi kemiripan antara kedua gambar tersebut gambar yang dapat terbaca hanya gambar yang memiliki kualitas resolusi yang cukup tinggi.
KESIMPULAN
Penelitian ini memberikan kesimpulan bahwa model GAN tidak hanya digunakan untuk menciptakan gambar baru, tetapi juga dapat mengidentifikasi kemiripan antara gambar-gambar tersebut.
Fungsi SSIM dalam diskriminator GAN digunakan untuk mengukur tingkat kemiripan antara foto asli dan sketsa.
Dengan adanya penelitian ini, kita dapat memahami bahwa model GAN dengan menggunakan fungsi SSIM dapat memberikan informasi tentang sejauh mana kedua gambar tersebut mirip satu sama lain.
Hal ini membantu dalam mengukur tingkat kemiripan antara foto asli dan sketsa yang dihasilkan.
DAFTAR PUSTAKA