Prosiding Seminar Nasional KARSA NUSANTARA Kolaborasi Rekayasa dan Sains Nasional untuk Teknologi.
Riset, dan Kecerdasan Buatan Fakultas Teknik.
Universitas Wijaya Kusuma Surabaya ISSN 3090-1154 (Media Onlin.
Volume 2.
Tahun 2025 Implementasi Moving Average dalam Pergerakan Objek 3 Dimensi Berdasarkan Gerakan Tangan Menggunakan Mediapipe Fachri Yanuar Rudi F*1.
Guntur Syahputra2.
Safriadi3 1,2,3Jurusan Teknologi Informasi dan Komputer.
Politeknik Negeri Lhokseumawe Email: 1fachri@pnl.
id, 2guntur@pnl.
id , 3safriadi@pnl.
*Penulis Korespondensi Abstrak Perkembangan teknologi computer vision memungkinkan interaksi manusia-komputer melalui deteksi gerakan tubuh secara real-time.
Salah satu solusi yang banyak digunakan adalah MediaPipe, yang mampu melakukan pelacakan gerakan tangan tanpa memerlukan sensor tambahan.
Namun, hasil akuisisi gerakan tangan dengan MediaPipe sering mengalami jitter, yaitu fluktuasi kecil yang mengganggu kestabilan data, terutama saat data tersebut diimplementasikan pada objek 3D.
Penelitian ini bertujuan untuk mengurangi jitter pada hasil akuisisi gerakan tangan menggunakan MediaPipe dengan menerapkan metode penyaringan data berupa moving average filter.
Data posisi dan rotasi tangan yang diperoleh dari MediaPipe dianalisis dan difilter, kemudian hasilnya digunakan untuk menggerakkan objek 3D secara lebih halus.
Hasil penelitian menunjukkan bahwa moving average filter cukup efektif dalam mengurangi jitter pada data posisi tangan.
Namun, pada data rotasi tangan, filter ini kurang memberikan hasil optimal karena nilai rotasi cenderung lebih fluktuatif.
Oleh karena itu, diperlukan penelitian lanjutan dengan metode penyaringan sinyal untuk mengatasi jitter pada rotasi.
Temuan ini menunjukkan potensi awal untuk mengintegrasikan pelacakan tangan berbasis MediaPipe dengan objek 3D secara lebih stabil dan responsif.
Kata kunci: Jitter.
MediaPipe.
Moving Average Filter.
Pelacakan Gerakan Tangan Abstract The advancement of computer vision technology has enabled real-time human-computer interaction through body motion tracking.
One widely used solution is MediaPipe, which can track hand movements without requiring additional sensors.
However, hand motion acquisition results using MediaPipe often suffer from jitterAismall, rapid fluctuations that reduce data stabilityAiespecially when applied to 3D objects.
This study aims to reduce jitter in hand movement data acquired through MediaPipe by applying a data smoothing technique using the moving average filter.
Both hand position and rotation data obtained from MediaPipe were filtered and then used to drive a 3D object with smoother movement.
The results show that the moving average filter is effective in reducing jitter in hand position data.
However, it is less effective for hand rotation data due to the highly fluctuating nature of rotational values.
Therefore, further research using alternative filtering methods is needed to better address jitter in hand rotation.
These findings provide an initial step toward integrating MediaPipe-based hand tracking with 3D objects in a more stable and responsive manner.
Keywords: Hand Motion Tracking.
Jitter.
MediaPipe.
Moving Average Filter
PENDAHULUAN
Dalam beberapa tahun terakhir, teknologi pelacakan gerakan tangan semakin banyak dimanfaatkan dalam berbagai aplikasi, mulai dari augmented reality (AR), virtual reality (VR), hingga pengendalian objek digital secara langsung menggunakan gestur.
Salah satu teknologi awal yang cukup populer adalah Microsoft Kinect, yang mampu mendeteksi gerakan tubuh dan tangan menggunakan sensor kedalaman .
epth senso.
Melalui teknologi ini, peneliti seperti Ren dan rekan-rekannya .
berhasil mengembangkan sistem pengenalan gestur tangan yang mampu mengenali bentuk tangan secara cukup akurat bahkan dalam kondisi pencahayaan yang kompleks .
Penelitian lain oleh Chang .
juga menunjukkan bahwa ujung jari tangan dapat dilacak secara real-time dalam ruang tiga dimensi dengan akurasi yang tinggi menggunakan Kinect.
Penelitian lainnya oleh Rudi F .
melakukan pendekatan dengan menggunakan skeleton tangan yang didapat dari hasil pengukuran kedalaman kamera dapat digunakan untuk tracking telapak tangan .
Halaman - 55 Prosiding Seminar Nasional KARSA NUSANTARA Kolaborasi Rekayasa dan Sains Nasional untuk Teknologi.
Riset, dan Kecerdasan Buatan Fakultas Teknik.
Universitas Wijaya Kusuma Surabaya ISSN 3090-1154 (Media Onlin.
Volume 2.
Tahun 2025 Namun, meskipun efektif.
Kinect memiliki beberapa keterbatasan.
Selain ukurannya yang relatif besar dan memerlukan perangkat keras khusus, harganya juga cukup tinggi dan tidak terlalu praktis untuk digunakan dalam skala kecil atau portabel.
Seiring berkembangnya teknologi, muncul pendekatan baru yang jauh lebih ringan dan fleksibel, yaitu menggunakan MediaPipe, sebuah framework open-source dari Google yang dapat mendeteksi dan melacak gerakan tangan secara real-time hanya dengan menggunakan kamera biasa.
MediaPipe Hands mampu mendeteksi 21 titik kunci .
pada tangan secara presisi dan cepat, bahkan dapat dijalankan langsung di perangkat mobile .
Pada penelitian sebelumnya.
MediaPipe telah digunakan untuk mengenali posisi dan arah jari tangan, dan hasilnya cukup menjanjikan dalam konteks interaksi manusia dan komputer.
Penggunaan MediaPipe dalam penelitian ini bukan tanpa alasan.
Selain karena tidak memerlukan perangkat tambahan seperti sensor kedalaman.
MediaPipe juga terbukti mampu bekerja dengan cepat dan Menurut Zhang dan timnya .
MediaPipe Hands mampu menjalankan pelacakan tangan secara real-time dengan latensi rendah, dan sangat cocok untuk berbagai aplikasi yang membutuhkan interaksi berbasis gerakan tangan .
Meski demikian, sistem pelacakan berbasis kamera seperti MediaPipe tidak sepenuhnya bebas dari Salah satu masalah umum yang sering muncul adalah jitter, yaitu gerakan yang tampak bergetar atau tidak stabil akibat fluktuasi kecil pada posisi titik landmark dari frame ke frame.
Jika tidak diatasi, jitter ini akan sangat memengaruhi kenyamanan pengguna, terutama ketika gerakan tangan digunakan untuk mengendalikan objek 3D secara langsung.
Untuk mengatasi masalah tersebut, penelitian ini menerapkan metode moving average, sebuah metode penyaringan sederhana namun efektif untuk menghaluskan gerakan.
Dengan menghitung rata-rata dari sejumlah frame sebelumnya, sistem menjadi lebih stabil dan gerakan objek 3D terlihat lebih halus.
Metode ini juga sangat cocok untuk aplikasi real-time karena ringan dan mudah diimplementasikan .
Berdasarkan latar belakang tersebut, penelitian ini bertujuan untuk mengimplementasikan metode moving average pada pelacakan tangan menggunakan MediaPipe, agar pergerakan objek 3D yang dikendalikan oleh gerakan tangan dapat tampil lebih stabil dan responsif.
II.
METODE PENELITIAN
Penelitian ini menggunakan pendekatan eksperimental dengan menerapkan integrasi antara sistem pelacakan gestur tangan menggunakan MediaPipe dan manipulasi objek 3 dimensi di dalam Blender.
Tahapan metode yang digunakan dalam penelitian ini dijabarkan sebagai berikut:
Perancangan Sistem Langkah awal dalam penelitian ini adalah merancang alur sistem yang menghubungkan input gestur tangan dengan pergerakan objek 3D.
Seperti yang terlihat pada gambar 1 sistem dibagi menjadi tiga komponen utama:
Akuisisi Data Gestur: Menggunakan MediaPipe untuk mendeteksi dan melacak posisi tangan dan jari secara real-time melalui webcam.
Pada penelitian ini data dari jari yang digunakan adalah ujung jari Penggunaan mediapipe dipilih karena mediapipe memiliki beberapa kelebihan diataranya adalah dapat mendeteksi tangan secara waktu nyata.
memiliki sedikit jeda .
dan yang terpenting adalah tanpa perlu menggunakan perangkat khusus seperti microsoft Kinect atau Hand Tracker Camera.
Mediapipe dapat mendeteksi tangan dengan hanya menggunakan webcam.
Pemrosesan data landmark, data koordinat dari MediaPipe diproses untuk mengidentifikasi posisi dan perputaran .
dari jari tangan yang akan dipetakan pada objek 3D.
data yang diperoleh akan disimpan dalam bentuk file berupa file CSV.
Pada tahap ini data yang digunakan adalah hasil pelacakan dari ujung jari telunjuk.
Penerapan filter moving average pada hasil data landmark bertujuan untuk mereduksi jitter yang terjadi padaa saat pemrosesan data sehingga gerak dari objek 3 dimensi nantinya akan lebih halus.
Objek 3D di Blender: Posisi atau orientasi objek dalam Blender diubah berdasarkan interpretasi dari posisi dan rotasi jari tangan.
Halaman - 56 Prosiding Seminar Nasional KARSA NUSANTARA Kolaborasi Rekayasa dan Sains Nasional untuk Teknologi.
Riset, dan Kecerdasan Buatan Fakultas Teknik.
Universitas Wijaya Kusuma Surabaya ISSN 3090-1154 (Media Onlin.
Volume 2.
Tahun 2025 Akuisisi Data Gerakan Tangan Input video dari Deteksi Landmark dengan Mediapipe Penerapan Moving Average Penyimpanan data Pergerakan Objek Evaluasi dan Analisis Visual Gambar 1.
Komponen Utama Sistem Akuisisi data gerakan tangan MediaPipe diimplementasikan menggunakan bahasa pemrograman Python.
Modul hand tracking dari MediaPipe digunakan untuk memperoleh titik-titik landmark pada tangan, pada penelitian ini data landmark yang digunakan adalah data dari ruas ujung jari telunjuk, titik-titik landmark tangan mediapipe dapat dilihat pada gambar 2.
Data koordinat .
, y, .
dan juga perhitungan rotasi dari jari telunjuk tersebut akan digunakan sebagai input untuk mengontrol objek 3D dan disimpan ke dalam file CSV.
File CSV tersebut akan mengandung data berupa frame, koordinat .
,y,.
dan rotasi pada sumbu x, y, dan z.
Gambar 2.
Landmark tangan mediapipe Sumber: https://mediapipe.
io/en/latest/solutions/hands.
Perhitungan rotasi ujung jari tangan dilakukan dengan mengitung koordinat ujung jari dengan nomor landmark 7 dan dibandingkan dengan koordinat nomor landmark 8 kemudian dihitung vektor dari kedua koordinat tersebut.
Persamaan yang digunakan untuk menghitung rotasi ujung jari telunjuk dapat Halaman - 57 Prosiding Seminar Nasional KARSA NUSANTARA Kolaborasi Rekayasa dan Sains Nasional untuk Teknologi.
Riset, dan Kecerdasan Buatan Fakultas Teknik.
Universitas Wijaya Kusuma Surabaya ISSN 3090-1154 (Media Onlin.
Volume 2.
Tahun 2025 dilihat pada persamaan .
ycyeIyeayeOyeOyeOyeiyenyeayeO ycyeIyeUyeiyeayee yeIyeCyeeyeO yesyeCyeayeIyeayeCyeeyeU yi yeUyeI yesyeCyeayeIyeayeCyeeyeU yn yeyeo = yeoyn Oe yeoyi yeyeo = yeoyn Oe yeoyi yeyeu = yeuyn Oe yeuyi .
Perhitungan sudut rotasi terhadap Sumbu Z .
otasi di bidang XY).
yuyeu = yeCyeeyeEyeiyeCyeaya.
eyeo, yeye.
Perhitungan sudut rotasi terhadap Sumbu X .
otasi di bidang YZ.
yuyeo = yeCyeeyeEyeiyeCyeaya.
eyeu, yeye.
Perhitungan sudut rotasi terhadap Sumbu Y .
i bidang XZ).
yuyeo = yeCyeeyeEyeiyeCyeaya.
eyeu, yeye.
Dimana ycycu, ycyc, ycyc adalah vektor sumbu X, sumbu Y dan sumbu Z.
ycu8, yc8, yc8 adalah koordinat dari titik landmark 8 dan ycu7, yc7, yc7 adalah koordinat dari titik landmark 7.
Perhitungan rotasi ini meghasilkan nilai dalam bentuk radian.
Hasil dari implementasi mediapipe ini adalah titik koordinat dan rotasi dari ujung jari telunjuk.
Titik koordinat dan roatsi ini kemudian akan disimpan ke dalam file dengan format CSV.
Implementasi Moving Average Hasil dari akuisisi data gerakan tangan masih terdapat jitter jika langsung diimplementasikan.
Untuk mengurangi jitter tersebut dilakukan pengurangan jitter dengan menggunakan metode moving Moving average merupakan metode yang sering digunakan untuk melakukan prediksi data pada kumpulan data berdasarkan data terdahulu .
Setiap koordinat dan juga hasil perhitungan rotasi dari landmark .
, y, .
difilter menggunakan rumus moving average sederhana seperti pada persamaan .
yeaOeya Iyei = yc ya Oc ycyeiOeyeO ya=ya Dimana:
I yei : posisi rata-rata pada waktu ke-t, yc ycyeiOeyeO : posisi landmark pada frame sebelumnya, yea : ukuran jendela .
indow siz.
, misalnya 5 atau 10 frame.
Integrasi dengan Blender Blender digunakan sebagai platform visualisasi objek 3D.
Dengan menggunakan Blender Python API .
, objek dalam scene dapat digerakkan sesuai dengan input gerakan tangan.
Integrasi dilakukan melalui pembacaan file CSV yang telah dibuat dan telah difilter sebelumnya.
Setelah dilakukan prapengolahan data, kemudian data tersebut akan dijadikan sebagai posisi dan rotasi dari objek 3 dimensi.
Setiap frame yang ditangkap dan direkam oleh mediapipe akan diterjemahkan menjadi keyframe pada i.
HASIL DAN PEMBAHASAN
Untuk mendukung proses analisis, langkah awal yang dilakukan adalah melakukan akuisisi data gerakan tangan menggunakan MediaPipe.
Proses ini menghasilkan kumpulan data berupa koordinat tiga Halaman - 58 Prosiding Seminar Nasional KARSA NUSANTARA Kolaborasi Rekayasa dan Sains Nasional untuk Teknologi.
Riset, dan Kecerdasan Buatan Fakultas Teknik.
Universitas Wijaya Kusuma Surabaya ISSN 3090-1154 (Media Onlin.
Volume 2.
Tahun 2025 dimensi .
, y, .
dari 21 titik landmark pada tangan, yang dideteksi secara real-time dari tangkapan kamera.
Gambar 3 memperlihatkan tangkapan layar saat sistem berhasil mendeteksi kerangka tangan dengan baik, di mana titik-titik pada jari dapat dilacak secara konsisten dari frame ke frame.
Gambar 3.
Hasil deteksi landmark tangan, lokasi dan juga perhitungan rotasi dari ujung jari Selanjutnya, data hasil akuisisi tersebut digunakan sebagai dasar untuk menggerakkan objek 3D dalam Blender.
Implementasi ini dilakukan melalui dua tahap: pertama, memetakan gerakan jari .
erutama ujung jari telunju.
ke dalam ruang kerja 3D di Blender.
dan kedua, mengatur pergerakan objek melalui keyframe yang dihasilkan dari koordinat tangan tersebut.
Pada gambar 4 dapat dilihat bahwa data hasil akuisisi gerakan tangan berhasil diimplementasikan pada Blender.
Objek 3D bergerak dan berotasi sesuai dengan gerakan tangan.
Data hasil gerakan tangan tersebut diimplementasikan sebagai keyframe pada blender sehingga dapat menjadi sumber gerakan animasi.
Data yang dimasukkan ke dalam blender sudah dilakukan penerapan filter sehingga gerakan objek 3D menjadi lebih halus dan minim jitter.
Gambar 4.
Hasil integrasi data pergerakan tangan dengan Blender Halaman - 59 Prosiding Seminar Nasional KARSA NUSANTARA Kolaborasi Rekayasa dan Sains Nasional untuk Teknologi.
Riset, dan Kecerdasan Buatan Fakultas Teknik.
Universitas Wijaya Kusuma Surabaya ISSN 3090-1154 (Media Onlin.
Volume 2.
Tahun 2025 Data pada tabel 1 merupakan potongan data dari data rotasi dan posisi jari telunjuk hasil dari akuisisi data menggunakan mediapipe, sedangkan tabel 2 menunjukkan data hasil penerapan filter pada rotasi dan posisi jari.
Frame Tabel 1.
Potongan Data Akuisisi Data Menggunakan Mediapipe Rotasi X Rotasi Y Rotasi Z Posisi X Posisi Y Posisi Z Data pada tabel hanya ditunjukkan 10 frame, sedangkan pada saat dilakukan penelitian, frame dibatasi sebanya 100 frame.
Data pada tabel 2 menunjukkan data yang telah dilakukan filter.
Rotasi_X Tabel 2.
Potongan Data yang Telah diterapkan Filter Rotasi_Y Rotasi_Z Filter_Pos_X Filter_Pos_Y Frame Filter_Pos_Z Dari data pada tabel 1 dan 2 dapat dilihat adanya sedikit perubahan nilai.
Data rotasi terhadap sumbu x pada tabel 1 frame 2 bernilai 490.
568, setelah dilakukan penerapan filter berubah menjadi 487.
kemudian pada frame 3 di tabel 1 posisi y bernilai 0.
48707 sedangkan pada tabel 2 0.
perubahan itu terjadi dikarenakan pada saat dilakukan filtering, maka akan dilakukan penyesuaian data hasil filtering.
Untuk lebih jelasnya data posisi jari sebelum dan sesudah filtering akan ditampilkan pada gambar 5.
Halaman - 60 Prosiding Seminar Nasional KARSA NUSANTARA Kolaborasi Rekayasa dan Sains Nasional untuk Teknologi.
Riset, dan Kecerdasan Buatan Fakultas Teknik.
Universitas Wijaya Kusuma Surabaya ISSN 3090-1154 (Media Onlin.
Volume 2.
Tahun 2025 Gambar 5.
Perbandingan data posisi gerakan tangan sebelum dan sesudah diterapkan filter Dari gambar 5 dapat dilihat bahwa ada perubahan data posisi yang terjadi setelah dilakukan filter.
Filter moving average yang diterapkan mengubah data awal menjadi data yang lebih halus dan terbebsa dari jitter.
Perbandingan data rotasi pada sumbu x sebelum dan sesudah penerapan filter moving average dapat dilihat pada gambar 6.
Gambar 6.
Perbandingan data rotasi terhadap sumbu x sebelum dan sesudah diterapkan filter Dari gambar 6 dapat terlihat adanya perubahan data rotasi sebelum dan sesudah penerapan filter.
Untuk perbandingan data rotasi sebelum dan sesudah filter pada sumbu y dapat dilihat pada gambar 7.
Gambar 7.
Perbandingan data rotasi terhadap sumbu y sebelum dan sesudah diterapkan filter Halaman - 61 Prosiding Seminar Nasional KARSA NUSANTARA Kolaborasi Rekayasa dan Sains Nasional untuk Teknologi.
Riset, dan Kecerdasan Buatan Fakultas Teknik.
Universitas Wijaya Kusuma Surabaya ISSN 3090-1154 (Media Onlin.
Volume 2.
Tahun 2025 Gambar 7 juga menunjukkan adanya perubahan data dari sebelum dan sesudah penerapan filter.
Gambar 8 menunjukkan perbandingan data rotasi terhadap sumbu z sebelum dan sesudah penerapan filter.
Gambar 8.
Perbandingan data rotasi terhadap sumbu z sebelum dan sesudah diterapkan filter Dari gambar 8 terlihat jelas bahwa adanya perbaikan data rotasi terhadap sumbu z sebelum dan sesudah diterapkan filter.
Sebelum adanya filter terlihat data rotasi sangat fluktuatif hal tersebut akan menyebabkan terjadinya jitter pada saat dilakukan integrasi pada objek 3D, dengan adanya filter moving average hal tersebut dapat diminimalisir sehingga roatsi terhadap sumbu z menjadi lebih halus dan minim Dari perbandingan yang terlihat pada grafik yag ditampilkan di gambar 5 sampai dengan gambar 8 dapat terlihat bahwa filter moving average cukup untuk mengurangi jitter yang terjadi saat adanya akuisisi data gerakan tangan menggunakan mediapipe.
Akan tetapi pada beberapa bagian, filter ini juga tidak efektif dalam mengurangi terjadinya jitter atau bahkan menambah jitter.
Terutama pada data rotasi gerakan tangan.
Hal ini dapat terjadi karena data yang terdapat pada rotasi tangan sangat fluktuatif sehingga penggunaan filter moving average justru tidak banyak memeprbaiki permasalahan yang terjadi.
Jika dibandingkan hasil filter antara posisi tangan dengan rotasi tangan.
Pada penelitian ini juga dihitung rata-rata perbedaan, perbedaan maksimum, perbedaan minimum dan standar deviasi dari data sebelum dan sesudah penerapan filter.
Data tersebut dapat dilihat pada tabel Tabel 3.
Rata-rata Perbedaan.
Perbedaan Maksimal.
Perbedaan Minimal dan Standar Deviasi dari Data Sebelum dan Sesudah diterapkan Filter Mean Difference max difference min difference Posisi X Posisi Y Posisi Z Rotasi X Rotasi Y Rotasi Z Pada tabel 3 terlihat bahwa penerapan filter moving average efektif untuk menghilangkan jitter pada gerakan tangan posisi x, y, dan z hal ini dibuktikan dengan rendahnya nilau rata-rata perubahan .
ean differenc.
, nilai perubahan terbesar .
ax differenc.
, nilai perubahan terkecil .
in differenc.
dan juga Halaman - 62 Prosiding Seminar Nasional KARSA NUSANTARA Kolaborasi Rekayasa dan Sains Nasional untuk Teknologi.
Riset, dan Kecerdasan Buatan Fakultas Teknik.
Universitas Wijaya Kusuma Surabaya ISSN 3090-1154 (Media Onlin.
Volume 2.
Tahun 2025 standar defiasi.
Sedangkan pada rotasi tangan nilai-nilai tersebut sangat besar, hal ini menandakan bahwa filter moving average tidak cukup efektif untuk menghilangkan jitter pada rotasi.
IV.
KESIMPULAN
Filter moving average cukup efektif untuk menghilangkan jitter yang terjadi saat akuisisi gerakan tangan menggunakan mediapipe.
Akan tetapi filter ini hanya efektif jika digunakan pada data posisi tangan saja, sedangkan pada rotasi tangan, filter ini tidak terlalu efektif.
Hal ini dapat disebabkan oleh nilai rotasi tangan yang sangat fluktuatif.
Perlu diadakan penelitian lanjutan menggunakan metode lainnya sehingga akan didapatkan hasil filter yang lebih baik dalam mengurangi jitter pada rotasi tangan.
REFERENSI