PROCEEDING OF INDONESIAN CONFERENCE ON OCCUPATIONAL SAFETY.
HEALTH.
AND ENVIRONMENT
(INCOSHET) 2025
Vol.
No.
1 Juni 2025
ANALISA PERILAKU KONSUMEN BERUPA GERAK MATA,
EKSPRESI.
DAN EMOSI WAJAH DENGAN MENGGUNAKAN
TOBII EYE-TRACKER DAN NOLDUS FACE READER
Regina Fortunata Salim1 dan Marsellinus Bachtiar Wahyu2
1, 2
Program Studi Program Profesi Insinyur.
Fakultas Biosains.
Teknologi, dan Inovasi.
Universitas Katolik Indonesia Atma Jaya.
Kota Tangerang.
Indonesia Email: reginafortunatasalim777@gmail.
bachtiar@atmajaya.
ABSTRAK
Penelitian ini bertujuan untuk mengevaluasi perilaku konsumen melalui makanan sehat.
Inovasi teknologi dalam Kesehatan dan Keselamatan Kerja (K.
menjadi dasar dalam penelitian yang mana belum ada penelitian mengenai perilaku konsumen serupa yang dilakukan dengan teknologi rekognisi wajah di Indonesia.
Metode yang digunakan dalam penelitian adalah desain eksperimen dengan aplikasi serta dilengkapi dengan pengumpulan data pendukung berupa survei konsumen.
Dalam percobaan ini, sejumlah 10 mahasiswa universitas direkrut sebagai partisipan.
Mereka diminta untuk memakan salah satu makanan acak yang disediakan terkait dengan perilaku makan.
Respon mereka diukur menggunakan Tobii Eye-Tracker dan Noldus Face Reader.
Hasil penelitian menunjukkan bahwa makanan yang menarik .
dapat diklasifikasikan sebagai suasana hati yang baik dan memberikan emosi positif.
Begitu pula sebaliknya, makanan mentah .
dapat diklasifikasikan sebagai suasana hati yang buruk dan memberikan emosi negatif pada Noldus Face Reader.
Sementara itu.
Tobii Eye-Tracker menunjukkan bahwa partisipan fokus pada objek .
saat memakan makanan yang dipilih.
Makanan yang baik, memiliki periode waktu gaze plot, heatmap, dan cluster yang lebih lama.
Dan sebaliknya, makanan yang buruk, memiliki waktu yang lebih singkat.
Kata kunci: Emosi.
Ekspresi Wajah.
Gerak Mata.
Tobii Eye-Tracker.
Noldus Face Reader.
ABSTRACT
This study aimed to evaluate the consumer behaviour through healthy food.
Technological innovation in Occupational Health and Safety (OSH) is the basis for research where there has been no research on similar consumer behavior conducted with facial recognition technology in Indonesia.
The method used in the research is experimental design with applications and is equipped with supporting data collection in the form of consumer surveys.
For this experiment, a number of 10 university college students were recruited as participants.
They were asked to eat one of random food provided related to eating behaviour.
Their reponses were measured using Tobii EyeTracker and Noldus Face Reader.
The Results showed that interesting food .
could be classified as good mood and gave positif emotion.
Vice versa, raw food .
could be classified as bad mood and gave negative emotion on Noldus Face Reader.
Meanwhile.
Tobii Eye-Tracker showed that participants were focused on the object .
while ate the choosen food.
The good one, the longer time period of gaze plot.
PROCEEDING OF INDONESIAN CONFERENCE ON OCCUPATIONAL SAFETY.
HEALTH.
AND ENVIRONMENT (INCOSHET) 2025 Vol.
No.
1 Juni 2025 PROCEEDING OF INDONESIAN CONFERENCE ON OCCUPATIONAL SAFETY.
HEALTH.
AND ENVIRONMENT
(INCOSHET) 2025
Vol.
No.
1 Juni 2025 heatmap, and cluster.
And the other hand, the bad one, make shorter time of them.
Keywords: Emotions.
Face Expression.
Eye Movement.
Tobii Eye-Tracker.
Noldus Face Reader.
PENDAHULUAN
Peningkatan kesadaran akan Kesehatan dan Keselamatan Kerja (K.
merupakan hal yang diutamakan dalam kiat kerja dan operasional perusahaan.
Memasuki era ini, teknologi kian berkembang dengan pesat.
Dengan memanfaatkan inovasi teknologi, hal ini menjadi potensi yang besar dalam meningkatkan implementasi Kesehatan dan Keselamatan (K.
yang aman dan produktif (Fauzi, 2.
Pentingnya Kesehatan dan Keselamatan Kerja (K.
tidak dapat dihindari lagi.
Setiap tahun, ratusan ribu pekerja mengalami kecelakaan kerja dan penyakit di dunia.
Akan tetapi, dengan adanya kemajuan teknologi, hal ini menjadi peluang baru dalam meningkatkan kondisi K3 yang signifikan serta dapat mengurangi kerugian manusia dan ekonomi yang besar akibat kecelakaan kerja dan penyakit di lingkungan kerja.
Berbagai teknologi yang saat ini dapat mendukung perkembangan Kesehatan dan Keselamatan Kerja (K.
, antara lain rekognisi wajah, kecerdasan buatan, realitas buatan, dan lainnya.
Salah satu inovasi teknologi dalam Kesehatan dan Keselamatan Kerja (K.
ialah rekognisi wajah.
Rekognisi wajah adalah teknik mengenali wajah dari sebuah gambar atau video dengan menggunakan computer vision (Surya, dkk, 2.
Teknik rekognisi wajah dilakukan dengan mengenali wajah yang diukur secara matematis yang kemudian dikenali oleh sistem.
Belum ada penelitian perilaku konsumen dengan menggunakan teknik rekognisi wajah di Indonesia.
Makanan menjadi faktor utama dalam menjaga kesehatan pekerja.
Penelitian ini menggunakan makanan sebagai objek penelitian guna mengukur emosi dan ekspresi wajah serta fokus pada saat memakan makanan sehat ini.
Pada dasarnya, emosi diukur berdasarkan 6 basic emotions, antara lain perasaan senang, sedih, marah, jijik, netral, dan Kemudian, diukur aktif atau tidaknya, serta emosi yang ditimbulkan positif atau Sedangkan, fokus diukur berdasarkan lamanya fokus dalam mengukur perilaku konsumen pada saat sedang menjalani eksperimen tersebut.
Hubungan praktik makan makanan sehat terhadap emosi seseorang diteliti untuk mengukur keaktifan ekspresi wajah, emosi positif atau negatif, serta minat seseorang terhadap makanan sehat tertentu tergambar melalui wajah dan hal ini menjadi inovasi di bidang kesehatan dan keselamatan kerja (K.
Demikian, penelitian ini bertujuan untuk mengevaluasi perilaku konsumen dengan praktik makanan sehat dengan menggunakan teknologi rekognisi wajah untuk menganalisis ekspresi wajah, gerakan mata, dan emosi
METODE
Metode penelitian ini menggunakan desain eksperimen.
Desain eksperimen dilakukan melalui percobaan secara langsung kepada partisipan penelitian.
Berikut merupakan penjelasan mengenai metode penelitian ini.
Subjek Penelitian Dalam mengukur tingkat usabilitas pada perilaku konsumen, sejumlah 10 partisipan melakukan uji coba eksperimen di Laboratorium Perancangan Sistem Kerja dan Ergonomi.
Program Studi Teknik Industri.
Universitas Katolik Indonesia Atma PROCEEDING OF INDONESIAN CONFERENCE ON OCCUPATIONAL SAFETY.
HEALTH.
AND ENVIRONMENT
(INCOSHET) 2025 Vol.
No.
1 Juni 2025 PROCEEDING OF INDONESIAN CONFERENCE ON OCCUPATIONAL SAFETY.
HEALTH.
AND ENVIRONMENT
(INCOSHET) 2025
Vol.
No.
1 Juni 2025 Jaya.
Partisipan terdiri atas 7 laki-laki dan 3 wanita.
Instrumen Instrumen yang digunakan dalam penelitian ini adalah Tobii Eye-Tracker dan Noldus Face Reader.
Tobii Eye-Tracker memiliki fungsi sebagai alat yang digunakan untuk merekam gerakan mata secara objektif berdasarkan gaze plot, heat map, dan Noldus Face Reader adalah program yang digunakan untuk merekam dan menganalisis visual wajah melalui 6 basic emotions, valence, dan arousal.
Hasil daripada Tobii Eye-Tracker dan Noldus Face Reader saling melengkapi untuk menganalisis reaksi respon wajah dari partisipan.
Prosedur Tahapan dalam percobaan dirancang dengan menggunakan eksperimen terhadap Pertama, partisipan diminta untuk memilih jenis makanan yang secara random dipilih dengan menggunakan wheelofnames.
Kedua, partisipan mulai memakan makanan yang terpilih, dan secara paralel kedua instrumen dinyalakan untuk merekam respon ekspresi wajah daripada partisipan tersebut.
Hasil rekaman kemudian dianalisa dan dibandingkan satu sama lain sebagai tolak ukur keberhasilan dalam eksperimen ini.
Adapun penelitian ini dilakukan selama 20 menit per partisipan.
HASIL DAN PEMBAHASAN
Hasil dan pembahasan dalam penelitian diuraikan sebagai berikut.
Partisipan Jenis Kelamin Pria Pria Pria Pria Pria Pria Pria Wanita Wanita Wanita Tobii-Eye Tracker 2 menit 4 detik 1 menit 39 detik 3 menit 2 detik 2 menit 49 detik 1 menit 50 detik 2 menit 36 detik 2 menit 7 detik 1 menit 20 detik 3 menit 5 detik 1 menit 56 detik 6 Basic Emotions Valence Arousal Happy Active Positive Neutral Inactive Negative Neutral Active Positive Happy Active Positive Disgusted Inactive Negative Happy Active Positive Happy Active Positive Neutral Inactive Negative Happy Active Positive Disgusted Inactive Negative Tabel 1.
Data Tobii Eye-Tracker dan Noldus Face Reader PROCEEDING OF INDONESIAN CONFERENCE ON OCCUPATIONAL SAFETY.
HEALTH.
AND ENVIRONMENT
(INCOSHET) 2025 Vol.
No.
1 Juni 2025 PROCEEDING OF INDONESIAN CONFERENCE ON OCCUPATIONAL SAFETY.
HEALTH.
AND ENVIRONMENT
(INCOSHET) 2025
Vol.
No.
1 Juni 2025 Hasil menunjukkan data waktu yang relatif lama .
ata-rata di atas 2 meni.
pada saat partisipan memperoleh makanan sehat berupa cokelat dengan menggunakan Tobii Eye-Tracker.
Reaksi emosi yang ditunjukkan cenderung bahagia .
dan netral, aktif .
, dan positif .
Sebaliknya, data menunjukkan waktu yang relatif singkat .
i bawah 2 meni.
pada saat partisipan memperoleh makanan sehat berupa pare dengan menggunakan Tobii Eye-Tracker.
Reaksi emosi yang ditunjukkan cenderung jijik .
, tidak aktif (Inactiv.
, dan negatif .
Gambar 1.
Analisa 6 basic emotions dan valence dengan menggunakan Noldus Face Reader Gambar 2.
Analisa 6 basic emotions dan arousal dengan menggunakan Noldus Face Reader Ekspresi dominan ditunjukkan pada pie chart 6 emosi dasar dari Noldus Face Reader.
Rata-rata partisipan yang mendapatkan makanan sehat berupa cokelat, akan menunjukkan ekspresi emosi senang.
Sebaliknya, partisipan yang mendapatkan makanan sehat berupa pare akan menunjukkan emosi jijik.
Kemudian, sisanya menunjukkan reaksi emosi netral pada kedua jenis makanan tersebut.
Aktif atau tidaknya ekspresi wajah yang diberikan dilihat dari grafik valence dari Noldus Face Reader.
Aktif menunjukkan bahwa adanya pergerakan pada titik-titik wajah pada saat eksperimen dilakukan.
Sedangkan tidak aktif, menunjukkan adanya sedikit atau minimnya pergerakan dari wajah partisipan.
Emosi dapat berupa positif dan negatif, dan ini ditunjukkan dari grafik arousal dari Noldus Face Reader.
Emosi positif ditunjukkan pada saat grafik berada di atas garis kuadran.
Sedangkan emosi negatif ditunjukkan pada saat grafik berada di bawah garis kuadran.
PROCEEDING OF INDONESIAN CONFERENCE ON OCCUPATIONAL SAFETY.
HEALTH.
AND ENVIRONMENT
(INCOSHET) 2025 Vol.
No.
1 Juni 2025 PROCEEDING OF INDONESIAN CONFERENCE ON OCCUPATIONAL SAFETY.
HEALTH.
AND ENVIRONMENT
(INCOSHET) 2025
Vol.
No.
1 Juni 2025
KESIMPULAN DAN SARAN
Secara keseluruhan, penelitian ini dapat disimpulkan bahwa penting bahwa adanya inovasi teknologi dalam dunia Kesehatan dan Keselamatan Kerja (K.
Analisis gerakan mata, ekspresi, dan emosi wajah dengan menggunakan Tobii Eye-Tracker dan Noldus Face Reader dapat diaplikasikan untuk mengukur respon ekspresi wajah seseorang setelah melakukan tasks atau kegiatan tertentu.
Dalam penelitian ini terlihat bahwa makanan yang cenderung manis akan berdampak pada kecenderungan emosi positif dan minat yang lebih mendalam.
Sedangkan, makanan pahit akan berdampak pada kecenderungan emosi negatif dan waktu percobaan yang lebih singkat.
Di masa mendatang penelitian serupa sangat bermanfaat untuk pengukuran kelelahan pekerja, ekspresi dan respon pekerja pada saat melakukan kerja tertentu, serta minat yang dianalisis menggunakan kedua instrumen.
Tobii Eye-Tracker dan Noldus Face Reader.
UCAPAN TERIMA KASIH
Ucapan terima kasih saya haturkan kepada pak Marsel selaku pembimbing dalam menyusun paper ini, juga kepada panitia dan penilai yang telah menyelenggarakan acara lomba paper ini.
Mohon maaf apabila terdapat kesalahan dalam penyusunan kata selama proses pembuatan paper ini.
Atas perhatiannya, saya mengucapkan terima kasih.
PROCEEDING OF INDONESIAN CONFERENCE ON OCCUPATIONAL SAFETY.
HEALTH.
AND ENVIRONMENT
(INCOSHET) 2025 Vol.
No.
1 Juni 2025 PROCEEDING OF INDONESIAN CONFERENCE ON OCCUPATIONAL SAFETY.
HEALTH.
AND ENVIRONMENT
(INCOSHET) 2025
Vol.
No.
1 Juni 2025
DAFTAR PUSTAKA