METHOMIKA: Jurnal Manajemen Informatika & Komputerisasi Akuntansi Vol. 8 No. 1 (April 2. ISSN: 2598-8565 . edia ceta. ISSN: 2620-4339 . edia onlin. EVALUASI PENGALAMAN PENGGUNA FLEXIBLE LEARNING UKSW MENGGUNAKAN METODE USER EXPERIENCE QUESTIONNAIRE PADA PROSES PEMBELAJARAN Frengki IrawanA. Johan Jimmy Carter Tambotoh Program Studi Sistem Informasi. Universitas Kristen Satya Wacana. Salatiga. Indonesia Email: frengkiirawan02@gmail. DOI: https://doi. org/10. 46880/jmika. Vol8No1. pp79ABSTRACT Advances in the world of technology today are very rapid, especially in the world of education. Universities and schools definitely need a platform or moodle in the academic learning process, especially at Satya Wacana Christian University. Satya Wacana Christian University is one of the well-known universities and is much sought after by students in Central Java Province and outside Java Island. This campus uses Moodle in its learning process, namely Flexible Learning. Flexible Learning is used to simplify the teaching and learning process. However. Moodle learning, namely Flexible Learning, has not been proven to satisfy users. This journal was formed to test the experiences of using Flexible Learning among SWCU students. This research uses user experience with a questionnaire to determine satisfaction with using Flexible Learning among UKSW students. The research will be carried out using the method of determining the scope of research, literature review, problem analysis, research instruments, determining respondents, measuring UEQ, analyzing test results, and conclusions. The test results in this research involved a total of 50 students as respondents. The evaluation obtained from the research, namely the 6 aspects of the UEQ, can convey the results of measuring user experience and conclude the results of the UEQ. Keyword: Flexible Learning. User Experience Questionnaire. Moodle. ABSTRAK Kemajuan dunia teknologi dijaman ini sangatlah pesat apalagi di dunia pendidikan. Di universitas maupun sekolah-sekolah pasti membutuhkan suatu platform atau moodle dalam proses pembelanjaran akademik, terkhususnya di Universitas Kristen Satya Wacana. Universitas Kristen Satya Wacana salah satu perguruan tinggi yang terkenal dan banyak diminati oleh mahasiswa di Provinsi Jawa Tengah ataupun diluar Pulau Jawa. Kampus ini menggunakan moodle dalam proses pembelanjarannya yaitu Flexible Learning. Flexible Learning digunakan untuk mempermudah dalam proses belajar mengajar. Namun, untuk pembelajaran yang bersifat moodle ini yaitu Flexible Learning belum teruji kepuasan penggunaanya. Jurnal ini dibentuk untuk melakukan pengujian terhadap pengalaman penggunan Flexible Learning pada mahasiswa UKSW. Penelitian ini menggunakan pengalaman pengguna dengan kuisioner untuk menentukan kepuasan penggunaan Flexible Learning pada mahasiswa UKSW. Penelitian akan dilaksanakan dengan metode penetuan lingkup cakupan penelitian, tinjauan pustaka, analisis masalah, instrument penelitian, penentuan responden, pengukuran UEQ, analisis hasil pengujian, dan Hasil pengujian pada penelitian ini melibatkan jumlah responden sebanyak 50 mahasiswa. Evaluasi yang didapatkan dari penelitian yaitu ke 6 aspek pada UEQ ini dapat menyampaikan hasil dari pengukuran pengalaman pengguna dan menyimpulkan hasil dari UEQ tersebut. Kata Kunci: Flexible Learning. User Experience Questionnaire. Moodle. PENDAHULUAN Peran globalisasi dan teknologi dalam pertumbuhan sebuah institusi dan dunia pendidikan telah mendorong perkembangan masyarakat dalam dunia teknologi. Kemajuan pesat dalam teknologi informasi dan komunikasi (TIK) sudah memberikan dampak yang signifikan pada berbagai aspek kehidupan masyarakat, termasuk pendidikan. Untuk penggunaan Flexible Learning (F-Lear. ini harsu memiliki pengalaman penggunaan yang baik jika pengguna dapat menggunakan dan menerimanya. Pengalaman pengguna adalah pemikiran dan reaksi seseorang ketika menggunakan suatu produk, sistem, atau layanan. Persepsi dan reaksi tersebut meliputi perasaan, keyakinan, preferensi, pikiran, reaksi, dan mental, serta perilaku dan perubahan sebelum, selama. Halaman 79 METHOMIKA: Jurnal Manajemen Informatika & Komputerisasi Akuntansi Vol. 8 No. 1 (April 2. dan setelah penggunaan (Viski Izabal et al. , 2. Evaluasi aplikasi harus dilakukan untuk menentukan pengalaman pengguna. Evaluasi mengidentifikasi kelebihan dan kekurangan aplikasi. Hasil evaluasi dapat digunakan untuk melakukan perbaikan demi penerapan yang lebih baik. (Azman Maricar et al. Universitas dan lembaga pendidikan semakin beralih ke sistem manajemen pembelajaran berbasis teknologi untuk meningkatkan pembelajaran dan menyediakan akses yang fleksibel ke sumber daya Sejalan dengan tren tersebut, mahasiswa Universitas Kristen Satya Wacana (UKSW) yang menggunakan F-Learn juga memiliki keberagaman dalam hal tingkat pengalaman teknologi dan kecakapan dalam menggunakan platform e-learning. Tujuan dari sistem ini adalah untuk menyediakan media pembelajaran yang efisien, efektif dan menarik bagi Penggunaan F-Learn pada lingkungan Kampus UKSW menimbulkan keingintahuan peneliti untuk mengetahui kepuasan mahasiswa terhadap penggunaan F-Learn. Oleh karena itu, peneliti melakukan kajian terhadap F-Learn untuk mengetahui secara ilmiah respon terhadap kepuasan pengguna dan kenyamanan pengguna selama menggunakan Learning Management System (LMS) tersebut. Terdapat berbagai macam cara untuk mengukur pengalaman pengguna, salah satunya menggunakan User Experience Questionnaire (UEQ) yang merupakan alat atau metode pengukuran User Experience (UX) dengan menetapkan 6 buah skala pengukuran, yakni Attractiveness. Perspicuity. Perspicuity. Dependability. Stimulation, dan Novelty, di mana setiap skala mewakili aspek kualitas UX yang UEQ memungkinkan pengambilan penilaian secara cepat terhadap pengalaman pengguna dari suatu produk yang akan dievaluasi (Schrepp, 2. Berdasarkan penelitian-penelitian sebelumnya. Maharani, menunjukkan bahwa metode yang digunakan untuk mengevaluasi pengalaman pengguna pada aplikasi pemesanan tiket berbasis pada jurnal penelitian pada tahun 2017 sampai 2021 lebih dominan menggunakan metode UEQ (Maharani, 2. Penelitian selanjutnya dari Abdillah, menunjukkan bahwa aplikasi Gojek menghadirkan aplikasi yang berkualitas dibandingkan aplikasi trasnportasi lainnya. Secara keseluruhan. UEQ mampu menganalisis pengalaman pengguna generasi milineal dan Gen-Z dalam menggunakan Gojek, layanan transportasi online pertama di Indonesia. (Abdillah, 2. Penelitian ketiga dari Aditya, menunjukkan bahwa untuk ISSN: 2598-8565 . edia ceta. ISSN: 2620-4339 . edia onlin. OneDrive menggunkan metode UEQ dan hasilkan mampu memberikan kejelasan, ketepatan, dan stimulasi pada penggunaan aplikasi OneDrive (Aditya Pebrialdy Arswanda et al. , 2. Penelitian ini menggunakan UEQ dalam mengevaluasi pengalaman mahasiswa UKSW yang F-Learn. Untuk permasalahan penelitian ini akan mengumpulkan pendapat-pendapat kuantitatif melalui penyebaran kuesioner kepada kalangan mahasiswa UKSW. Data yang diterima nanti akan diolah dengan alat analisis dari UEQ yang secara akurat menafsirkan hasil dengan mudah. KAJIAN LITERATUR Literatur Terdahulu Penelitian terdahulu yang menjadi acuan, yang pertama adalah dari Maharani, yang menunjukkan bahwa metode yang digunakan untuk mengevaluasi pengalaman pengguna pada aplikasi pemesanan tiket berbasis pada jurnal penelitian pada tahun 2017 sampai 2021 lebih dominan menggunakan metode UEQ. UEQ memiliki kelebihan dalam mengukur aspek-aspek pengalaman pengguna dari sebuah produk dengan sangat cepat. UEQ juga dipilih karena hasil yang diperoleh lebih komprehensif yang sehubungan dengan pengalaman pengguna (Maharani, 2. Penelitian kedua, milik Abdillah, dimana peneliti menganalisis aplikasi mobile transportasi online menggunakan user experience questionnaire pada era milenial dan Z. Kuesioner user experience questionnaire didistribusikan melalui grup di media sosial Facebook atau WhatsApp. Analisis data dilakukan secara otomatis melalui alat yang sudah disediakan oleh User Experience Questionnaire, dimana data yang dimasukkan digunakan untuk menghitung mean, variance, dan memberikan Semua pengalaman pengguna untuk aplikasi Gojek menunjukkan bahwa aplikasi Gojek berada pada area evaluasi positif. Hal ini menandakan bahwa aplikasi Gojek memberikan pengalaman yang baik bagi para penggunanya. Benchmark aplikasi Gojek berada pada skala AuGoodAy dan AuAbove AverageAy. Hal ini membuktikan bahwa aplikasi Gojek merupakan aplikasi dengan kualitas yang setara dibandingkan aplikasi lain di Indonesia. Secara keseluruhan, pengalaman pengguna dapat menganalisis pengalaman pengguna milineal dan Gen-Z dalam menggunkan Gojek layanan transportasi online pertama di Indonesia (Abdillah, 2. Penelitian Ketiga, milik Aditya, dimana peneliti ingin mengetahui pengalaman mahasiswa dalam Halaman 80 METHOMIKA: Jurnal Manajemen Informatika & Komputerisasi Akuntansi Vol. 8 No. 1 (April 2. menggunakan aplikasi OneDrive menggunakan metode UEQ. Dengan hasil dari perhitungan UEQ tersebut mendapatkan aplikasi tersebut yaitu aplikasi OneDrive terlihat bagus karena keindahan UI/UX, kejelasan, efisiensi, keakuratan, dan manfaat dalam menggunakan aplikasi ini. Namun peneliti juga kurang mendapatkan hasil yang maksimal menggunakan metode UEQ karena disisi pengguna, pengalaman saat menggunakan aplikasi tersebut kurang mengesankan. Dengan kata lain, fungsionalitas layanan yang diberikan dan antarmuka pengguna baru sama dengan aplikasi penyimpanan Cloud lainnya (Aditya Pebrialdy Arswanda et al. , 2. Setelah melakukan review dari beberapa jurnal, pada penelitian ini, tidak ditemukan judul dan dengan metode yang serupa dalam hal penilaian kepuasan dan kenyamanan pengguna. Sehingga belum diketahui secara ilmiah bagaimana tingkat kepuasan dan kenyamanan mahasiswa dari Flearn, maka dari itu penulis menggunakan judul yang membahas Evaluasi Pengalaman Pengguna Flexible Learning UKSW Menggunakan Metode User Experience Questionnaire Pada Proses Pembelajaran. UEQ memberikan pandangan komprehensif tentang pengalaman pengguna, mulai dari manfaat kegunaan klasik hingga hasil pengalaman pengguna. Ini juga menyediakan alat analisis untuk memfasilitasi interpretasi hasil yang benar (Santoso et al. , 2. Flexible Learning F-Learn adalah platform e-learning yang digunakan oleh mahasiswa di UKSW. Platform ini dirancang untuk memberikan akses online ke materi pembelajaran, tugas, ujian, dan berbagai sumber daya pendukung lainnya. F-Learn dapat diakses melalui perangkat komputer, laptop, atau perangkat mobile dengan koneksi internet. ISSN: 2598-8565 . edia ceta. ISSN: 2620-4339 . edia onlin. Attractiveness . aya tari. yaitu kesan secara menyeluruh terhadap produk. Apakah pengguna menyukai produk? Perspicuity . yaitu pengguna tidak merasa bingung dalam mencapai tujuannya. Apakah pengguna mudah untuk merasa familiar saat menggunakan produk? Apakah pengguna mudah untuk belajar menggunakan produk? Efisiensi . yaitu pengguna tidak memerlukan usaha besar/efisien dalam mencapai Apakah pengguna mampu untuk menyelesaikan tugas mereka dengan usaha yang sesedikit mungkin? Dependability . yaitu bagaimana perasaan pengguna dalam berinteraksi dengan Dapatkah perilaku sistem diprediksi oleh Stimulation . yaitu motivasi pengguna dalam menggunakan produk. Apakah pengguna termotivasi dan tertarik untuk menggunakan Novelty . yaitu seberapa besar kebaruan, kreativitas, dan inovasi produk tersebut. Apakah produk tersebut inovatif dan kreatif? Apakah produk tersebut mampu memikat minat pengguna? Enam skala UEQ dapat dikelompokkan menjadi 3, yaitu aspek daya tarik . , aspek pragmatic quality, dan aspek hedonic quality. Aspek daya tarik merupakan dimensi valensi murni. Aspek kualitas pragmatis ini adalah manfaat yang dirasakan, efisiensi dan kemudahan penggunaan . erorientasi pada tujua. Kejelasan . , efisiensi . dan ketepatan . termasuk ke dalam aspek kualitas pragmatis. Stimulasi . dan Kebaruan . termasuk ke dalam aspek kualitas hedonis . idak mengarah pada tujua. User Experience Pengalaman pengguna atau UX merupakan hasil perasaan dan pikiran pengguna saat menggunakan suatu produk atau layanan digital. (Luthfi et al. , 2. User Experience Questionnaire User Experience Questionnaire adalah metode penilaian yang digunakan untuk mengukur kepuasan pengguna terhadap pengalaman mereka dalam menggunakan suatu produk atau system (Rasio Henim & Perdana Sari, 2. Enam aspek penilaian pada metode UEQ yang dikelompokkan dari 26 atribut Berikut penjelasannya sebagai berikut (Schrepp, 2. Gambar 1. Struktur Skala dari Kuisioner UEQ Halaman 81 METHOMIKA: Jurnal Manajemen Informatika & Komputerisasi Akuntansi Vol. 8 No. 1 (April 2. METODE PENELITIAN Pada penelitian ini, kami menggunakan pendekatan BSR (Behaviour Science Researc. BSR sendiri merupakan pendekatan yang digunakan untuk memahami sebuah masalah dengan mengembangkan dan menjelaskan sebuah teori yang menyangkut dengan permasalahan tersebut. Dengan tahapan penelitian seperti berikut. Gambar 2. Tahapan Penelitian Menentukan Area Penelitian Tahap pertama dari penelitian ini dimulai dengan penetapan lapangan penelitian sebagai pusat penelitian untuk memahami permasalahan yang ada, dimana fokus penelitian ini adalah pengalaman pengguna atau user experience. Pendefinisian bidang penelitian bertujuan untuk memastikan bahwa penelitian yang dilakukan memiliki batasan atau penekanan tertentu yang mempengaruhi bagaimana peneliti mendefinisikan masalah dalam fenomena yang muncul dalam penelitiannya. Studi Literatur Langkah selanjutnya adalah melakukan literature review untuk mencari penelitian terkait topik sejenis, khususnya evaluasi user experience learning management system, dengan menggunakan user experience questionnaire, guna mendapatkan tautan informasi terkait topik dan masalah. Penelitian dan landasan teori penelitian sebagai pedoman untuk memahami masalah dan mengembangkan hipotesis ISSN: 2598-8565 . edia ceta. ISSN: 2620-4339 . edia onlin. Analisis Permasalahan Topik penelitian peneliti ini adalah tingkat kepuasaan mahasiswa UKSW dalam pengguna FLearn. F-Learn yang sering digunakan dalam aktivitas pembelajaran di kampus khususnya UKSW, namun ada beberapa kendala yang dialami seperti dosen atau mahasiswa yang kesulitan dalam menggunakannya contohnya seperti : Dibagian aksesibilitas beberapa mahasiswa cerita bahwa mengalami kesulitan dalam mengakses FLearn tersebut karena proses loading yang lama ataupun koneksi internet. Terkadang F-Learn mengalami masalah teknis seperti downtime ataupun slow loading. Antarmuka F-Learn terkadang kurang menarik jadi mahasiswa malas untuk menggunakannya masih terlihat tampilan lama UI/UX nya. Susah dalam pengoperasiannya dan menggunakan F-Learn. Dll. Oleh karena itu peneliti sangat tertarik dalam penelitian ini apakah dugaan-dugaan yang ada apakah benar dan valid terjadi. Penelitian ini menggunakan metode kuantitatif untuk mengukur pengalaman pengguna menggunakan F-Learn. Instrumen Penelitian Instrumen penelitian yang digunakan adalah UEQ. UEQ adalah standar kuesioner yang terdiri dari 26 jenis pertanyaan penilaian seperti yang dapat dilihat pada gambar 3 (Schrepp, 2. Gambar 3. Kuesioner UEQ dalam Bahasa Indonesia Halaman 82 METHOMIKA: Jurnal Manajemen Informatika & Komputerisasi Akuntansi Vol. 8 No. 1 (April 2. ISSN: 2598-8565 . edia ceta. ISSN: 2620-4339 . edia onlin. Penentuan Responden Analisis evaluasi UEQ dilakukan terhadap pengguna F-Learn di kalangan mahasiswa. Sampel adalah wakil dari suatu populasi yang mempunyai sifat dan ciri karakteristik yang sama dan dianggap mewakili populasi serta mampu mewakili keseluruhan populasi yang diteliti. Model yang digunakan dalam penelitian ini dihitung menggunakan rumus slovin, dapat lihat pada rumus 1 dibawah ini. x =Oc ycu [ ycyyceycycycuyc. ycA 1 ycA . 2 = Jumlah Sampel = Jumlah Populasi = Tingkat kesalahan dalam memilih anggota sampe yang ditolelir sebesar 5% Pengukuran UEQ Peneliti experience untuk memahami pengguna mahasiswa UKSW terhadap F-Learn Oc ycnycyceyco x = rataan skala perorang Oc ycu [ ycyyceycycycuyc. = total item perskala Oc ycnycyceyco = jumlah item perskala Hasil utama Setelah konversi, data dihitung ulang untuk mendapatkan hasil utama, yaitu hasil. Hasil tersebut merupakan hasil utama dari UEQ yaitu indikatorindikator, indikator-indikator untuk perhitungan Item dan skala dihitung menggunakan mean dan varians dari mean hasil transformasi data. Penentuan hasil skala rata-rata merupakan nilai standar yaitu -0,8, 0,8 merupakan hasil normal, nilai >0,8 merupakan nilai positif, dan nilai negatif. Rumus: x =Oc ycu [ ycycoycaycoyc. Oc ycnycyceyco Analisis Hasil Pengujian Hasil analisis data UEQ menggunakan data tools UEQ dalam format . xlsx (Microsoft Exce. Data yang dihasilkan dari hasil kuesioner dapat langsung dimasukan pada data tools UEQ pada menu Data. Data tools UEQ memiliki beberapa tahapan, yaitu (Umar et , 2. Konversi Data (Data Transforme. Data responden dimasukkan ke dalam Excel dan melalui proses transfer data. Artinya, urutan nilai . ositif kanan dan negatif kir. diacak dalam kuisioner untuk mengurangi bias respon. Tabel 1. Konversi Data Konversi Data 1 Ie -3 2 Ie -2 3 Ie -1 4Ie0 5Ie1 6Ie2 7Ie3 Tabel di atas menunjukkan metode pengurutan nilai untuk meminimalkan kemungkinan respon pada setiap survei. Data yang disesuaikan menghasilkan rata-rata untuk setiap individu dan setiap kelompok berdasarkan kategori. Model rumus datanya adalah sebagai berikut: x = rataan skala perorang Oc ycu [ ycycoycaycoyc. = total item per skala Oc ycnycyceyco = total responden Set Data Benchmark UEQ Perhitungan ini digunakan untuk membandingan FLearn dengan data dari benchmark. Hasil rata-rata dan analisis hasil digunakan untuk memperoleh nilai perbandingan. Nilai standar indikator UEQ dapat dilihat pada tabel berikut (Gede Ngurah Kerta Sanjaya Arya Jelantik et al. , 2. Berdasarkan tabel benchmark, sebuah produk dapat diklasifikasikan ke dalam 5 kategori . er skal. A Excellent: Di kisaran 10% hasil terbaik. A Good: 10% hasil dalam benchmark lebih baik dan 75% hasilnya lebih buruk. A Above average: 25% hasil benchmark lebih baik dari hasil produk yang dievaluasi, 50% hasil lebih buruk. A Below average: 50% hasil benchmark lebih baik dari hasil produk yang dievaluasi, 25% hasil lebih buruk. A Bad: Di kisaran 25% hasil terburuk. Halaman 83 METHOMIKA: Jurnal Manajemen Informatika & Komputerisasi Akuntansi Vol. 8 No. 1 (April 2. Kategori Excellent Good Above Average Bellow Average Bad Daya Tarik Ou1,75 Ou1. <1. Ou1. <1. Ou0. <1. <0. Tabel 2. Kategori Pada UEQ Data Analysis Tool Kejelasan Efisiensi Ketepatan Stimulasi Ou1. Ou1. <1,9 Ou1. <1. Ou0. <0. <0. Ou1. Ou1,47 <1. Ou0. <1. Ou0. <0. <0. HASIL DAN PEMBAHASAN Jumlah responden yang mengisi kuisioner sebanyak 50 responden mahasiswa. Data responden tersebut dikelompokan berdasarkan fakultas yaitu Fakultas Teknologi Informasi 25 responden. Fakultas Teknik Elektronika dan Komputer 2 responden, 3 responden dari Fakultas Hukum, 2 responden dari Fakultas Ilmu Sosial dan Komunikasi, 7 responden dari Fakultas Ekonomi dan Manajemen, 6 responden dari Fakultas Psikologi, 1 responden dari Fakultas Interdisiplin, 2 responden dari Fakultas Sains dan Matematika, dan 2 responden dari Fakultas Seni dan Bahasa. Hasil Uji Validalitas Hasil pemilahan dan penyebaran kuisioner kepada 50 responden diperoleh tingkat signifikansi 5% dan nilai r sebesar 0,279. Hasil dari uji validitas menggunakan aplikasi SPSS versi 27. Tabel 3 menyimpulkan bahwa seluruh item tes validitas yang P10 P11 P12 P13 P14 P15 P16 P17 ISSN: 2598-8565 . edia ceta. ISSN: 2620-4339 . edia onlin. Ou1. Ou1. <1. Ou1. <1. Ou0. <1. <0. Ou1. Ou1. <1. Ou0. <1. Ou0. <0. <0. Kebaruan Ou1. Ou1. <1. Ou0. <1. Ou0. <0. <0. dilakukan pada pertanyaan dianggap valid. Hasilnya r hitung > r tabel pada setiap pertanyaan ini. Hasil tersebut diperoleh dengan mengolah data kuisioner menggunakan aplikasi SPSS versi 27 (Aditya Pebrialdy Arswanda et al. , 2. Tabel 3. Hasil Uji Validitas Total Rata-rata r tabel Kriteria Pertanyaan r hitung 0,279 Valid Hasil Uji Realibilitas Tabel 4. Statistik Realiability CronbachAos Alpha N of Items ,943 Setiap item yang dibandingkan, nilai Alpha Cronbach untuk setiap item tetap reliabel. Nilai-nilai tersebut dapat dilihat pada tabel 5. Tabel 5. Item Total Uji Realibilitas Scale Mean if Item Scale Variance if Corrected Deleated Item Deleted Item-Total Correlation 130,16 700,341 ,607 129,82 712,967 ,569 130,76 678,349 ,737 130,76 694,981 ,620 130,56 678,211 ,681 130,60 687,551 ,682 130,38 697,179 ,609 130,48 687,847 ,682 130,48 694,663 ,626 130,88 675,700 ,768 129,98 707,326 ,541 130,24 704,778 ,412 130,16 704,994 ,583 130,12 694,230 ,745 130,78 695,604 ,538 130,40 679,918 ,777 130,88 741,618 ,030 CronbachAos Alpha if Item Deleted ,941 ,942 ,940 ,931 ,940 ,940 ,941 ,940 ,941 ,939 ,942 ,944 ,942 ,940 ,942 ,939 ,950 Halaman 84 METHOMIKA: Jurnal Manajemen Informatika & Komputerisasi Akuntansi Vol. 8 No. 1 (April 2. P18 P19 P20 P21 P22 P23 P24 P25 P26 130,52 130,84 130,36 130,62 130,32 130,12 130,20 130,20 130,42 Tabel 6. Hasil Uji Realibilitas Total Rata-rata r tabel Kriteria Pertanyaan r hitung 0,943 0,60 Realiabel Salah satu cara untuk mencari realibilitas dalam suatu uji realibilitas adalah dengan menggunakan metode Alpha Cronbach untuk variable yang lebih besar dari 0,60 yang dapat digunakan untuk menentukan apakah variabel tersebut benar atau sama dengan yang diukur (Aditya Pebrialdy Arswanda et al. Hasil uji yang dilakukan terhadap kuisioner di dapatkan nilai berdasarkan jumlah responden yaitu 50 yaitu 50 data dianggap valid. Artinya semua kuisioner sudah selesai diproses. Item Mean Ic 1,5 Ic 1,8 Ic 0,9 Ic 1,4 Ic 1,1 Ic 1,0 Ic 1,3 Ic 1,2 Ic 1,2 Ie 0,8 Ic 1,7 Ic 1,4 Ic 1,5 Ic 1,5 Ic 0,9 Ic 1,2 Ie 0,8 Ic 1,1 Ic 0,8 Ic 1,3 Ic 1,0 Ic1,3 Ic 1,5 680,500 695,076 688,766 678,812 691,120 701,822 684,725 699,918 693,636 ISSN: 2598-8565 . edia ceta. ISSN: 2620-4339 . edia onlin. ,745 ,548 ,684 ,744 ,632 ,588 ,705 ,567 ,613 ,940 ,942 ,940 ,940 ,941 ,942 ,940 ,942 ,941 Tabel 7. Case Processing Summary Cases Valid yaEyayauyauyayayyayayyao Total Pembahasan Evaluasi pada penggunaan F-Learn yang dilakukan kepada 50 mahasiswa di UKSW. Dengan jumlah pertanyaan 26 yang meliputi 6 aspek yaitu daya tarik, kejelasan, efisiensi, ketepatan, stimulasi, dan Setiap jawaban kemudian dikonversi untuk mendapatkan skala penilaian secara berurutan sehingga menghasilkan output seperti pada tabel 8. Tabel 8. Output Hasil Pengukuran Bobot Nilai Variabel UEQ Variance Std. No Left Right Scale Dev. Annoying Enjoyable Attractiveness Not Understandable Perpicuity Creative Dull Novelty Easy to learn Difficult to Perpicuity Valuable Inferior Stimulation Boring Exciting Stimulation 50 Not interesting Stimulation 50 Unpredictable Predictable Dependability Fast Slow Efficiency Inventive Conventional Novelty Obstructive Supportive Dependability Good Bad Attractiveness Complicated Easy Perpicuity Unlikable Pleasing Attractiveness Usual Leading edge Novelty Unpleasant Pleasant Attractiveness Secure Not secure Dependability Motivating Demotivating Stimulation Meets Does not meets Dependability Inefficient Efficient Efficiency Clear Confusing Perpicuity Impractical Pratical Efficiency Organized Cluttered Efficiency Halaman 85 METHOMIKA: Jurnal Manajemen Informatika & Komputerisasi Akuntansi Vol. 8 No. 1 (April 2. Ic 1,0 Ic 1,4 Ic 1,2 Attractive Friendly Conservative Hasil dari pengukuran bobot nilai variabel UEQ dari 50 jawaban responden dilakukan perhitungan berikut, dengan masing-masing pertanyaan diberikan kode yang berbeda sesuai dengan 6 aspek tersebut. Hasilnya seperti pada Gambar 4. Mean value per Item annoying/enjoyable notA dull/creative difficult to learn/easy toA inferior/valuable boring/exciting not interesting/interesting unpredictable/predictable slow/fast conventional/inventive obstructive/supportive bad/good complicated/easy unlikable/pleasing usual/leading edge unpleasant/pleasant not secure/secure demotivating/motivating does not meetA inefficient/efficient confusing/clear impractical/practical cluttered/organized unattractive/attractive unfriendly/friendly conservative/innovative Gambar 4. Rata-rata Value Per Item ISSN: 2598-8565 . edia ceta. ISSN: 2620-4339 . edia onlin. Unattractive Unfriendly Attractiveness Attractiveness Novelty Gambar 4 menunjukan bahwa dari penggunaan F-Learn di UKSW menyatakan baik. Hasil berikut di dapatkan dari perhitungan mean, varians, deviasi Nilai rata-rata 6 aspek UEQ tampak pada tabel Tabel 9. Rata-rata Impresi dan Varian Skala UEQ Scales (Mean and Varianc. Attractiveness Ic 1,347 1,16 Perspicuity Ic 1,420 1,20 Efficiency Ic 1,320 1,36 Dependability Ic 1,095 1,05 Stimulation Ic 1,125 1,87 Novelty Ic 0,930 1,83 Tabel 9 menunjukan nilai rata-rata kesuluruhan pertanyaan dari hasilnya. Hasil nilai rataan skala daya tarik, kejelasan, efisiensi, ketepatan, stimulasi, dan kebaruan tergolong impresif positif. Hasil rata-rata skala UEQ untuk penggunaan F-Learn di kalangan mahasiswa UKSW dapat dipaparkan dalam grafik Gambar 5. Grafik Rata-ratta Impresi Skala Tabel 10. Nilai Confidence Interval pada Setiap Skala Confidence interval . =0. per scale Scale Mean Std. N Confidence Confidence Dev. Attractiveness 1,347 1,076 50 0,298 1,048 1,645 Perspicuity 1,420 1,094 50 0,303 1,117 1,723 Efficiency 1,320 1,168 50 0,324 0,996 1,644 Dependability 1,095 1,025 50 0,284 0,811 1,379 Stimulation 1,125 1,367 50 0,379 0,746 1,504 Novelty 0,930 1,352 50 0,375 0,555 1,305 Halaman 86 METHOMIKA: Jurnal Manajemen Informatika & Komputerisasi Akuntansi Vol. 8 No. 1 (April 2. Novelty Stimulation Dependability Excellen Good Attractiveness Efficiency Tabel 11. Pragmatic and Hedonic Quality Pragmatic and Hedonic Quality Attractiveness 1,35 Pragmatic Quality 1,28 Hedonic Quality 1,03 yang cukup baik dalam menggunakan aplikasi (Halim et al. , 2. Untuk mendapatkan gambaran dan hasil yang maksimal tentang penilaian penggunaan F-Learn di UKSW membandingkan penelitian ini dengan penelitian sebelumnya yang menggunakan UEQ data analysis tool dengan melakukan uji benchmark. Uji benchmark dapat menggambarkan tentang kualitas dari penggunaan F-Learn dengan penelitian lainnya. Berikut hasil uji benchmark dari penggunaan F-Learn. Perspicuity Dari gambar 5 dan tabel 10 nilai rata-rata tertinggi merupakan pengukuran di aspek kejelasan dengan nilai 1,420. Hal ini menunjukan bahwa F-Learn dalam pembelajaran sudah sangat jelas. Hasil statistik berdasarkan tiga kelompok yaitu : daya tarik, kualitas praktis, dan kualitas hedonis, seperti ditunjukkan pada tabel dan gambar berikut. ISSN: 2598-8565 . edia ceta. ISSN: 2620-4339 . edia onlin. Above Average Below Average Bad Lower Border Gambar 7. Standar Set Benchmark Gambar 6. Grafik Rata-rata Berdasarkan Aspek UEQ Aspek dari UEQ untuk mendapatakan rata-rata cukup baik adalah aspek daya tarik yang berkaitan dengan daya tarik pengguna terhadap kinerja dari Aspek kualitas pragmatic sangat diperhatikan dengan tujuan untuk mencapai kesuksesan dalam sistem atau pola kerja dan layanan tersebut dapat dijelaskan secara singkat. Kinerja sistem atau kualitas hedonic terhadap pengalaman yang menyenangkan, dimana pengguna memiliki kesenangan serta motivasi Hasil pengujian benchmark dapat dilihat pada tabel 10 yang berada di atas rata-rata dalam hal daya tarik, kejelasan, efektivitas, stimulasi dan kebaruan. Artinya pengalaman penggunaan F-Learn dikalangan mahasiswa UKSW memiliki nilai rata-rata 25% dari hasil evaluasi dataset, namun nilai mean lebih besar dari 50% hasil dari evaluasi dataset. Akurasi nilai di bawah rata-rata, artinya pengguanaan F-Learn di UKSW kurang dari 50% hasil dari dataset, namun lebih besar dari 25% hasil penilaian dataset. Tabel 12. Hasil Perbandingan Antara Evaluasi Pengalaman Pengguna Flexible Learning UKSW Pada Proses Pembelajaran dengan Uji Benchmark Scale Mean Comparisson to Interpretation Attractiveness 1,35 Above average 25% of result better, 50% of result worse Perspicuity 1,42 Above average 25% of result better, 50% of result worse Efficiency 1,32 Above average 25% of result better, 50% of result worse Dependability 1,10 Below average 50% of result better, 25% of result worse Stimulation 1,13 Above average 25% of result better, 50% of result worse Novelty 0,93 Above average 25% of result better, 50% of result worse Halaman 87 METHOMIKA: Jurnal Manajemen Informatika & Komputerisasi Akuntansi Vol. 8 No. 1 (April 2. KESIMPULAN Hasil analisis menggunakan UEQ terhadap penggunaan F-Learn menunjukan bahwa dengan UEQ menggunakan sistem. Didapatkan dari 50 responden bahwa rata-rata pada skala daya tarik mendapatkan 347, kejelasan mendapatkan point 1. efisiensi mendapatkan point 1. 320, ketepatan mendapatkan point 1. stimulasi mendapatkan 125, dan kebaruan mendapatkan 0. 980 yang tergolong impresif positif. Untuk pengujian set data benchmark menunjukan bahwa secara grafik dari skala rata-rata daya tarik F-Learn 1. 35, selanjutnya untuk skala ratarata kejelasan F-Learn 1. 42, selanjutnya untuk skala rata-rata efisiensi F-Learn 1. 32, selanjutnya untuk skala rata-rata ketepatan F-Learn 1. 10, selanjutnya untuk skala rata-rata stimulasi F-Learn 1. 13, dan selanjutnya untuk skala rata-rata kebaruan F-Learn 0. Kemudian pada UEQ benchmark didapatkan level user experience yang above average . i atas rata-rat. pada skala daya tarik, kejelasan, efisensi, stimulasi, kebaruan dan ketepatan mendapatkan hasil below average . i bawah rata-rat. DAFTAR PUSTAKA