PROCESSOR AeVOL. No. April 2024. Laman web jurnal: https://ejournal. id/index. php/processor Processor: Jurnal Ilmiah Sistem Informasi. Teknologi Informasi dan Sistem Komputer P-ISSN: 1907-6738 | E-ISSN: 2528-0082 User Experience Game Arknights: Sebuah Penerapan Metode Cognitive Walkthrough *Andri Daviano1. Reni Aryani2. Daniel Arsa3 1,2,3 Fakultas Sains dan Teknologi. Program Studi Sistem Informasi. Universitas Jambi. Jambi. Indonesia Penulis Korespondensi. Email: *andridaviano@gmail. AbstrakOeSetiap produk membutuhkan pengalaman pengguna yang optimal untuk memastikan kenyamanan pengguna dan interaksi yang efektif dari produk tersebut. Penelitian ini menggunakan metode Cognitive Walkthrough untuk mengevaluasi pengalaman pengguna dalam game Arknights, sebuah permainan mobile yang meraih penghargaan sebagai "Best Innovative Game" pada Google Play Best Of 2020 awards. Metode Cognitive Walkthrough merupakan metode evaluasi user experience dimana responden diminta untuk mengerjakan tugas berbasis skenario yang telah dipersiapkan oleh peneliti. Metode ini akan mengevaluasi langkah per langkah dalam sebuah produk, untuk menemukan permasalahan yang membuat pengguna tidak Evaluasi ini bertujuan untuk mengidentifikasi masalah potensial yang mungkin mengganggu pengalaman pengguna, terutama bagi pengguna baru. Responden dalam penelitian ini berjumlah 5 orang dengan kriteria utama seorang gamer tapi belum pernah memainkan game Arknights. Hasil evaluasi menunjukkan bahwa Arknights memiliki tingkat kenyamanan yang tinggi secara keseluruhan, dengan sebagian besar permasalahan bersifat ringan dan tidak mempengaruhi fungsi utama dalam Permasalahan yang diidentifikasi sebagian besar terkait dengan tugas-tugas spesifik dalam game, seperti upgrade operator dan change assistant, serta fitur-fitur dasar dalam permainan. Meskipun demikian, masalah-masalah ini bersifat minor dan tidak menghambat pengalaman bermain secara signifikan. Evaluasi ini menunjukkan bahwa Arknights adalah game yang mudah dimainkan dan dinikmati, terutama oleh pengguna baru. Kata Kunci: Arknights. User Experience. Usability Evaluation. Cognitive Walkthrough. Skenario Cognitive Walkthrough. AbstractOeEvery product requires an optimal user experience to ensure user comfort and effective interaction with the This research uses the Cognitive Walkthrough method to evaluate the user experience in the Arknights game, a mobile game that won the "Best Innovative Game" award at the Google Play Best Of 2020 awards. The Cognitive Walkthrough method is a user experience evaluation method where respondents are asked to work on scenario-based tasks that have been prepared by researchers. This method will evaluate step by step in a product, to find problems that make users This evaluation aims to identify potential issues that may disrupt the user experience, especially for new The respondents in this study were 5 people with the main criteria being a gamer but had never played the Arknights The evaluation results show that Arknights has a high level of comfort overall, with most problems being minor and not affecting the main functions of the game. The issues identified were mostly related to specific in-game tasks, such as upgrading operators and change assistants, as well as basic in-game features. However, these issues are minor and do not hinder the gaming experience significantly. This evaluation shows that Arknights is a game that is easy to play and enjoy, especially for new users. Keywords: Arknights. User Experience. Usability Evaluation. Cognitive Walkthrough. Cognitive Walkthrough Scenario. PENDAHULUAN Perkembangan teknologi sekarang, terutama dalam dunia game sangat berkembang pesat. Banyak sekali game baru dengan berbagai genre dirilis tiap tahunnya baik itu untuk platform android maupun PC. Namun, dari banyaknya game yang rilis tak bisa dipungkiri akan ada game yang nantinya sepi peminat atau dead game. Jika ditelusuri berdasarkan artinya dalam bahasa Inggris. Deadgame berarti game mati. Namun deadgame bukan berarti permainan mati melainkan permainan yang tak lagi memiliki banyak peminat, dan biasanya kurang dari 000 pemain . , . Game yang termasuk dalam kategori ini dianggap sudah ketinggalan zaman atau membosankan oleh orang banyak. Hal ini sederhana, alasannya karena ada game yang lebih baik dan menarik dari game tersebut . Ae. Dalam penelitian ini, penulis memfokuskan terhadap salah satu game berjenis Tower Defense yang sampai sekarang secara mengejutkan sudah bertahan selama lebih dari 3 tahun semenjak perilisannya dan ramai pemainnya hingga sekarang, game tersebut bernama Arknights . Ae. Arknights merupakan salah satu game mobile bergenre Strategi RPG dengan jenis gameplay berupa Tower Defense, dikembangkan oleh Hypergryph Co. Ltd dan telah rilis di China pada 1 Mei 2019 lalu untuk platform android dan IOS. Kemudian rilis di server global pada 16 januari 2020 oleh Publisher, telah diunduh lebih dari 5 Juta kali dengan Rating 4. 7 dari 5 dan telah mendapatkan 165 ribu ulasan pengguna serta telah mencapai versi 12. 01 di Playstore pada saat penelitian ini dikerjakan . , . , . Meski bertipe Tower Defense. Arknights nyatanya mampu bersaing dengan game-game populer lainnya. Hal ini dibuktikan dengan terpilihnya Arknights sebagai salah satu AuBest Innovative GameAy dalam penghargaan Google Play Best Of 2020 awards, sebuah selebrasi perayaan terhadap aplikasi dan games yang memberikan kontribusi positif pada tahun tersebut . , . , . Hal yang menjadi penilaiannya adalah dengan https://doi. org/10. 33998/processor. Submitted: 01 Maret 2024. Reviewed: 04 April 2024. Accepted. 11 April 2024. Published: 30 April 2024 memperkenalkan user interface dan fitur gameplay yang unik, penuh imajinasi dan memberikan sebuah pengalaman pengguna yang tidak pernah dilihat sebelumnya . ever-before-seen experience. dari sebuah game bertipe Tower Defense . Ae. , . Hal ini makin menjelaskan bahwa alasan utama Arknights mendapatkan penghargaan tersebut berasal dari user experience pemainnya. Arknights bisa bersaing seperti ini meskipun dia adalah game Tower Defense, dikarenakan user experience nya . , . , . Ae. Apa yang membuat banyak para player Arknights bisa betah memainkan game ini sampai sekarang tentunya berasal dari pengalaman mereka saat pertama kali bermain Arknights. Untuk mengetahui secara konkrit user experience tersebut, diperlukan sebuah perhitungan dengan cara melakukan evaluasi . , . User experience adalah pengalaman seseorang ketika menggunakan sebuah produk, sistem, atau jasa. Pengalaman pengguna dalam aspek-aspek pengalaman, tingkat kemudahan, kegunaan, serta efisiensi dan efektivitas dari sebuah sistem. User experience bersifat subyektif, karena pengalaman seseorang itu berdasarkan atas perasaan dan pemikiran individu disaat mereka menggunakan suatu sistem. Metode yang digunakan untuk menilai user experience dari sebuah produk, dalam penelitian tentang Arknights ini disebut dengan Usability Evaluation . , . Ae. Usability Evaluation menjadi salah satu tahapan yang penting dalam siklus pembuatan sebuah produk, yaitu untuk mengevaluasi sebuah produk agar sesuai dengan ekspektasi dan kebutuhan pengguna. Salah satu metode didalam Usability Evaluation yang sering digunakan adalah Cognitive Walkthrough. Cognitive Walkthrough merupakan metode dimana satu atau lebih evaluator bekerja sama melalui serangkaian tugas dan meminta sejumlah pertanyaan dari perspektif pengguna. Metode ini sering digunakan karena mudah diimplementasikan serta tidak memerlukan waktu yang banyak dan juga berkonsentrasi pada kemudahan serta pemahaman pengguna dengan eksplorasi. Pengguna akan melakukan tugas dengan Teknik AuTrial dan ErrorAy. Metode ini menstimulasi proses kognitif pengguna ketika dia melakukan tugas-tugas yang diberikan secara Tabel dibawah nenunjukkan beberapa rujukan dari penelitian-penelitian terdahulu yang sejenis dengan penelitian penulis kali ini. Tabel 1. Penelitian-penelitian terdahulu yang sejenis No. Judul Penelitian Evaluasi User experience pada Game Left 4 Dead 2 Menggunakan Cognitive Walkthrough Penulis & Tahun Muchtar Prawira Solikhin (Sholikhin et al. , 2. Tujuan Hasil Penelitian Memberikan hasil evaluasi User experience pada game Left 4 Dead 2 menggunakan metode Cognitive Walkthrough, dan Mengetahui kinerja metode Cognitive Walkthrough sebagai salah satu metode evaluasi Cognitive Walkthrough sebagai sebuah metode evaluasi berhasil menggali beberapa kelemahan atau permasalahan dalam game Left 4 Dead 2. Serta dengan memberikan pertanyaan analisis fungsi dan analisis operasi dalam setiap tugas yang dijalankan responden, metode ini mampu memberikan diagnosis yang mendalam pada setiap permasalahan yang muncul. Tetapi, dalam metode Cognitive Walkthrough responden memiliki pengetahuan yang terbatas mengenai User Interface dan User experience. Evaluasi User experience Pada Game PES 2020 Menggunakan Metode Cognitive Walkthrough Hinova Rezha Ulinuha (Rezha Ulinuha et , 2. Melakukan responden yang belum pernah memainkan PES 2020 Mobile terhadap task-task yang sudah di Dari Hasil analisis matriks menjelaskan bahwa secara keseluruhan game PES 2020 Mobile merupakan game yang mudah untuk dimainkan oleh pemain baru. Namun pada tampilan awal game (Start PES 2. lebih baik dilakukan perbaikan. https://doi. org/10. 33998/processor. Submitted: 01 Maret 2024. Reviewed: 04 April 2024. Accepted. 11 April 2024. Published: 30 April 2024 Evaluasi User experience Pada Game PUBG MOBILE Menggunakan Metode Cognitive Walkthrough Evaluasi User experience pada Game Genshin Impact Metode Cognitive Walkthrough dan Persona Revianda Amrullah Akbar (Amrullah Akbar et , 2. Rafli Irfan Haikal (Irfan Haikal et , 2. pengujian tersebut akan didapatkan data problem seriousness serta problem type dari Dimana data tersebut akan kedalam matriks analisis evaluasi user experience ECW. Mengevaluasi aspek learnability terutama untuk user baru pada permainan PUBG MOBILE, karena ketika sistem berubah atau platform maka interaksi dan pengguna atau target pasar juga berubah . ew Beberapa responden kurang mengerti tombol untuk masuk ke permainan dikarenakan tidak adanya perintah tertulis untuk menekan tombol start. Hanya ada tombol lingkaran dimana sebagian banyak responden mengira bahwa ikon lingkaran tersebut menandakan game masih proses loading. Penulis untuk melakukan penelitian pada Genshin Impact 0 karena masih banyak kekurangan dalam segi User Interface design maupun User design, karena game ini masih tergolong baru dan butuh langsung dari para pemain untuk stabilitas emosi dan stabilitas jumlah pemain. Tujuan lain dari penelitian ini Metode Cognitive Walkthrough telah berhasil mengidentifikasi dan menemukan beberapa masalah yang ada pada game Genshin Impact. Dapat disimpulkan juga Game Genshin Impact mudah untuk dimainkan pemain baru ataupun pemain yang tidak mempunyai pengalaman bermain game bergenre sama karena tidak ada masalah yang serius pada fungsi utama game. Game PUBG MOBILE mudah untuk dimainkan baik oleh pemain yang berpengalaman ataupun pemain baru dikarenakan tidak ada masalah yang serius pada fungsi utama dalam game. Masalah utama yang muncul dan perlu diperbaki ada pada saat pengguna ingin mempelajari tentang karakteristik senjata dalam game . ask learn armor. Pengguna merasa kesulitan saat mempelajari dikarenakan tampilan atau indikator kurang jelas sehingga sulit untuk https://doi. org/10. 33998/processor. Submitted: 01 Maret 2024. Reviewed: 04 April 2024. Accepted. 11 April 2024. Published: 30 April 2024 adalah untuk bahwa metode Usability test Cognitive Walkthrough dapat di pada game ini. Penelitian evaluasi user experience pada game left 4 dead 2 menggunakan Cognitive Walkthrough oleh Muchtar Prawira Sholikhin . dan Evaluasi User experience pada Game Genshin Impact menggunakan Metode Cognitive Walkthrough dan Persona oleh Rafli Irfan Haikal . dipilih sebagai referensi karena memiliki topik serupa dengan penelitian ini, yaitu meneliti aspek user experience suatu game dengan metode Cognitive Walkthrough. Adanya penelitian ini diharapkan untuk mengetahui hasil evaluasi user experience terutama untuk user baru terhadap game Arknights berdasarkan dengan metode Cognitive Walkthrough. METODE PENELITIAN 1 Kerangka Dasar Penelitian Bagian ini menjelaskan tentang langkah-langkah dalam penelitian menggunakan metode Cognitive Walkthrough. Alur Metodologi dalam penelitian ini dimulai dari studi literatur. Tahap kedua merancang Cognitive Walkthrough. Tahap ketiga, melakukan pengujian terhadap game Arknights dengan bantuan responden. Tahap keempat, merangkum serta menganalisis hasil pengujian. Tahap kelima, kesimpulan dan saran. Alur dari metodologi pengujian ini bisa dilihat pada gambar berikut. Gambar 1. Alur metodologi penelitian https://doi. org/10. 33998/processor. Submitted: 01 Maret 2024. Reviewed: 04 April 2024. Accepted. 11 April 2024. Published: 30 April 2024 2 Populasi dan Sampel Populasi dalam penelitian ini adalah para gamer yang berada didaerah kota Jambi. Dan sampel dalam penelitian ini adalah gamer yang belum pernah memainkan game arknights. Jumlah sampel yang diperlukan sebanyak 5 Penentuan karakteristik responden didasarkan pada metode penarikan Judgemental sampling. Judgemental sampling merupakan bentuk penarikan sampel nonprobabilitas yang didasarkan dengan kriteriakriteria tertentu. Penarikan sampel ini terjadi apabila peneliti ingin memilih anggota sampel berdasarkan kriteria Dibawah ini adalah kriteria responden yang telah ditetapkan oleh penulis untuk berpartisipasi dalam penelitian ini: Familiar dengan dunia game. Mempunyai banyak pengalaman memainkan game, baik itu game android, pc ataupun konsol. Belum pernah memainkan game Arknights. 1 Jumlah Responden Pemilihan jumlah responden sebanyak 5 orang tentunya tidak penulis pilih secara sembarangan, pemilihan jumlah responden ini berdasarkan dalam penelitian yang dilakukan oleh Tom Lkitauer dan Jakob Nielsen terkait cara menemukan permasalahan usability, penelitian mereka menunjukkan bahwa jumlah masalah usability yang ditemukan dalam sebuah usability test dengan n pengguna adalah: -L). di mana N adalah jumlah total usability problem dalam desain dan L adalah proporsi usability problem yang ditemukan saat menguji satu pengguna. Nilai tipikal L adalah 31%, rata-rata dari sejumlah besar proyek yang mereka pelajari. Merencanakan kurva untuk L = 31% memberikan hasil sebagai berikut: Gambar 2. Kurva perbandingan jumlah masalah usability yang ditemukan dalam sebuah usability test dengan n Hasil dari kurva yang paling mencolok adalah bahwa nol pengguna ternyata memberikan nol hasil. Segera setelah kita mengumpulkan data dari satu pengguna, hasil yang didapatkan meningkat dan kita telah mempelajari hampir sepertiga dari semua yang perlu diketahui tentang suatu usability. Perbedaan antara nol dan sedikit data sangat mencengangkan(Nielsen & Landauer, 1. Saat kita menguji pengguna kedua, kita akan menemukan bahwa orang ini melakukan beberapa hal yang sama seperti pengguna pertama, jadi ada beberapa tumpang tindih dalam apa yang kita pelajari. Tiap orang pasti berbeda, jadi akan ada juga sesuatu yang baru yang dilakukan pengguna kedua yang tidak kita amati dengan pengguna pertama. Jadi pengguna kedua menambahkan sejumlah wawasan baru, tetapi tidak sebanyak yang dilakukan pengguna pertama (Nielsen & Landauer, 1. Pengguna ketiga akan melakukan banyak hal yang sudah kita amati dengan pengguna pertama atau dengan pengguna kedua dan bahkan beberapa hal yang sudah kita lihat dua kali. Plus, tentu saja, pengguna ketiga akan menghasilkan sejumlah kecil data baru, meskipun tidak sebanyak yang dilakukan pengguna pertama dan kedua (Nielsen & Landauer, 1. Saat kita menambahkan lebih banyak pengguna, kita belajar lebih sedikit karena kita akan terus melihat hal yang sama berulang kali. Tidak perlu terus mengamati hal yang sama beberapa kali, dan kita akan sangat termotivasi untuk kembali ke papan gambar dan mendesain ulang situs untuk menghilangkan masalah kegunaan. Setelah pengguna kelima, kita membuang-buang waktu dengan mengamati temuan yang sama berulang kali tetapi tidak mempelajari banyak hal baru (Nielsen & Landauer, 1. 3 Tahapan Penelitian https://doi. org/10. 33998/processor. Submitted: 01 Maret 2024. Reviewed: 04 April 2024. Accepted. 11 April 2024. Published: 30 April 2024 Tahapan-tahapan dalam perancangan scenario cognitive walkthrough ini didefinisikan ke dalam beberapa tahapan berikut (Bligyurd & Osvalder, 2. 1 Seleksi dan Pemeringkatan Tugas Tahap ini peneliti akan menyeleksi tugas apa saja yang akan dimasukkan ke dalam pengujian. Setelah mendapatkan daftar tugas yang akan diuji, dilakukan pemeringkatan terhadap masing-masing tugas. Hal ini sangat penting karena akan sangat mempengaruhi hasil dari evaluasi. Tugas-tugas yang diambil bisa beragam. Mulai dari tugas yang paling penting, hingga tugas yang paling jarang dipakai. Tabel 2. Daftar tugas Task Login Arknights Grade Selesaikan beberapa stage Upgrade salah satu Operator Lakukan Gacha (Recruit & Headhun. Ganti Assistant Lakukan Setting game dan volume (Sound & Voic. Lihat Archive Atur Profile dan support unit Beli item dari store Mainkan fitur Base Ambil hadiah dari Daily Mission Logout Arknights Tabel 1 menunjukkan urutan tugas yang akan dikerjakan oleh responden. Grade 1 berarti tugas tersebut paling penting. Jika tugas tersebut tidak dijalankan, maka game tidak akan bisa dimulai. Grade 5 berarti paling tidak penting, yang artinya tidak berpengaruh apa-apa jika tugas tersebut tidak dijalankan. 2 Spesifikasi Tugas Tahap selanjutnya adalah menspesifikasikan tugas dengan menentukan jalan yang tepat untuk mencapai masingmasing tugas yang sudah disebutkan dengan bantuan Hierarchical Task Analysis (HTA). Gambar 3. HTA Homescreen Arknights Sebelum lebih lanjut ke spesifikasinya, ditampilkan terlebih dahulu 3 hal utama dari homescreen game ini. Gambar 3 menampilkan HTA dari Homescreen game Arknights, terdiri dari 3 bagian menu utama, mulai dari node gameplay, resources dan player information. Node gameplay merupakan bagian yang menampilkan fiturfitur untuk memasuki tahapan bermain didalam game, node Resources menampilkan fitur-fitur yang menunjukkan sumber daya yang dimiliki pemain, dan terakhir node player information menampilkan hal-hal https://doi. org/10. 33998/processor. Submitted: 01 Maret 2024. Reviewed: 04 April 2024. Accepted. 11 April 2024. Published: 30 April 2024 yang berkaitan dengan informasi player, mulai dari pengaturan, profil hingga teman. Masing-masing dari node utama ini mempunyai turunan lagi untuk node berikutnya. Gambar 4. HTA Homescreen Bagian Resources Gambar 3 menunjukkan HTA dari bagian Resources. Bagian ini akan mengarahkan player ke menu-menu yang berhubungan dengan sumber daya permainan, mulai dari item-item dasar, kurensi, mata uang dan beberapa item Dalam node resources terdapat beberapa turunannya lagi, yaitu Store. Recruitment. Mission. Base, dan Depot. Gambar 5. HTA Menu Store Gambar 4 merupakan turunan dari fungsi menu play game. HTA ini menggambarkan proses yang ada dalam menjalankan tugas dalam menu yang berhubungan dengan store, yaitu membeli item. 3 Spesifikasi User Interface Langkah selanjutnya adalah menggambarkan spesifikasi dalam bentuk User Interface, dalam hal ini screenshoot. Dengan begitu dimungkinkan untuk menjalankan masing-masing tugas bagi setiap responden. Wajib dijelaskan tugas pengguna pada masing-masing screenshoot dengan detail. Hal ini digunakan sebagai patokan utama ketika pengguna/responden menjalankan tugasnya. 4 Memprediksi Permasalahan Usability Responden diberikan pertanyaan dengan dua level. Level pertama disebut analisis fungsi. Berguna untuk mengevaluasi fungsi secara lebih utuh. Level kedua disebut analisis operasi. Berfungsi untuk mempelajari bagaimana aplikasi bisa mengarahkan pengguna/responden untuk menggunakan fungsi dengan benar. Berikut daftar pertanyaan yang akan diberikan kepada pengguna dalam proses Cognitive Walkthrough: Level 1: Analisis fungsi. Akankah responden tahu fungsi yang sedang dievaluasi ada? Akankah responden mampu melihat bahwa fungsinya tersedia? Akankah responden mengkaitkan antara petunjuk dengan fungsinya? Akankah responden mendapatkan respon yang cukup ketika menggunakan fungsi tersebut? Akankah responden mendapatkan respon yang cukup bahwa fungsinya sudah terlaksana? Level 2: Analisis operasi. Akankah responden mencapai tujuan yang benar dalam operasi tersebut? Akankah responden dapat melihat bahwa aksi dalam operasi tersebut ada? Akankah responden mengkaitkan aksi dengan tujuan yang sebenarnya? Akankah responden bisa melakukan aksi dengan tepat? Akankah responden mendapatkan respon yang cukup? https://doi. org/10. 33998/processor. Submitted: 01 Maret 2024. Reviewed: 04 April 2024. Accepted. 11 April 2024. Published: 30 April 2024 5 Pemeringkatan Jawaban Pertanyaan dalam sub bab sebelumnya akan dijawab oleh responden, kemudian diberikan nilai antara 1 sampai Nilai-nilai tersebut akan merepresentasikan tingkat kesuksesan responden dalam menjalankan masing-masing tugas seperti ada dalam Tabel 2. Tabel 6. Daftar tingkatan jawaban Nilai Nilai dalam Kata Penjelasan Iya Kemungkinan berhasil besar Iya, mungkin Mungkin dapat berhasil Tidak tahu Antara berhasil dan tidak Tidak, tidak pasti Kemungkinan berhasil kecil Tidak Sangat sulit untuk berhasil 6 Mengkategorikan Permasalahan Dalam pengujian yang dilakukan, permasalahan-permasalahan yang muncul akan di bedakan atau dikelompokkan menjadi beberapa tipe permasalahan. Hal ini dilakukan agar lebih mudah pada saat melakukan proses analisis hasil. Tabel 7. Daftar kategori tipe permasalahan Tipe Masalah (PT) User (U) Hidden (H) Text and icon (T) Sequence (S) Physical Demand (P) Feedback (F) Penjelasan Sumber Masalah berasal dari pengalaman dan pengetahun responden, bisa jadi karena responden lebih familiar dengan peralatan/aplikasi yang lain. Interface tidak memberikan indikasi bahwa fungsi tersebut ada atau tidak ada petunjuk sebagaimana fungsi tersebut digunakan. Penempatan, penampilan dan konten bisa dengan mudah disalahartikan atau tidak dimengerti. Fungsi dan operasi harus dilakukan dalam urutan yang tidak biasanya. Interface membutuhkan keahlian yang terlalu tinggi bagi responden. Seperti kecepatan fisik, motorik, dan Interface memberikan indikasi yang tidak jelas tentang apa yang sedang responden lakukan atau sudah lakukan. Muncul dari pertanyaan 1 dan 3 Muncul dari Muncul dari Muncul dari Muncul dari pertanyaan 4 (Level Muncul dari pertanyaan 4 (Level fungs. HASIL DAN PEMBAHASAN 1 Hasil Penelitian Pada bab ini akan dijelaskan secara rinci langkah-langkah yang dilakukan dalam mengerjakan evaluasi user experience menggunakan metode cognitive walkthrough pada game Arknights. Hasil dari pengujian terhadap responden akan dihitung dan dijabarkan dalam bentuk matriks yang diberi penjelasan untuk membantu pemahaman yang lebih rinci. Matriks A: Problem Seriousness (PS) vs Task Importance (TI) Matriks A (Problem Seriousness vs Task Importanc. menunjukkan apakah ada permasalahan usability pada interface game yang bisa menghalangi tujuan penggunaan yang dimaksud dari game. Jika ada banyak masalah di sudut kiri atas matriks, berarti ada masalah serius dalam tugas-tugas penting. Jika masalahnya ada di bagian bawah matriks, itu berasal dari tugas yang kurang penting, dan jika ada di bagian kanan, tidak terlalu serius. https://doi. org/10. 33998/processor. Submitted: 01 Maret 2024. Reviewed: 04 April 2024. Accepted. 11 April 2024. Published: 30 April 2024 Tabel 5. Rata-rata Problem Seriousness (PS) vs Task Importance (TI) Untuk mendapatkan hasil rata-rata adalah dengan menjumlahkan tiap permasalahan yang ada pada tiap sel tabel, kemudian dibagi dengan jumlah responden, yaitu lima. Hasil rata-rata = Misalnya, pada sel PS (Problem Seriousnes. 4 dan TI (Task Importanc. 1 terdapat total 5 permasalahan yang ditemukan, maka: Hasil rata-rata = Hasil rata-rata yang ditunjukkan oleh tabel 4 menunjukkan bahwa keseluruhan pengguna mengalami kesulitan yang cukup signifikan dalam task importance 2 dengan rata-rata paling tinggi . dibandingkan dengan yang lainnya. Masalah tersebut berasal dari task 2 (Menyelesaikan stag. , task 3 (Upgrade operato. dan 4 (Melakukan gach. Akan tetapi masalah yang didapatkan responden paling banyak berada pada level 4, yang bukan sebuah angka yang signifikan, tetapi perlu diperhitungkan demi kesempurnaan game. Matriks B: Problem Seriousness (PS) vs Problem Type (PT) Matriks B menunjukkan problem seriousness vs problem type. Matriks ini memberikan gambaran tentang jenis masalah apa yang ada pada interface game dan seberapa seriusnya masalah tersebut. Matriks ini menunjukkan bahwa sebagian besar masalah menyangkut pada penandaan tombol, tetapi masalah yang paling serius berkaitan dengan feedback. Dengan mempelajari angka-angka di setiap matriks, dimungkinkan untuk menemukan pola, melihat seberapa serius masalahnya, dan memahami jenis masalah apa yang ditimbulkan oleh desain interface game nya. Tabel 6. Rata-rata Problem Seriousness (PS) vs Problem Type (PT) Hasil rata-rata yang ditunjukkan oleh tabel 5 di atas, membuktikan bahwa beberapa kesalahan yang dialami oleh responden berasal dari responden sendiri (U). Responden tidak familiar dengan tampilan yang ada di game atau responden belum terbiasa dengan tampilan tersebut. Ada juga tipe permasalahan Text & Icon (T) yang harus diperhatikan, karena juga memiliki nilai problem seriousness yang tidak sedikit. Akan tetapi masalah yang didapatkan responden paling banyak berada pada level 4, yang bukan sebuah angka yang signifikan, tetapi masih perlu diperhitungkan demi kesempurnaan game. Matriks C: Problem Type (PT) vs Task Importance (TI) Matriks C . roblem type vs task importanc. menunjukkan tipe permasalahan mana yang sering muncul terhadap tugas yang paling penting. https://doi. org/10. 33998/processor. Submitted: 01 Maret 2024. Reviewed: 04 April 2024. Accepted. 11 April 2024. Published: 30 April 2024 Tabel 7. Rata-rata Problem Type (PT) vs Task Importance (TI) Hasil rata-rata yang ditunjukkan oleh tabel 6 di atas, membuktikan bahwa beberapa kesalahan yang dialami oleh responden berasal dari tipe permasalahan U dengan nilai 1,8 pada task importance 3. Responden tidak familiar dengan tampilan yang ada di game atau responden belum terbiasa dengan tampilan tersebut. Ada juga tipe permasalahan T yang harus diperhatikan, karena juga memiliki nilai problem seriousness yang tidak sedikit. Matriks D: Problem Seriousness (PS) vs Task Number (TN) Matriks D (Problem Seriousness vs Problem Typ. menunjukkan seberapa serius permasalahan yang ada terhadap tugas-tugas yang dilakukan oleh responden. Tabel 8. Rata-rata Problem Seriousness (PS) vs Task Number (TN) Hasil rata-rata yang ditunjukkan oleh tabel 7 menunjukkan bahwa masalah yang paling banyak terjadi terdapat pada task 3 (Upgrade operato. dengan nilai 2,6. Selain itu, task 2 . enyelesaikan stag. , task 5 (Change assistan. dan task 10 (Fitur bas. juga layak diperhatikan karena juga mempunyai nilai permasalahan yang tinggi. Selebihnya juga terjadi permasalahan ringan untuk setiap task yang ada. Matriks E: Problem Type (PT) vs Task Number (TN) Matriks E (Problem Seriousness vs Problem Typ. menunjukkan tipe permasalahan apa saja yang sering terjadi untuk setiap tugas-tugas yang dilakukan oleh responden. https://doi. org/10. 33998/processor. Submitted: 01 Maret 2024. Reviewed: 04 April 2024. Accepted. 11 April 2024. Published: 30 April 2024 Tabel 9. Rata-rata Problem Type (PT) vs Task Number (TN) Hasil rata-rata yang ditunjukkan oleh tabel 8 menunjukkan bahwa masalah yang paling banyak terjadi merupakan masalah bertipe U, dengan jumlah paling banyak terdapat pada tugas ke 10 dengan nilai 1,8. Tugas tersebut yaitu memainkan fitur base. Rata-rata responden masih kebingungan memahami tentang fitur yang bertemakan base-building, padahal fitur tersebut akan mendukung perolehan material in-game yang akan berguna progress player nantinya. Tipe permasalahan T juga layak untuk diperhatikan, karena nilai permasalahan yag didapat juga tinggi, yaitu 1,6. Tugas yang bersangkutan berhubungan dengan tampilan ikon change assistant yang selalu disalahartikan oleh responden. Ada juga tipe masalah F yang memiliki masalah, responden merasa pop-up yang ditampilkan oleh sistem letaknya terlalu di pojok dan durasinya juga cepat, jadi tidak terlalu sempat melihat arti dari pesan pop-up yang muncul setelah melakukan upgrade operator. 2 Pembahasan Berikut ini adalah hasil dari analisa evaluasi mengenai pemasalahan-permasalahan apa saja yang telah didapatkan dari evaluasi dengan kelima responden terhadap user experience mereka pada game Arknights. Matriks A (Problem Seriousness vs Task Importanc. memberikan informasi mengenai kondisi tampilan game secara umum. Hasil yang didapatkan dari Matriks A adalah sebagai berikut. Rata-rata terjadi permasalahan dengan tingkat keseriusan ringan (PS . , hal ini bisa dilihat pada pola nilai yang semuanya berada pada sisi kanan matriks. Permasalahan terbanyak ada pada Task Importance 2. Tugas tersebut yaitu, task 2 (Menyelesaikan stag. , task 3 (Upgrade operato. dan task 4 (Melakukan gach. Task 3, tepatnya pada ikon skill menjadi sumber permasalahan paling banyak, karena rata-rata responden mengalami hal yang sama pada tugas tersebut. Matriks B (Problem Seriousness vs Problem Typ. Menampilkan permasalahan dalam tampilan game secara keseluruhan. Hasil yang didapatkan dari rata-rata Matriks B adalah sebagai berikut. Tipe permasalahan yang dialami rata-rata berada dalam tingkat keseriusan yang ringan. Tipe permasalahan U dan T menjadi tipe masalah yang paling banyak dialami oleh responden. Secara keseluruhan, tampilan game arknights memiliki permasalahan yang berasal dari User dan tampilan ikonnya. Matriks C (Problem Type vs Task Importanc. Menampilkan masalah mana yang paling penting untuk Hasil yang didapatkan dari rata-rata Matriks C adalah sebagai berikut. Masalah yang terjadi berada pada taraf keseriusan ringan. Tipe Permasalahan U terjadi pada tiap Task Importance. Task importance 2 menyumbang banyak tipe permasalahan. Task Importance 3 menjadi masalah yang paling penting untuk diperbaiki karena memiliki hasil nilai lebih besar dari yang lain . Dalam hal ini, tugas yang dimaksud adalah tugas 10 (Fitur Bas. Tipe permasalahan T dan F juga patut diperhatikan karena memiliki nilai yang hampir mendekati Matriks D (Problem Seriousness vs Task Numbe. Menampilkan tugas mana yang memiliki permasalahan paling banyak. Hasil yang didapatkan dari rata-rata Matriks D adalah sebagai berikut. Rata-rata tugas yang diberikan memiliki tingkat keseriusan masalah yang ringan. https://doi. org/10. 33998/processor. Submitted: 01 Maret 2024. Reviewed: 04 April 2024. Accepted. 11 April 2024. Published: 30 April 2024 Tugas 3 (Upgrade Operato. merupakan tugas yang memiliki permasalahan paling banyak dengan nilai 2,6. Tugas 2 (Menyelesaikan tas. , 5 . hange assistan. dan 10 (Mainkan fitur bas. juga patut diperhitungkan karena memiliki nilai permasalahan yang tinggi. Matriks E (Problem Type vs Task Numbe. Menampilkan tipe permasalahan apa saja yang umum muncul didalam tugas-tugas. Hasil yang didapatkan dari rata-rata Matriks E adalah sebagai berikut. Tipe permasalahan U merupakan tipe masalah yang paling sering muncul pada beberapa tugas. Task 10 mempunyai nilai permasalahan tipe U paling tinggi. Task 3 memiliki jumlah tipe permasalahan terbanyak (U. T dan F). Tipe pemasalahan T terjadi paling banyak pada task 5. Dari keseluruhan matriks bisa dilihat beberapa bagian dengan permasalahan ringan yang sering dialami oleh responden, yaitu sebagai berikut. Penempatan ikon upgrade skill Gambar 6. Ikon upgrade skill Hasil dari evaluasi menunjukkan bahwa penempatan fungsi upgrade skill yang kecil dan menggunakan ikon skill dari operator membuat responden mengalami sedikit kesulitan untuk melihat fungsi tersebut. Durasi dan pesan pop-up Gambar 7. Pop-up message Arknights memberikan feedback sistem yang bagus untuk setiap aksi yang dilakukan oleh responden, tapi feedback tersebut muncul dibagian ujung kanan layar dengan ukuran notifikasi yang kecil dan durasi yang cepat, hal ini membuat responden merasa sedikit tidak nyaman. Ikon change assistant https://doi. org/10. 33998/processor. Submitted: 01 Maret 2024. Reviewed: 04 April 2024. Accepted. 11 April 2024. Published: 30 April 2024 Gambar 8. Ikon change assistant Penempatan ikon change assistant yang berukuran kecil membuat responden tidak bisa melihat fungsi dari ikon tersebut, ditambah bentuk ikonnya yang membuat responden mengira itu adalah fungsi Hal ini membuat responden menyalah artikan maksud dari fungsi tersebut. Refresh tag saat gacha recruitment Gambar 9. Fungsi refresh tag Fungsi diatas sedikit mengalami permasalahan ringan, yaitu waktu gacha yang ikut refresh. Jadi, saat responden telah mengatur waktu, misalnya dengan durasi 9 jam, dan responden melakukan refresh tag untuk mencari tag yang sesuai, waktu gacha juga ikut refresh kembali ke 1. Hal ini tidak menganggu kinerja game, tapi fungsi kecil seperti ini juga harus diperhatikan. Fitur Base Gambar 10. Fitur base https://doi. org/10. 33998/processor. Submitted: 01 Maret 2024. Reviewed: 04 April 2024. Accepted. 11 April 2024. Published: 30 April 2024 Fitur Base merupakan tugas yang mengalami banyak masalah bertipe U, yang mana masalah memang berasal dari pengetahuan dan pengalaman dari responden itu sendiri. Meski fitur base telah dirancang sedemikian rupa, fitur tersebut masih sulit dipahami khususnya oleh pengguna baru. Hal ini membuktikan tipe base-building masih kurang diminati oleh beberapa orang. Secara keseluruhan game Arknights mudah untuk dimainkan, khususnya bagi pengguna baru dikarenakan tidak ada masalah yang serius pada fungsi utama dalam game, dengan rata-rata tingkat permasalahan yang muncul adalah ringan dan tidak mempengaruhi fungsi utama dalam game, baik itu dari segi gameplay, fitur dan KESIMPULAN Berdasarkan hasil dan pembahasan yang telah diuraikan dalam penelitian ini, penulis memperoleh pemahaman yang mendalam tentang penerapan metode Cognitive Walkthrough sebagai salah satu metode evaluasi. Temuan penelitian menunjukkan bahwa user experience yang dialami oleh pengguna baru pada game Arknights memiliki tingkat kepuasan yang tinggi. Hasil evaluasi mengindikasikan bahwa rata-rata tingkat permasalahan pada setiap matriks analisis berada pada tingkat rendah. Metode ini sukses mengidentifikasi beberapa kelemahan atau masalah dalam game Arknights berdasarkan tanggapan kelima responden. Ketika melihat hasil evaluasi, permasalahan yang diidentifikasi memiliki tingkat keseriusan yang umumnya rendah. Hal ini menunjukkan bahwa aspek tampilan, fitur, dan gameplay Arknights telah berhasil memberikan pengalaman positif kepada calon pemainnya. Permasalahan yang diidentifikasi umumnya tergolong ringan dan dapat dikategorikan sebagai masalah tipe "U" (Use. dan "T" (Text & ico. Masalah tipe "U" muncul dari pengalaman dan pengetahuan individual responden, sementara masalah tipe "T" berkaitan dengan tampilan teks dan ikon dalam game. Dalam konteks tugas yang dinilai, tugas nomor 3 (Upgrade operato. , 5 (Change assistan. , dan 10 (Fitur Bas. merupakan tugas yang paling sering menghadapi permasalahan menurut hasil evaluasi. Meskipun demikian, permasalahan yang diidentifikasi dalam tugas-tugas tersebut masih dapat dianggap sebagai permasalahan ringan. Keseluruhan, metode Cognitive Walkthrough telah membantu menggali informasi berharga tentang pengalaman pengguna baru dalam berinteraksi dengan game Arknights. Dengan adanya temuan ini, diharapkan pengembang game dapat melakukan perbaikan yang lebih baik lagi untuk menghadirkan pengalaman pengguna yang semakin memuaskan di masa mendatang. REFERENCES