Vol. No. 1, 2022, pp. DOI: https://doi. org/10. 29210/1202221160 Contents lists available at Journal IICET Jurnal EDUCATIO (Jurnal Pendidikan Indonesi. ISSN: 2502-8103 (Prin. ISSN: 2477-8524 (Electroni. Journal homepage: https://jurnal. org/index. php/j-edu Implementasi evaluasi model kirkpatrick terhadap kualitas sistem pembelajaran Effendi M1. Zainuddin Zainuddin2*) dan MS Ahmad2 Universitas Terbuka. Indonesia Universitas Khairun. Indonesia Article Info ABSTRACT Article history: Received Oct 12 , 2021 Revised Nov 17th, 2021 Accepted Des 23rd, 2021 Keyword: Model kickpatrick Kualitas sistem pembelajaran Penelitian ini bertujuan untuk mengetahui dan menganalisis persepsi mahasiswa UPBJJ-UT Ternate atas kualitas pembelajaran di Universitas Terbuka dengan evaluasi Kirkpatrick, dan pendekatan deskriptif kuantitatif dengan tujuan untuk mendiskripsikan objek penelitian ataupun hasil Populasi dalam penelitian ini adalah Mahasiswa UPBJJ-UT. Teknik sampling yang digunakan adalah non probability sampling, dengan menggunakan metode proporsional random sampling. Dengan Jumlah sampel dalam penelitian ini adalah 232 mahasiswa yang teregistrasi pada tahun Teknik pengumpulan data menggunakan angket. Dengan Analisis deskriptif kuantitaif. Hasil dari penelitian menunjukkan bahwa Pada Reaction Level, mahasiswa menunjukkan tingkat kepuasan atas kesesuaian materi dengan modul/BMP dan pelayanan administrasi di UT, namun merasa perlu perbaikan pada feedback tutor, keaktifan tutor dalam forum diskusi . utorial onlin. dan lemahnya koneksi jaringan internet utamanya di Bobong. Pada Learning Level, mahasiswa puas dengan relevansi materi dalam kehidupan sehari-hari. Namun mahasiswa merasa sulit mengakses informasi tentang UT di daerah kepulauan. Pada Behavior Level, mahasiswa merasa puas atas proses tutorial di UT baik TTM/Tuton maupun Tuweb, mahasiswa juga tidak ragu membagikan pengalaman tutorialnya kepada orang-orang Namun yang masih perlu menjadi perhatian UPBJJ-UT Ternate yaitu sarana dan prasarana yang menunjang proses pembelajaran utamanya di daerah kepulauan seperti Bobong. Pada Result Level, mayoritas mahasiswa merasa pengetahuan maupun pengalaman mereka meningkat setelah mengikuti tutorial. A 2022 The Authors. Published by IICET. This is an open access article under the CC BY-NC-SA license . ttps://creativecommons. org/licenses/by-nc-sa/4. Corresponding Author: Zainuddin Zainuddin. Universitas Khairun Email: zainudin@unkhair. Pendahuluan Universitas Terbuka (UT) dikenal di dunia pendidikan sebagai salah satu universitas yang menawarkan sebuah sistem belajar jarak jauh, yang disesuaikan dengan kebutuhan dari mahasiswa. Selain itu. UT juga merupakan salah satu universitas yang masuk dalam jajaran Perguruan Tinggi unggulan di Indonesia sehingga evaluasi sistem pembelajaran selalu di laksanakan demi meningkatkan kualitas pembelajaran pada UT itu Efendi. , et al. Jurnal EDUCATIO (Jurnal Pendidikan Indonesi. Vol. No. 1, 2022, pp. Menurut (Kunandar, 2. Evaluasi merupakan bagian penting dari proses pembelajaran. Guru dapat mengumpulkan informasi terkait data evaluasi yang menyangkut tingkat penguasaan siswa, seperti pelaksanaan pekerjaan rumah, materi, dll, serta observasi kegiatan dalam pelaksanaan kegiatan belajar Tujuannya tidak hanya untuk mengetahui kinerja siswa, tetapi juga untuk meningkatkan kualitas proses pembelajaran. Tentunya hal ini perlu dilakukan secara holistik dan berkelanjutan. Penelitian ini dilakukan di UPBJJ-UT Ternate dengan fokus pada daerah dengan jumlah kegiatan belajar terbanyak yaitu Kota Ternate dan Pulau Taliabu yang berpusat di UPBJJ UT Ternate. Pulau Taliabu merupakan kabupaten terjauh dari Ibu Kota Maluku Utara. UPBJJ-UT Ternate merupakan salah satu cabang dari universitas terbuka yang cakupan wilayah masing-masing daerah hanya dapat dicapai melalui transportasi laut dan udara. Berbagai masalah atau kendala yang dihadapi dalam tutorial antara lain: jarak dari lokasi tutorial, sarana transportasi yang terbatas, sumber daya manusia . yang terbatas di daerah tersebut, dan sarana komunikasi yang kurang memadai. Permasalahan TTM yang terjadi di UPBJJ-UT Ternate mendorong peneliti untuk menggunakan metode evaluasi model Kirkpatrick untuk mengevaluasi sistem pembelajaran UPBJJ-UT Ternate. Model Kirkpatrick Model evaluasi yang dikembangkan oleh Kirkpatrick disebut dengan Aufour levelAy atau evaluasi Kirkpatrick (Kirkpatrick, 1. Evaluasi yang dilakukan pada sistem pembelajaran meliputi empat tingkatan evaluasi, yaitu: evaluasi reaksi, pembelajaran, perilaku dan hasil. Tahap pertama, atau tingkat respon, mengevaluasi respon peserta berupa perasaan, pemikiran dan keinginan tentang pembelajaran, pendampingan dan pelaksanaan lingkungan belajar. Tingkat tanggapan dirancang untuk mengukur dan mengevaluasi tanggapan peserta terhadap rencana pembelajaran. Tahap reaksi mengukur kepuasan peserta terhadap layanan bantuan pembelajaran yang telah mereka ikuti. Kepuasan yang dimaksud adalah kepuasan terhadap pelaksanaan tutor secara keseluruhan, materi tutorial, materi tutorial, fasilitas, dan layanan bantuan Asumsi dasar pada tahap ini adalah jika siswa tidak menyukai tutorial, maka sangat sedikit pekerjaan dalam pembelajaran dan penerapan materi yang telah mereka peroleh dalam proses pembelajaran. Oleh karena itu kepuasan menjadi dasar motivasi belajar. Tahap kedua atau tingkat pembelajaran mengukur proses pembelajaran, yaitu transfer pembelajaran. Tingkat pembelajaran terkait dengan pembelajaran. Pada tahap ini pembelajaran mengacu pada sejauh mana peserta mengubah sikap, menambah pengetahuan atau meningkatkan keterampilan karena mengikuti. Penilaian tersebut meliputi pengetahuan, keterampilan dan sikap peserta sebelum dan sesudah tutorial ini. Tahap ketiga, tingkat perilaku, merupakan evaluasi perilaku, yaitu derajat perubahan perilaku yang disebabkan oleh keikutsertaan mahasiswa dalam program layanan konseling. Tujuan pada tahap ini adalah untuk memastikan bahwa tutorial berdampak positif pada kinerja siswa. Singkatnya, kami akan menganalisis apakah siswa menggunakan pengetahuan, kemampuan, atau kebiasaan belajar mereka berdasarkan pengetahuan yang dipelajari dalam tutorial ini. Penilaian pada tahap ini juga akan menjelaskan perbedaan antara apa yang telah mereka pelajari sebelum dan sesudah tutorial ini. Tahap empat, atau tingkat kinerja, bertujuan untuk mengukur sejauh mana kurikulum telah membantu mencapai tujuan organisasi yang telah ditetapkan sebelumnya. Pada tahap ini ia harus mampu menjawab pertanyaan Auapa hasil yang diharapkan dari pembelajaran yang dilaksanakan? Jika memungkinkan, pada tahap sebelum tutorial ini terdapat data tentang tujuan yang ingin dicapai sebagai hasil akhir setelah tutorial, dan pencapaiannya akan dibandingkan dalam evaluasi tahap ini. Terdapat beberapa kondisi yang membuat sulit untuk melakukan evaluasi pada level ini, diantaranya kondisi dimana apa yang diharapkan dari pembelajaran tidak dapat diamati. Selain itu, terdapat kondisi dimana data yang digunakan sebagai acuan untuk mencapai tujuan tidak tersedia atau data tidak akurat. Berdasarkan uraian model evaluasi Kirkpatrick di atas, maka fokus evaluasi penelitian ini meliputi masukan, proses dan keluaran sistem pembelajaran. Hasil penelitian Hiariey . menemukan bahwa kegiatan TTM yang meliputi kegiatan awal, kegiatan inti, dan kegiatan akhir telah dilaksanakan dengan benar sesuai dengan ketentuan yang ditetapkan UT. Sedangkan kendala dalam pelaksanaan tutorial ini adalah jarak, transportasi, sumber daya manusia . dan metode komunikasi yang terbatas. Dalam konteks ini, masalah penelitian penulis dapat dikemukakan sebagai berikut. : . Bagaimana pendapat mahasiswa UPBJJ-Universitas Terbukaa Ternate terhadap kuaalitas sistem pembelajaran di UT?. Bagaimana implementasi evaluasi model Kirkpatrick terhadap kualitas sistem pembelajaran di Universitas Terbuka UPBJJ-UT Ternate. Menurut Davis dan Goetsch . yang dikutip oleh Tjiptono . 2: . , kualitas ialah Ausuatu kondisi tidak tetap yang berhubungan dengan SDM, suatu produk service. , proses, dan lingkungan yang memenuhi atau melampaui harapanAy. Journal homepage: https://jurnal. org/index. php/j-edu Implementasi evaluasi model kirkpatrick terhadap kualitas . Sistem pendidikan tinggi yang kutip oleh Ralph G. Lewis . merupakan model sistem terbuka, yang merupakan fungsi inti dari pembelajaran mahasiswa. Penilaian Universitas Terbuka terkait kualitas sistem pembelajaran meliputi input, proses dan output. Masukan meliputi karakteristik mahasiswa, dosen dan staf, sumber pendanaan, fasilitas, rencana dan layanan pendukung. Proses konversi meliputi desain, termasuk input, prosedur atau metode yang digunakan dalam penelitian. Serta menyediakan fasilitas beljar mengajar dan system, termasuk menganalisis dan umpan balik. Output meliputi prestasi akademik mahasiswa, kinerja lulusan, dan prestasi karyawan. Holmberg . 5, hlm. Jelaskan bahwa tujuan tutorial PJJ ialah: . untuk merangsang minat dan memotifasi siswa melalui kontak dengan tutor/pengajar atapun konselor, . untuk meningkatkan dan mempromosikan siswa untuk belajar menerapkan pengetahuan dan keterampilan untuk pemeriksaan dalam menyelesaikan tugas, dan Instruktur mendiskusikan dan membuat koreksi berdasarkan feedback dan komentar dari instruktur, . memberikan setiap siswa kesempatan untuk mengembangkan keterampilan berpikir, . mengukur kemajuan setiap siswa. Metode Penelitian ini rencananya akan dilaksanakan di UPBJJ-UT Ternate mulai Juni 2020 hingga September 2020. Laboratorium akan menyelenggarakan tatap muka tutorial yaitu Kota Ternate dan Kabupaten Pulau Taliabu. Kedua lokasi ini dipilih karena merupakan daerah / kota yang paling banyak dilakukan kuliah tatap muka. Dalam penelitian ini, jenis data yang akan di gunakan terbagi menjadi duah,yaitu data mentah dan data tambahan atau pendukung, yang mana datah mentah merupakan data yang didapatkan / diperoleh langsung dari sumber yang asli,seperti kusisioner, hasil wawancara dll sedangakan data pendudukung ialah data yang di peroleh dari dari sumber lain atau refferensi dari penelitian sebelumnya. Data tambahan untuk penelitian ini antara lain: data dari Universitas Terbuka tentang profil universitas dan data jumlah mahasiswa dari peroleh dari situs web UT. Populasi dalam penelitian ini adalah Mahasiswa UPBJJ-UT Ternate yang teregistrasi untuk mengikuti perkuliahan tatap muka baik di Kota Ternate, dan Pulau Taliabu. Teknik sampling yang digunakan adalah non probability sampling, dengan menggunakan metode proporsional random sampling. Sampel penelitian dibatasi pada mahasiswa yang saat penelitian telah berada pada minimal tingkat semester empat. Alasannya karena mahasiswa di tahap ini dianggap telah mengetahui proses belajar mengajar di universitas terbuka secara keseluruhan besaran sampel yang akan digunakan yaitu 232 orang, ditunjukan pada tabel berikut: Tabel 1. Sampel Penelitian Kabupaten/Kota Jumlah Mahasiswa Sampel Ternate Pulau taliabu Total Sumber: UPBJJ-UT Ternate Dalam penelitian ini pengumpulan data utama dilakukan melalui wawancara terstruktur dengan menggunakan kuesioner sebagai alat pengumpul data. Bentuk pertanyaan merupakan gabungan dari pertanyaan tertutup dan pertanyaan terbuka. Dalam pertanyaan tertutup, skala pengukuran menggunakan skala 5-liket Pengambilan data dalam penelitian ini menggunakan kuesioner. Dalam kuisioner ini terdapat peryataan untuk memperoleh informasi tentang proses pembelajaran UT, yang disusun berdasarkan aturan skala likert. Skala likert mengandung 5 tingkatan pernyataan responden, dimulai dengan pernyataan sangat tidak setuju, tidak setuju, cukup setuju, setuju dan sangat setuju. analisis deskriptif digunakan dalam penelitian ini dengan cara mengdeskripsiken data, berguna untuk mengambarkan karakteristik . ariabel, proses, kondisi, dan data Penelitian akan menerapkan analisis satu dimensi. Untuk menguji kualitas/effektif dan keandalan alat yang digunakan, dan untuk menghitung pengumpulan data menggunakan media SPSS 25. Uji validitas digunakan untuk mengukur hasil dari tingkat validasi kuesioner. Dengan menggunakan analisis faktor. Yang berfungsi untuk mengfilterisasi variabelAevariabel dalam indeks, dan memeriksa reliabilitas alat penelitian. Nilai faktor pembebanan atau nilai () dan nilai efektifnya menunjukkan keberlakuan atau satu dimensi ukuran dan variabel pembentuk indeks. Indikator dengan load factor O 0,3 atau Journal homepage: https://jurnal. org/index. php/j-edu Jurnal EDUCATIO (Jurnal Pendidikan Indonesi. Efendi. , et al. Vol. No. 1, 2022, pp. nilai p lebih besar dari 0,05 tidak dimasukkan dalam model (Ghozali 2013: . Uji reliabilitas berfungsi untuk melihat tingkat keakuratan dan konsistensi suatu kuisioner dari variabel digunakan. Parameternya dapat dilihat jika pertanyaan dari responden konsiten dari awal pentanyaan sampai akhir, maka hasilnya dapat Pengujian reliabilitas hanya dilakukan pada indikator struktural yang telah lolos uji validitas dan dinyatakan valid (Ghozali 2005: . menghitung koefisien Cronbach Alpha () masing-masing. reliable= Ou0. 60 maka hasilnya reliabel, jika hasilnya O0. 0 = tidak reliabel. Tahapan ini berkaitan berkaitan dengan metode pengumpulan data dan model representasi kumpulan data, dengan tujuan memberikan informasi yang berguna. Dalam penelitian ini penggunaan analisis deskriptif adalah analisis deskriptif kuantitatif untuk menguraikan karakteristik penyedia informasi, sedangkan metode evaluasi model Kirkpatrick digunakan untuk menganalisis jawaban pendapat responden terhadap sistem pembelajaran UPBJJ-UT Ternate. Universitas Terbuka. Kirkpatrick (L. Kirkpatric. menggunakan empat model untuk mengklasifikasikan hasil pembelajaran. Keempat model tersebut adalah penilaian respon, penilaian pembelajaran, penilaian perilaku dan penilaian hasil. Penilaian respon. Asesmen ini dilakukan untuk mengukur tingkat respon dan memahami pendapat siswa terhadap proses coaching yang telah . Penilaian pembelajaran. Mengevaluasi pembelajaran untuk mengetahui sejauh mana siswa menyerap materi yang diberikan. Evaluasi perilaku. Evaluasi terhadap perilaku yang diharapkan peserta plan setelah mengikuti proses pembelajaran yaitu perilaku peserta . telah berubah selama proses . Evaluasi hasilnya. Mengevaluasi hasil proses pembelajaran terapan karyanya. Hasil dan Pembahasan Uji Kualitas Data Menggunakan teknik survei kuesioner untuk mengumpulkan data dalam penelitian ini. Oleh karena itu, dua syarat penting yang harus dipenuhi dalam kuesioner yaitu validitas dan reliabilitas agar data dapat digunakan untuk analisis lebih lanjut. Uji Validitas Data Jika pertanyaan dalam kuesioner mengungkapkan apa yang akan diukur kuesioner tersebut, maka kuesioner tersebut dianggap valid. Gunakan analisis butir untuk menguji keefektifan setiap butir dan korelasikan skor setiap butir atau faktor dengan skor total . aitu, jumlah skor setiap buti. Syarat minimal kuesioner yang memenuhi syarat validitas adalah item dengan skor total positif dan Ou 0,30 berkorelasi (Sugiyono, 2. Hasil penggunaan SPSS 25. 0 untuk menguji validitas angket adalah sebagai berikut. Tabel 2. Data pengolahan penelitian Variabel Reaction Level Learning level Item Pertanyaan KoefisienKorelasi Keterangan REA1 REA2 REA3 REA4 REA5 REA6 REA7 0,533 0,536 0,624 0,556 0,695 0,617 0,631 Valid Valid Valid Valid Valid Valid Valid REA8 REA9 REA10 REA11 LEA1 LEA2 LEA3 0,677 0,601 0,647 0,731 0,834 0,861 0,742 Valid Valid Valid Valid Valid Valid Valid LEA4 LEA5 LEA6 0,785 0,717 0,697 Valid Valid Valid Journal homepage: https://jurnal. org/index. php/j-edu Implementasi evaluasi model kirkpatrick terhadap kualitas . Variabel Behavior Level Result level Item Pertanyaan KoefisienKorelasi Keterangan BEH1 BEH2 BEH3 RES1 0,787 0,790 0,780 0,787 Valid Valid Valid Valid RES2 RES3 0,860 0,787 Valid Valid RES4 0,703 Valid Sumber : Data primer diolah. Peneliti 2020 Dapat dilihat dari Tabel 3 bahwa alat dari masing-masing variabel dalam penelitian ini efektif dan dapat digunakan untuk penelitian, karena nilai masing-masing alat lebih tinggi dari nilai signifikansi koefisien korelasi yaitu lebih besar dari 0,30 dan Signifikansi Nilai tersebut lebih rendah dari 0,05 (Sugiyono, 2. Uji Reliabilitas Proses Uji reliabilitas gunakan dengan cara membandingkan nilai koefisien varian () dengan r table. Jika koefisien > r tabel . = reliabel. sebaliknya, jika koefisien () r tabel . , sehingga dapat data tersebut digunakan dalam penelitian atau menguji hipotesis Analisa metode Kirkpatrick menggunkan Empat Model Evaluasi Kirkpatrick Reaction Level Penilaian ini dilakukan untuk mengukur tingkat respon dan bertujuan untuk mengetahui pendapat siswa terhadap rencana pembelajaran yang diikuti. Indikator masalah yang terkait dengan tingkat respons meliputi: relevansi materi dengan BMP, relevansi materi dengan wawasan yang lebih tinggi, aplikasi tutorial yang mudah diakses, koneksi internet dan jaringan komputer, serta penyampaian dan penyediaan materi kepada Umpan balik yang memuaskan tentang kinerja, layanan manajemen UT, penggunaan media pembelajaran, keterjangkauan biaya, perkuliahan, forum diskusi tentang aktivitas tutor dan penerapan materi tes dan materi yang diajarkan Hasil penelitian menunjukkan bahwa dengan mengevaluasi tingkat tanggapan, tingkat kepuasan siswa terhadap sistem pembelajaran dijelaskan sebagai berikut: REACTION LEVEL Sangat tidak Puas 0 3 32 Ternate Tidak Puas Netral Puas Sangat Puas 0 2 12 38 11 Bobong 0 4 43 Gambar 1. Hasil evaluasi dengan Reaction Level Sumber: data primer diolah. Peneliti 2020 Journal homepage: https://jurnal. org/index. php/j-edu Jurnal EDUCATIO (Jurnal Pendidikan Indonesi. Efendi. , et al. Vol. No. 1, 2022, pp. Berdasarkan hasil survey, dari 11 indikator evaluasi reaction level diketahui bahwa secara keseluruhan, sebanyak 61% responden mearasa puas dengan sistem pembelajaran di UT, sebanyak 18 % bahkan merasa sangat puas, 18% lainnya netral dan hanya 2% yang menyatakan tidak puas. Dari pendapat responden, layanan administrasi UT, keterjangkauan biaya kuliah, dan relevansi materi dengan BMP merupakan hal baik yang perlu dipertahankan. Adapun dari 2% responden yang merasa tidak puas disebabkan karena koneksi jaringan internet yang kurang baik khususnya di bobong kepulauan taliabu serta kurangnya feedback yang diberikan tutor dalam tutorial online. Learning Level Evaluasi pada tahap ini dilakukan terhadap pembelajaran untuk mengetahui seberapa tinggi kemampuan mahasiswa dalam menyerap pembelajaran/ tutorial yang telah diberikan. Adapun indikator pertanyaan terkait learning level yaitu tambahan pengetahuan baru dari proses tutorial, tambahan pengalaman melalui proses tutorial, kemampuan mahasiswa dalam mengaplikasikan materi dari tutor, kemampuan mahasiswa dalam mengembangkan pengetahuan dan keterampilan, kemudahan mengakses sistem informasi berdasarkan fasilitas IT, dan kemampuan memperbaiki sikap dari proses tutorial. Adapun hasil penelitian menunjukkan tingkat kepuasan mahasiswa atas sistem pembelajaran dengan evaluasi level learning digambarkan sebagai LEARNING LEVEL Sangat tidak Puas 2 27 28 Tidak Puas Ternate Netral 0 10 41 13 Puas Bobong Sangat Puas Gambar 2. Hasil evaluasi dengan Learning Level Sumber: data primer diolah. Peneliti 2020 Dari grafik di atas, terlihat bahwa secara keselurahan, mayoritas responden menjawab sangat puas atas hasil evaluasi dengan pendekatan learning level model kirckpatrik. Sebanyak 54% responden menyatakan sangat puas, 29% lainnya menyatakan puas, 16% ragu-ragu dan hanya 1% yang merasa tidak puas. Hasil tersebut menggambarkan bahwa mahasiswa merasa bahwa proses pembelajaran di UT memberikan dampak pada perubahan pengetahuan, pengalaman dan sikap mahasiswa. Adapun yang masih menjadi perhatian mahasiswa khususnya di daerah kepualauan seperti Bobong, kesulitan mengakses sistem informasi UT menjadi hal yang perlu diperhatikan. Behavior Level Evaluasi perilaku siswa yang diharapkan setelah mengikuti proses pembelajaran, yaitu perubahan perilaku mengikuti proses dalam lingkungan akademik. Adapun indikator pertanyaan terkait behavior level yaitu kepuasan setelah mengikuti tutorial, kesediaan mahasiswa membagikan informasi dan pengalaman kuliah di UT kepada orang lain, dan kenyamanan atas sarana dan prasarana di UT. Hasil penelitian terkait aktivitas dari behavior level digambarkan sebagai berikut: BEHAVIOR LEVEL Sangat tidak Puas Tidak Puas Netral Puas Sangat Puas Ternate Bobong Gambar 3. Hasil evaluasi dengan Behavior Level Sumber: data primer diolah. Peneliti 2020 Journal homepage: https://jurnal. org/index. php/j-edu Implementasi evaluasi model kirkpatrick terhadap kualitas . Dari hasil persepsi responden, secara keseluruhan tampak hasil yang sangat memuaskan yakni sejumlah 150 responden atau 65% mahasiswa yang puas dengan sistem pembelajaran di UT pada aspek evaluasi behavior level. Adapun 14% lainnya sangat puas, 20% menyatakan ragu-ragu dan hanya 1% lainnya yang tidak puas. Mayoritas responden merasa puas setelah mengikuti tutorial dan bersedia membagikan informasi dan pengalamannya kepada orang lain utamanya di lingkungan terdekatnya. Adapun hal yang masih menjadi catatan yang perlu mendapat perhatian adalah fasilitas sarana dan prasarana pembelajaran di daerah seperti Bobong sehingga mahasiswa merasa nyaman dengan sarana dan prasarana pembelajaran. Result Level Evaluasi pada tahap ini Sesuai dengan hasil proses pembelajaran yang diterapkan, mahasiswa akan berkarya Adapun indikator pertanyaan terkait behavior level yaitu meningkatnya pengetahuan mahasiswa setelah tutorial, meningkatnya pengalaman mahasiswa setelah mengikuti tutorial, semakin baiknya sikap mahasiswa setelah tutorial, dan relevannya materi tutorial dengan kebutuhan dunia kerja. Hasil analisis result level digambarkan sebagai berikut: RESULT LEVEL Sangat tidak Puas 31 106 29 Ternate Tidak Puas Netral Puas 10 37 16 Bobong Sangat Puas Gambar 4. Hasil evaluasi dengan Result Level Sumber: data primer diolah. Peneliti 2020 Dari hasil persepsi responden, secara keseluruhan tampak bahwa 143 responden atau 62% yang menyatakan puas atas sistem pembelajaran di UT, 19% mahasiswa bahkan merasa sangat puas, 18% lainnya ragu-ragu dan hanya 1% lainnya merasa tidak puas dan ini terlihat dirasakan responden di kota Ternate. Kepuasan mayoritas responden atas indikator evaluasi result level dengan model Kirckpatrik memberikan informasi bahwa mayoritas responden merasakan bahwa proses tutorial sangat bermanfaat berupa peningkatan pengetahuan dan pengalaman, relevansi materi tutorial dengan kebutuhan dunia kerja dan yang paling penting perbaikan sikap setelah mengijuti proses tutorial. Simpulan Pada Reaction Level. Hal-hal yang dinilai baik dengan nilai di atas 80% meliputi relevansi materi yang diberikan dengan modul/BMP, kesesuaian materi ujian dengan materi yang diajarkan, layanan administrasi di UT yang sangat baik, dan yang terpenting materi yang diberikan dalam proses tutorial dirasa dapat menambah wawasan baru mahasiswa. Adapun hal-hal yang perlu ditingkatkan dikarenakan persepsi kepuasan mahasiswa kurang dari 75% diantaranya masih kurangnya umpan balik yang diberikan oleh tutor, masih kurang aktifnya tutor dalam forum diskusi . utorial onlin. dan koneksi jaringan internet masih sangat Pada Learning Level, rata-rata nilai evaluasi secara keseluruhan mencapai 83%. Hal yang dirasa paling baik menurut mahasiswa yaitu mahasiswa merasa mampu mengaplikasikan materi yang diberikan tutor dalam kehidupan sehari-hari. Hal ini dirasa tepat karena tutor di Universitas Terbuka tidak hanya sebagai pengajar namun lebih menempatkan dirinya sebagai fasilitator dan motivator bagi mahasiswa. Adapun hal yang masih perlu ditingkan pada level evaluasi ini yaitu mahasiswa masih kesulitan untuk mengakses informasi tentang UT berdasarkan fasilitas yang disiapkan oleh UPBJJ-UT Ternate. Pada Behavior Level, rata-rata nilai evaluasi secara keseluruhan mencapai 79%. Hal-hal yang dirasa baik yaitu mahasiswa merasa puas dan senang mengikuti proses tutorial di UT baik TTM/Tuton maupun Tuweb, demikian juga mahasiswa tidak ragu membagikan pengalaman tutorialnya kepada orang-orang disekitarnya. Namun yang masih perlu menjadi perhatian UPBJJ-UT Ternate yaitu sarana dan prasarana yang menunjang proses pembelajaran utamanya di daerah kepulauan seperti Bobong. Persepsi mahasiswa terkait kenyamanan atas sarana dan prasarana penunjang tutorial di pokjar Bobong hanya mencapai 56%. Journal homepage: https://jurnal. org/index. php/j-edu Efendi. , et al. Jurnal EDUCATIO (Jurnal Pendidikan Indonesi. Vol. No. 1, 2022, pp. Pada Result Level, rata-rata nilai evaluasi secara keseluruhan mencapai 81%. Hal-hal yang dinilai baik oleh mahasiswa pada level ini yaitu pengetahuan maupun pengalaman mahasiswa meningkat setelah mengikuti tutorial. Selain itu mahasiswa berpendapat bahwa materi yang diperoleh selama tutorial sangat relevan dengan dunia kerja. Namun mengenai perubahan sikap yang menjadi lebih baik tidak hanya ditentukan lewat proses tutorial saja namun bisa juga ditentukan dari pergaulan sehari dari keluarga dan lingkungan tempat tinggal. Saran yang dapat dikemukakan adalah perlu dilakukan penelitian serupa, dan hasil penelitian tersebut dapat digunakan sebagai bahan perbandingan dalam pengambilan keputusan manajemen. Penelitian tersebut diperlukan dalam meningkatkan sumber data yang nantinya akan digunakan oleh pengelola UT . hususnya UPBJJ-UT Ternat. untuk mengambil langkah-langkah strategis dalam meningkatkan proses pembelajaran UPBJJ-UT Ternate. Referensi