Infotekmesin Vol.
No.
Juli 2025 p-ISSN: 2087-1627, e-ISSN: 2685-9858 DOI: 10.
35970/infotekmesin.
2808, pp.
Pemanfaatan Algoritma Random Forest Regression dalam Memprediksi Kepuasan Mahasiswa Terhadap Dosen Rostika Listyaningrum1*.
Riyadi Purwanto2.
Dwi Novia Prasetyanti3.
Cahya Vikasari4.
Artdhita Fajar Pratiwi5 1, 2, 3,4Program Penelitian Teknik Informatika.
Politeknik Negeri Cilacap 5Program Penelitian Teknologi Rekayasa Mekatronika.
Politeknik Negeri Cilacap 1,2,3,4,5Jln.
Dr.
Soetomo No.
1 Karangcengis Sidakaya.
Kabupaten Cilacap, 53212.
Indonesia E-mail: li_sa007@pnc.
id1, riyadi_purwanto@pnc.
id2, dnprasetyanti@pnc.
id 3, cahyavikasari@pnc.
ardhita@pnc.
Abstrak Info Naskah:
Naskah masuk: 9 Juni 2025 Direvisi: 7 Juli 2025 Diterima: 14 Juli 2025 Kepuasan mahasiswa terhadap dosen merupakan indikator utama dalam menilai kualitas pembelajaran di perguruan tinggi.
Sayangnya, pendekatan evaluasi yang umum digunakan masih bersifat deskriptif dan subjektif, sehingga kurang efektif untuk mendukung perbaikan berkelanjutan.
Selain itu, pemanfaatan indikator kompetensi dosen secara menyeluruh dalam model prediksi masih terbatas.
Penelitian ini mengisi kekosongan tersebut dengan mengembangkan model prediksi kepuasan mahasiswa menggunakan algoritma Random Forest Regression yang dioptimalkan melalui grid search dan seleksi fitur dengan metode Recursive Feature Elimination yang dikombinasikan dengan validasi silang 5-fold.
Data diperoleh dari sistem EDOM Politeknik Negeri Cilacap, mencakup 24 indikator berdasarkan standar kompetensi dosen dan dianalisis menggunakan perangkat lunak R.
Model terbaik diperoleh dengan parameter mtry = 1 dan ntree = 300, menghasilkan nilai RMSE 0,0222.
MAE 0,0118, dan RA 0,9959.
Tiga indikator utama yang paling berpengaruh adalah pemberian tugas terstruktur, keragaman metode pembelajaran, dan ketepatan kehadiran.
Hasil ini diharapkan menjadi dasar kebijakan peningkatan mutu pendidikan tinggi secara Abstract Keywords:
student satisfaction.
lecturer performance.
random forest regression.
recursive feature elimination.
higher education quality.
Student satisfaction with lecturers is a key indicator in assessing the quality of higher However, commonly used evaluation approaches remain largely descriptive and subjective, making them less effective in supporting sustainable quality Moreover, the comprehensive use of lecturer competency indicators in predictive models is still limited.
This study addresses the gap by developing a student satisfaction prediction model using the Random Forest Regression algorithm, optimized through grid search and feature selection using the Recursive Feature Elimination (RFE) method combined with 5-fold cross-validation.
Data were collected from the EDOM system of Politeknik Negeri Cilacap, involving 24 indicators based on national lecturer competency standards, and analyzed using R software.
The best model was achieved with parameters mtry = 1 and ntree = 300, yielding RMSE = 0.
MAE = 0.
and RA = 0.
The three most influential indicators identified were structured assignments, diversity of teaching methods, and punctuality.
These findings are expected to inform policies for improving the quality of higher education.
*Penulis korespondensi:
Rostika Listyaningrum E-mail: li_sa007@pnc.
p-ISSN: 2087-1627, e-ISSN: 2685-9858 Pendahuluan Mutu pendidikan tinggi tidak bisa dilepaskan dari peran sentral dosen dalam proses pembelajaran.
Dosen yang baik tidak hanya menyampaikan materi ajar, tetapi juga membentuk pengalaman belajar yang bermakna bagi Oleh karena itu, evaluasi terhadap dosen menjadi elemen krusial dalam menjaga kualitas akademik dan mendorong profesionalisme di lingkungan perguruan Hal ini sejalan dengan amanat Permendikbudristek No.
44 Tahun 2024, yang menekankan bahwa dosen harus memiliki kecakapan tidak hanya secara akademis, tetapi juga dalam menjalin interaksi pembelajaran yang bersifat empatik dan profesional.
Setiap pendidik diwajibkan memiliki empat kompetensi utama yang meliputi kemampuan pedagogik, integritas kepribadian, keahlian profesional, serta keterampilan sosial dalam menjalankan tugasnya secara efektif dan bertanggung jawab .
Di era digital ini, pendekatan berbasis kecerdasan buatan seperti machine learning mulai dilirik sebagai alat bantu untuk mengevaluasi kinerja dosen secara lebih Salah satu algoritma yang banyak digunakan adalah Random Forest karena kemampuannya dalam mengolah data yang kompleks serta memberikan hasil prediksi yang akurat.
Sejumlah penelitian telah menguji efektivitas algoritma ini dalam berbagai konteks pendidikan.
Almasri et al.
berhasil memprediksi kepuasan mahasiswa dalam pembelajaran daring dengan akurasi hingga 92% menggunakan Random Forest.
Widayati et al.
mengaplikasikannya untuk mengukur loyalitas mahasiswa, sementara Nachouki et al.
menerapkannya dalam prediksi performa akademik mahasiswa.
Riyanto et al.
bahkan menekankan kemampuan algoritma ini dalam mengekstraksi variabel-variabel penting yang relevan terhadap kepuasan mahasiswa.
Selain itu.
Sufina dan Wati .
mulai mengeksplorasi Random Forest untuk mengevaluasi kinerja dosen berbasis Sasaran Kinerja Pegawai (SKP), namun penelitian tersebut masih terbatas pada aspek klasifikasi terhadap dua dimensi kinerja .
tama dan perilak.
, dan belum menyasar prediksi kepuasan mahasiswa secara menyeluruh.
Meski begitu, kajian-kajian terdahulu masih menyisakan sejumlah keterbatasan.
Umumnya, model yang dibangun berfokus pada klasifikasi .
isalnya, puas atau tidak pua.
, padahal kenyataannya tingkat kepuasan mahasiswa bersifat kontinu dan lebih tepat dianalisis melalui pendekatan regresi.
Selain itu, banyak penelitian hanya menggunakan variabel umum seperti IPK, jenis kelamin, atau latar belakang pendidikan .
, .
, .
, tanpa menyoroti secara mendalam indikator kompetensi dosen yang disesuaikan dengan standar nasional.
Beberapa penelitian seperti Tiftazani et al.
hanya menyoroti aspek layanan akademik, belum menyentuh dimensi kompetensi dosen secara menyeluruh.
Rani dan Rakhmawati .
mengulas kepuasan mahasiswa terhadap kinerja dosen selama perkuliahan daring di masa pandemi, namun pendekatannya masih deskriptif dan belum memanfaatkan model prediktif.
Penelitian kuantitatif oleh Selviani et al.
menunjukkan bahwa kompetensi pedagogik berpengaruh signifikan terhadap kinerja akademik dosen, tetapi belum diintegrasikan ke dalam sistem prediksi berbasis machine Suryanto .
juga meneliti kepuasan mahasiswa terhadap pengajaran dosen, layanan akademik, dan fasilitas pembelajaran, namun belum secara spesifik mengaitkan indikator kompetensi dosen dengan pendekatan algoritmik atau analitik prediktif.
Pendekatan klasifikasi seperti Naive Bayes dan Decision Tree C4.
5 masih mendominasi dalam evaluasi kepuasan mahasiswa, sebagaimana terlihat pada penelitian Ramadani et al.
yang memanfaatkan Naive Bayes dan menghasilkan akurasi prediksi hingga 98,28% untuk kategori "sangat puas", meskipun penggunaan data terbatas pada parameter umum dan belum melibatkan indikator kompetensi dosen secara utuh.
Demikian pula.
Fikrul Ilmi et .
menggunakan algoritma C4.
5 dan menunjukkan akurasi sebesar 80%, namun penelitian ini hanya mencakup empat variabel .
omunikasi, suasana belajar, penilaian, dan penyampaian mater.
, tanpa memperhatikan struktur kompetensi dosen yang sesuai dengan standar nasional.
Hal lain yang masih kurang mendapatkan perhatian adalah proses tuning parameter pada Random Forest Regression.
Nilai-nilai penting seperti mtry dan ntree sering kali dibiarkan pada pengaturan default, tanpa upaya Padahal, pemilihan parameter yang tepat dapat berpengaruh signifikan terhadap akurasi model prediksi, termasuk penurunan nilai RMSE dan peningkatan RA .
Penelitian-penelitian sebelumnya menunjukkan bahwa tanpa proses optimasi seperti grid search atau validasi silang, potensi algoritma Random Forest tidak dimanfaatkan sepenuhnya .
Lebih jauh, hasil penelusuran literatur terbaru menunjukkan bahwa belum ditemukan jurnal yang secara spesifik membahas analisis kepuasan mahasiswa terhadap dosen menggunakan metode Random Forest Regression, terutama yang memanfaatkan indikator kompetensi dosen secara menyeluruh sebagaimana diatur dalam kebijakan nasional.
Melihat celah tersebut, penelitian ini mengusulkan pembangunan model prediksi kepuasan mahasiswa terhadap dosen dengan menggunakan Random Forest Regression yang ditingkatkan melalui tuning parameter secara sistematis dan seleksi fitur menggunakan metode Recursive Feature Elimination (RFE).
Data yang digunakan bersumber dari sistem EDOM Politeknik Negeri Cilacap, dengan 24 indikator yang mencakup dimensi kompetensi pedagogik, profesional, sosial, kepribadian, serta aspek sarana dan Penelitian ini tidak hanya bertujuan menghasilkan prediksi tingkat kepuasan mahasiswa yang lebih akurat, tetapi juga memberikan wawasan mengenai indikatorindikator mana yang paling berpengaruh terhadap persepsi Dengan demikian, hasil kajian ini diharapkan dapat menjadi acuan dalam penyusunan kebijakan peningkatan kualitas pembelajaran secara berkelanjutan.
Metode Penelitian ini dilaksanakan dengan pendekatan memanfaatkan algoritma Random Forest Regression untuk memprediksi tingkat kepuasan mahasiswa terhadap dosen.
Proses penelitian dirancang secara sistematis ke dalam empat tahapan utama: data preparation .
ersiapan dat.
, modeling .
, evaluation .
valuasi mode.
, dan analisis p-ISSN: 2087-1627, e-ISSN: 2685-9858 (Evaluasi Variabel sebagaimana ditunjukkan pada Gambar 1.
Persiapan Data Pemodelan Evaluasi Pentin.
Analisis Feature Importance Gambar 1.
Tahapan Penelitian 1 Persiapan Data Tahap awal dalam proses ini dimulai dengan pengumpulan data, eksplorasi awal, hingga analisis deskriptif untuk memahami karakteristik masing-masing variabel yang akan digunakan dalam model.
1 Pengumpulan Data Data yang digunakan dalam penelitian ini bersifat primer, diambil langsung dari sistem Evaluasi Dosen Oleh Mahasiswa (EDOM) pada Semester Ganjil Tahun Akademik 2023/2024 di Politeknik Negeri Cilacap.
Total terdapat 1.
responden mahasiswa yang memberikan penilaian terhadap 70 dosen dari 10 program studi.
Instrumen yang digunakan berupa kuesioner tertutup dengan skala Likert 5 poin, yang dirancang untuk mengukur persepsi mahasiswa terhadap berbagai aspek kinerja dosen.
Kuesioner terdiri atas 24 butir pertanyaan .
iberi kode I1Ae I.
yang digunakan sebagai variabel prediktor (X), serta satu variabel target (Y) yang merupakan rata-rata keseluruhan skor kepuasan mahasiswa terhadap dosen.
Rentang skor skala Likert adalah sebagai berikut: 1 = Sangat Buruk, 2 = Buruk, 3 = Cukup Baik, 4 = Baik, 5 = Sangat Baik.
Data variabel prediktor (X) dan variabel target (Y) ditampilkan dalam tabel berikut:
Tabel 1.
Variabel Prediktor (X) dan Variabel Target (Y) Masing-masing butir pertanyaan tersebut dirancang untuk merepresentasikan berbagai kompetensi inti dosen yang telah diatur dalam standar nasional pendidikan tinggi.
A Kompetensi Sosial .
: I1.
I3.
I4.
I5 A Kompetensi Pedagogik .
: I2.
I8.
I9.
I10.
I11.
I12.
I13.
I14.
I15.
I16.
I21.
I22.
I23.
I24 A Kompetensi Kepribadian .
: I6.
I17 A Kompetensi Profesional .
: I7.
I20 A Aspek aksesibilitas dan sarana Prasarana .
I18.
I19.
Tabel 2 menjelaskan masing-masing pertanyaan beserta Tabel 2.
Pertanyaan Variabel Prediktor Kompetensi Pertanyaan Sosial .
Dosen mampu berkomunikasi dengan baik dengan mahasiswa.
Pedagogik Dosen mampu menghidupkan .
suasana di kelas dengan membangkitkan semangat belajar dan mendorong minat diskusi.
Sosial .
Dosen menghargai pendapat Sosial .
Dosen menghargai keragaman mahasiswa dari suku atau agama ataupun adat istiadat.
Sosial .
Dosen tanggap terhadap permasalahan yang terjadi dalam pembelajaran di kelas.
Kepribadian Kearifan dan keadilan dalam .
mengambil keputusan dan menyelesaikan persoalan.
Profesional Kedalaman dan keluasan dosen .
dalam membahas contoh kasus yang terkait bidang topik bahasan dan penggunaan hasil penelitian yang terkait.
Pedagogik Kejelasan dosen dalam .
menyampaikan tujuan pembelajaran dan materi serta jawaban terhadap pertanyaan di Profesional Kemampuan dosen dalam .
menguasai wawasan dan mengimplementasikan mata kuliah yang diberikan.
Profesional Kemampuan dosen dalam .
menjawab pertanyaan yang diajukan oleh mahasiswa.
Profesional Kemampuan dosen dalam .
menjelaskan materi perkuliahan secara sistematis.
Pedagogik Keragaman metode pembelajaran .
yang disampaikan dosen dalam diskusi dan tanya jawab.
Pedagogik Kesesuaian soal ujian dengan .
materi ajar.
Pedagogik Ketepatan waktu kehadiran dosen .
dan mengajar sesuai waktu yang Pedagogik Pemberian tugas terstruktur .
seperti paper atau rangkuman atau latihan soal dan pemecahan Pedagogik Rencana materi dan tujuan kuliah .
disusun sistematis dan terorganisir serta disampaikan di awal Kepribadian Santun dalam kata dan tindakan .
serta dapat dijadikan teladan dalam bersikap.
Aksesibilitas dan Sarana dan prasarana Sarpras .
pembelajaran selalu tersedia dalam kondisi baik dan layak Aksesibilitas dan Sarana dan prasarana selalu Sarpras .
tersedia untuk digunakan dalam jumlah cukup.
Profesional Semangat dosen dalam .
memberikan kuliah serta p-ISSN: 2087-1627, e-ISSN: 2685-9858 Kompetensi Pedagogik .
Pedagogik .
Pedagogik .
Pedagogik .
Pertanyaan menjelaskan kembali materi yang tidak dipahami dan memberikan motivasi minat belajar.
Sumber belajar yang disampaikan dosen dalam perkuliahan mengarah sesuai atas kasus lapangan atau pengembangan Tersedianya bahan ajar untuk perkuliahan offline dan online.
Tersedianya kontrak kuliah sebelum perkuliahan di mulai.
Tersedianya Rencana Pembelajaran Semester di awal 2 Preprocessing Sebelum masuk ke tahap pemodelan, proses preprocessing data menjadi langkah penting untuk memastikan kualitas data yang akan digunakan.
Tahap ini bertujuan untuk memverifikasi bahwa data yang dianalisis benar-benar bersih, konsisten, dan layak diproses oleh sistem Dalam penelitian ini, proses diawali dengan pengambilan data awal ke dalam pemrograman R.
Tahapan pertama dalam preprocessing yang dilakukan adalah pemeriksaan terhadap nilai kosong .
issing value.
Langkah ini sangat penting untuk memastikan bahwa data yang digunakan bersih dari kesalahan struktural, karena keberadaan nilai kosong dapat mengakibatkan galat dalam proses pemodelan atau menurunkan akurasi hasil prediksi.
Setelah dipastikan bahwa data tidak mengandung nilai kosong, proses dilanjutkan dengan pemisahan antara variabel fitur (X) dan label (Y).
Y ditetapkan sebagai variabel target yang akan diprediksi, sementara kolomkolom lainnya digunakan sebagai variabel input.
Tahapan selanjutnya dalam preprocessing adalah identifikasi nilai-nilai ekstrem .
melalui visualisasi boxplot terhadap seluruh variabel numerik.
Deteksi dini terhadap outlier penting dilakukan karena nilai-nilai ekstrem dapat mempengaruhi distribusi data dan mengganggu kinerja model prediksi.
Efektivitas tahapan ini juga diperkuat oleh temuan dari Nur et al.
, yang menunjukkan bahwa penerapan teknik preprocessing secara cermat terutama dalam mendeteksi dan memperbaiki missing value dan outlier secara signifikan mampu meningkatkan akurasi prediksi model Random Forest Regression dalam konteks pertanian, khususnya prediksi hasil panen padi .
3 Eksplorasi Data Sebelum melangkah ke tahap pemodelan, dilakukan eksplorasi awal untuk memahami karakteristik data yang akan dianalisis.
Visualisasi data dilakukan menggunakan histogram dari nilai Mean serta Varians tiap variabel prediktor (I1AeI.
Histogram Mean dan Varians memberikan gambaran tentang kecenderungan nilai tengah serta sejauh mana data tersebar untuk masing-masing indikator penilaian.
Langkah ini penting untuk memastikan bahwa data memiliki pola distribusi yang wajar dan tidak ada penyimpangan ekstrem yang bisa mengganggu proses 2 Pemodelan dengan Random Forest Regression 1 Pemisahan Data dan Seleksi Fitur Pada tahap awal pemodelan, dataset dibagi ke dalam dua kelompok utama: 70% digunakan sebagai data latih .
raining se.
dan sisanya 30% sebagai data uji .
esting se.
Pembagian ini dilakukan secara proporsional dalam perangkat lunak R, dengan mempertimbangkan distribusi target agar tetap seimbang.
Tujuannya adalah untuk memberikan ruang bagi model belajar dari data yang tersedia, sekaligus menguji kemampuannya dalam memprediksi data yang belum dikenalnya secara obyektif.
Teknik pembagian seperti ini banyak digunakan dalam penelitian prediktif berbasis Random Forest Regression karena dinilai efektif menjaga generalisasi model .
, .
Setelah data dibagi, langkah berikutnya adalah melakukan seleksi fitur guna menyaring variabel-variabel yang paling relevan.
Dalam penelitian ini digunakan pendekatan Recursive Feature Elimination (RFE), sebuah teknik yang bekerja secara bertahap dengan mengeliminasi fitur yang memiliki kontribusi paling rendah terhadap kualitas prediksi model.
Untuk meningkatkan validitas hasil seleksi, proses RFE ini dikombinasikan dengan lima-fold cross-validation.
Strategi validasi silang ini membantu memastikan bahwa pemilihan fitur tidak bias terhadap subset data tertentu, sehingga model yang dihasilkan lebih stabil dan akurat.
Efektivitas metode ini didukung oleh penelitian Wiguna et al.
, yang membuktikan bahwa penggunaan RFE dengan validasi silang lima lipat mampu meningkatkan performa model Random Forest Regression melalui pemilihan atribut yang benar-benar relevan dalam konteks prediksi .
2 Pemodelan dan Tuning Parameter Pada tahap ini, model prediksi dibangun menggunakan algoritma Random Forest Regression (RFR), yang terkenal karena kemampuannya menangani data kompleks dan memberikan hasil yang akurat.
Untuk memastikan performa model berada pada tingkat optimal, dua parameter utama yang memengaruhi struktur dan kemampuan model disesuaikan, yaitu mtry .
umlah variabel yang dipertimbangkan saat setiap pohon melakukan spli.
dan ntree .
umlah total pohon dalam huta.
Proses penyesuaian parameter ini dilakukan menggunakan teknik grid search, yaitu pendekatan sistematis yang menguji berbagai kombinasi nilai mtry dan Tujuan dari metode ini adalah untuk menemukan kombinasi parameter yang memberikan nilai kesalahan prediksi terkecil, yang dalam hal ini diukur menggunakan Root Mean Square Error (RMSE).
Nilai RMSE yang lebih rendah menunjukkan bahwa prediksi model semakin mendekati nilai aktual, menandakan performa yang semakin Penggunaan grid search dalam tuning parameter bukanlah hal baru.
Han dan Kim .
menunjukkan bahwa proses tuning parameter memiliki pengaruh signifikan terhadap akurasi model prediktif.
Dalam penelitiannya, p-ISSN: 2087-1627, e-ISSN: 2685-9858 mereka membuktikan bahwa optimasi nilai mtry dan ntree dapat menurunkan kesalahan prediksi secara substansial dan meningkatkan reliabilitas hasil prediksi .
dalam data dengan baik, menjadikannya alat yang kuat untuk evaluasi performa dalam regresi .
3 Evaluasi Model Setelah proses pelatihan model Random Forest Regression (RFR) selesai, langkah berikutnya adalah mengevaluasi seberapa baik model tersebut mampu melakukan prediksi terhadap data yang belum pernah dilihat sebelumnya, yaitu data uji.
Evaluasi dilakukan melalui dua pendekatan: kuantitatif dan visual, dengan fokus utama pada metrik evaluasi regresi yang telah diakui luas dalam penelitian sebelumnya.
1 Evaluasi Kuantitatif Evaluasi objektif terhadap kinerja model dilakukan dengan menggunakan tiga metrik utama dalam analisis regresi, yakni Root Mean Square Error (RMSE).
Mean Absolute Error (MAE), serta Koefisien Determinasi (RA).
Ketiga metrik ini saling melengkapi dan memberikan gambaran menyeluruh terhadap keakuratan serta keandalan model prediktif.
1 RMSE
RMSE mengukur rata-rata akar kuadrat dari selisih antara nilai aktual dengan nilai prediksi.
Metrik ini sangat sensitif terhadap pencilan, sehingga memberikan penalti yang lebih besar untuk kesalahan prediksi yang ekstrem.
Nilai RMSE yang rendah mengindikasikan bahwa model mampu memprediksi dengan baik dan hasilnya mendekati nilai sebenarnya.
Wiguna et al.
mencatat bahwa RMSE efektif dalam mengidentifikasi seberapa konsisten model dalam memprediksi nilai kontinyu pada penelitian regresi .
Ci ) RMSE = Oo Ocni=1(Yi Oe Y 2 Mean Absolute Error (MAE) MAE mengukur rata-rata dari nilai absolut selisih antara nilai aktual dan nilai prediksi.
Berbeda dari RMSE.
MAE lebih tahan terhadap pengaruh pencilan, sehingga memberikan gambaran yang stabil terhadap rata-rata kesalahan prediksi.
Dalam konteks ini.
MAE sangat berguna untuk menilai ketepatan prediksi secara umum tanpa terlalu terpengaruh oleh nilai ekstrem.
Seperti dijelaskan oleh Ardianto et al.
MAE cocok digunakan sebagai pelengkap RMSE dalam mengevaluasi model regresi .
Ci | MAE = n Ocni=.
Yi Oe Y 3 Koefisien Determinasi .
cA) RA mengukur sejauh mana Variansi dari variabel target (Y) dapat dijelaskan oleh model.
Nilai RA berada dalam rentang 0 hingga 1, di mana nilai mendekati 1 menunjukkan bahwa model memiliki kemampuan prediksi yang sangat Menurut Ardianto et al.
, nilai RA yang tinggi mencerminkan bahwa model berhasil menangkap pola
Ocn (Y Oe Y
I )2
iOe Y R2 = 1 Oe Oci=1 n (Y .
Melalui kombinasi ketiga metrik ini, evaluasi model dilakukan secara komprehensif, memastikan bahwa model tidak hanya akurat secara rata-rata, tetapi juga konsisten dan dapat diandalkan dalam menangani variasi data nyata.
2 Evaluasi Visual (Scatterplot Prediksi vs Aktua.
Sebagai pelengkap dari evaluasi kuantitatif, pendekatan visual juga digunakan untuk memberikan gambaran intuitif terhadap performa model.
Salah satu metode visualisasi yang paling umum dalam konteks regresi adalah scatterplot antara nilai prediksi (A) dan nilai aktual (YA).
Visualisasi ini menggambarkan sebaran titik hasil prediksi terhadap nilai aktual pada bidang dua dimensi, di mana garis imajiner y = x digunakan sebagai acuan ideal yaitu saat prediksi sepenuhnya sama dengan nilai aktual.
Semakin dekat titik-titik data terhadap garis ini, semakin tinggi tingkat akurasi dan konsistensi model.
Selain menilai kedekatan prediksi dengan observasi, scatterplot juga berfungsi penting dalam mengidentifikasi pola kesalahan sistematik serta outlier yang mungkin memengaruhi performa model secara keseluruhan.
Pendekatan ini terbukti efektif dalam evaluasi model regresi sebagaimana diterapkan oleh Pratama dan Nugroho dalam penelitian mereka terkait prediksi harga rumah menggunakan Random Forest Regression .
4 Analisis Feature importance Setelah model Random Forest Regression (RFR) berhasil dibangun dan divalidasi, langkah lanjutan yang krusial adalah memahami kontribusi masing-masing variabel prediktor terhadap kinerja model.
Tujuan dari tahap ini bukan hanya menilai akurasi prediksi, tetapi juga mendapatkan pemahaman yang lebih dalam mengenai variabel mana yang paling berpengaruh dalam membentuk keputusan model.
Salah satu pendekatan yang digunakan adalah analisis feature importance dengan metrik %IncMSE (Percent Increase in Mean Squared Erro.
Metrik ini bekerja berdasarkan prinsip permutation importance, yaitu dengan mengacak nilai dari setiap variabel prediktor dan mengamati sejauh mana kesalahan prediksi (MSE) meningkat.
Semakin besar kenaikan MSE akibat pengacakan suatu variabel, maka semakin penting peran variabel tersebut dalam menjaga akurasi model.
Keunggulan metode ini adalah kemampuannya dalam:
A Mengidentifikasi fitur-fitur paling esensial dalam proses A Menyaring fitur yang kurang relevan untuk menghindari kompleksitas model yang berlebihan.
A Memberikan wawasan berbasis data yang dapat mendukung pengambilan kebijakan yang lebih tepat p-ISSN: 2087-1627, e-ISSN: 2685-9858 Tidak seperti teknik regresi tradisional, metode ini tidak mengasumsikan hubungan linier atau korelasi antar variabel, sehingga sangat sesuai untuk data yang kompleks dan berdimensi tinggi.
Dalam penelitian Wiguna et al.
, metode %IncMSE terbukti efektif dalam mengungkap fitur-fitur paling berpengaruh dalam prediksi harga smartphone.
Hasilnya menunjukkan bahwa pendekatan ini memberikan interpretasi yang kuat terhadap struktur data dan dapat diandalkan untuk memahami elemen-elemen yang paling menentukan dalam proses prediktif .
Hasil dan Pembahasan 1 Statistik Deskriptif Sebelum melangkah ke tahap pemodelan prediktif, peneliti melakukan eksplorasi awal terhadap data untuk memahami lebih dalam bagaimana mahasiswa menilai Eksplorasi ini bertujuan untuk menggali distribusi skor, mengidentifikasi pola umum, serta mendeteksi potensi anomali atau kecenderungan nilai ekstrem yang dapat memengaruhi akurasi model prediksi.
1 Grafik Mean Semua Variabel 2 Grafik Varians Semua Variabel Gambar 3.
Grafik Varians Semua Variabel Gambar 3 menampilkan nilai varian dari 24 indikator penilaian dosen (I1AeI.
untuk mengukur seberapa besar penyebaran penilaian mahasiswa terhadap masing-masing Varian yang tinggi mencerminkan keragaman persepsi mahasiswa, sehingga indikator tersebut berpotensi besar dalam membedakan karakteristik penilaian dan memperkaya model prediktif.
Indikator seperti I8 .
ejelasan tujuan pembelajara.
I9 .
emahaman mater.
I1 .
, dan I4 .
enghargaan keberagama.
menunjukkan varian tinggi, yang menandakan persepsi mahasiswa cukup bervariasi terhadap aspek tersebut.
Sebaliknya.
I11 .
enggunaan medi.
I12 .
eragaman metod.
, dan I17 .
ikap dose.
memiliki varian rendah, menunjukkan konsistensi penilaian yang tinggi, namun kontribusinya terhadap pembeda model mungkin terbatas.
Analisis ini menjadi tahap awal penting dalam proses seleksi fitur menggunakan metode Recursive Feature Elimination (RFE), guna mengidentifikasi variabel yang paling signifikan dalam meningkatkan akurasi prediksi tingkat kepuasan mahasiswa.
Gambar 2.
Grafik Mean Semua Variabel Gambar 2 menampilkan rata-rata nilai dari 24 indikator penilaian dosen (I1AeI.
dan satu variabel target ycU yang merepresentasikan tingkat kepuasan mahasiswa secara Mayoritas indikator memiliki nilai Mean di atas 3, menunjukkan persepsi positif mahasiswa terhadap kinerja Tiga indikator tertinggi adalah I15 .
ugas terstruktu.
I1 .
, dan I6 .
, mencerminkan aspek yang paling diapresiasi.
Sementara itu, indikator I10.
I8, dan I11 memiliki nilai rata-rata lebih rendah, namun masih dalam kategori baik.
Nilai Mean variabel ycU berada di kisaran tengah, mengindikasikan kemampuannya sebagai representasi agregat dari seluruh indikator.
Distribusi Mean yang stabil dan tidak ekstrem memperkuat fondasi model prediktif dan mendukung proses seleksi fitur melalui metode Recursive Feature Elimination (RFE).
Pendekatan eksplorasi statistik ini juga digunakan oleh Wiguna et al.
sebagai langkah awal dalam membangun model prediksi yang optimal .
Boxplot Seluruh Variabel Penilaian Gambar 4.
Grafik Boxplot Semua Variabel Gambar 4 menyajikan boxplot dari 24 indikator penilaian dosen (I1AeI.
dan variabel target ycU untuk menunjukkan sebaran data, posisi median, dan keberadaan Sebagian besar indikator memiliki median p-ISSN: 2087-1627, e-ISSN: 2685-9858 mendekati 4, menandakan penilaian mahasiswa terhadap kinerja dosen tergolong baik.
Indikator dengan rentang interkuartil (IQR) sempit menunjukkan penilaian yang konsisten, sedangkan indikator seperti I8 .
ejelasan penyampaian tujuan pembelajara.
dan I15 .
emberian tugas terstruktu.
memiliki IQR yang lebih lebar, menandakan variasi persepsi yang tinggi di kalangan Beberapa indikator juga menunjukkan adanya outlier, yaitu penilaian ekstrem yang dapat memengaruhi stabilitas model prediktif.
Visualisasi ini menjadi dasar penting dalam menilai kualitas data sebelum dilakukan pemodelan, dan pendekatan serupa telah digunakan oleh Wiguna et al.
dalam membangun model prediksi menggunakan Random Forest Regression .
2 Pemodelan Random Forest Regression Dalam tahapan pemodelan prediktif, penelitian ini memanfaatkan algoritma Random Forest Regression (RFR) dengan pendekatan yang menyeluruh.
Proses dimulai dari pemisahan dataset menjadi dua bagian utama, yaitu data latih .
%) dan data uji .
%).
Pemisahan ini dilakukan agar model dapat belajar dari sebagian besar data yang tersedia, lalu diuji pada data yang belum pernah dikenali sebelumnya.
Strategi ini tidak hanya memungkinkan model mengenali pola yang ada dalam data, tetapi juga mengukur kemampuannya dalam melakukan prediksi yang akurat terhadap data baru, sejauh mana model dapat memahami struktur data secara menyeluruh Langkah awal setelah pembagian data adalah penerapan teknik Recursive Feature Elimination (RFE) yang dikombinasikan dengan 5-fold cross-validation.
Teknik ini diterapkan untuk memilih fitur-fitur .
ariabel variabel independe.
yang paling relevan dan berkontribusi besar terhadap prediksi.
RFE bekerja dengan cara menyusun model secara bertahap dan mengeliminasi variabel independen yang memiliki pengaruh terendah terhadap Kombinasi dengan 5-fold cross-validation membantu memastikan bahwa proses seleksi fitur tidak hanya berlaku untuk satu subset data, tetapi tervalidasi di berbagai bagian data latih.
Hasil dari proses ini divisualisasikan dalam Gambar 5.
yang dihasilkan.
Tren ini menunjukkan bahwa setiap penambahan variabel memberikan kontribusi terhadap peningkatan akurasi model, hingga pada titik optimal ketika semua variabel digunakan.
Temuan ini selaras dengan hasil penelitian Han dan Kim .
, yang menyatakan bahwa pemilihan subset fitur yang tepat secara signifikan dapat menurunkan nilai RMSE dalam model Random Forest Regression.
3 Evaluasi Model 1 Evaluasi Kuantitatif Setelah mendapatkan kombinasi fitur terbaik, proses dilanjutkan dengan tuning parameter mtry dan ntree menggunakan teknik grid search.
Nilai mtry diatur mulai dari 1 hingga 24, sedangkan ntree diuji pada 100, 300, dan 500 pohon.
Tujuan dari tuning ini adalah mengidentifikasi konfigurasi parameter yang mampu menghasilkan galat prediksi terkecil (RMSE) pada data uji.
> print.
RMSE Rsquared MAE Call:
randomForest.
ormula = as.
aste("Y ", paste.
elected_vars, " "))), data = train_data, mtry = best$mtry, ntree = best$ntree, importance = TRUE) Type of random forest:
Number of trees: 300 No.
of variables tried at each split: 1 Mean of squared residuals:
% Var explained: 97.
Berdasarkan hasil grid search, diperoleh konfigurasi terbaik pada mtry = 1 dan ntree = 300, yang digunakan untuk membentuk model akhir.
Hasil evaluasi menunjukkan bahwa model Random Forest Regression (RFR) memiliki kinerja yang sangat baik dalam memprediksi tingkat kepuasan mahasiswa terhadap kinerja dosen.
Nilai Root Mean Square Error (RMSE) sebesar 0,0222 dan Mean Absolute Error (MAE) sebesar 0,0118 mengindikasikan tingkat kesalahan prediksi yang sangat kecil.
Selain itu, nilai Koefisien Determinasi (RA) sebesar 0,9959 mengindikasikan bahwa model mampu menjelaskan sekitar 99,59% variasi yang terdapat pada variabel target (Y).
2 Evaluasi Visual (Scatterplot Prediksi Aktual/Observas.
Untuk memahami sejauh mana prediksi model mendekati nilai aktual, dilakukan evaluasi visual menggunakan scatterplot yang memetakan hubungan antara hasil prediksi () dan nilai observasi (Y), sebagaimana ditampilkan pada Gambar 6.
Gambar 5.
Grafik RMSE Model RFE Berdasarkan Jumlah Variabel Independen Sebagaimana ditampilkan pada Gambar 5, terlihat bahwa semakin banyak variabel independen yang dimasukkan ke dalam model, semakin kecil nilai RMSE p-ISSN: 2087-1627, e-ISSN: 2685-9858 I12 menggambarkan keragaman metode pembelajaran yang digunakan dosen dalam sesi diskusi dan tanya A I14 merujuk pada ketepatan waktu kehadiran dosen serta kesesuaian jadwal pengajaran.
Temuan ini memperkuat pentingnya dimensi pedagogik dalam membentuk pengalaman belajar mahasiswa yang positif.
Gambar 6.
Scatterplot Antara Prediksi () dan ycU Observasi Sebagian besar titik data tampak tersebar mengikuti pola diagonal dari kiri bawah ke kanan atas, mendekati garis imajiner yc = ycu.
Pola ini menunjukkan bahwa hasil prediksi model sangat mendekati nilai aktual/observasi, sehingga dapat disimpulkan bahwa akurasi model cukup tinggi.
Tidak ditemukan outlier ekstrem ataupun pola deviasi sistematik, yang menandakan bahwa model bekerja secara konsisten dan stabil dalam menghasilkan estimasi nilai kepuasan Visualisasi ini juga memperkuat hasil evaluasi numerik sebelumnya, serta memberikan bukti tambahan bahwa model mampu merepresentasikan hubungan yang kuat antara variabel input dan target.
4 Analisis Feature importance Gambar 7.
Variabel Importance Model RF Gambar 7 menampilkan hasil analisis feature importance berdasarkan metrik %IncMSE (Percent Increase in Mean Squared Erro.
Metrik ini menunjukkan sejauh mana tingkat kesalahan prediksi (MSE) meningkat ketika nilai suatu variabel diacak secara acak.
Semakin besar peningkatan MSE akibat pengacakan, semakin penting peran variabel tersebut dalam menjaga akurasi model.
Hasil analisis menunjukkan bahwa tiga variabel dengan pengaruh paling besar terhadap performa model adalah I15.
I12, dan I14.
Ketiganya menyebabkan lonjakan MSE yang paling tinggi saat nilainya diacak, yang berarti ketiganya merupakan prediktor utama dalam menentukan tingkat kepuasan mahasiswa.
Secara khusus:
A I15 berkaitan dengan pemberian tugas terstruktur seperti makalah, latihan soal, atau pemecahan masalah.
Kesimpulan Penelitian ini berhasil merancang dan menerapkan model prediktif berbasis algoritma Random Forest Regression untuk mengestimasi tingkat kepuasan mahasiswa Model profesional, kepribadian, sosial, serta dukungan sarana dan Evaluasi yang dilakukan mengungkapkan bahwa model menunjukkan kinerja prediksi yang sangat tinggi, dengan nilai RMSE sebesar 0,0222.
MAE sebesar 0,0118, dan koefisien determinasi (RA) mencapai 0,9959.
Hasil ini mencerminkan kemampuan model dalam menjelaskan hampir seluruh variasi yang terdapat pada data target, sehingga dapat dianggap sebagai alat prediktif yang sangat dapat diandalkan dalam analisis berbasis data.
Melalui analisis feature importance, penelitian ini juga berhasil mengidentifikasi tiga indikator paling berpengaruh terhadap kepuasan mahasiswa, yaitu: I15 .
emberian tugas terstruktu.
I12 .
eragaman metode pembelajara.
I14 .
etepatan waktu kehadiran dose.
Temuan ini menekankan pentingnya kejelasan struktur pembelajaran serta kedisiplinan dosen sebagai faktor utama dalam membentuk persepsi positif dari mahasiswa.
Selain keberhasilan dalam membangun model prediktif, penelitian ini turut memberikan kontribusi pada aspek metodologis melalui penerapan tuning parameter .
try dan ntre.
dengan teknik grid search dan validasi Pendekatan ini terbukti meningkatkan akurasi dan stabilitas model, serta mengatasi kekurangan dari penelitian sebelumnya yang cenderung menggunakan konfigurasi parameter secara default.
Dengan hasil yang diperoleh, model ini memiliki potensi untuk dijadikan dasar dalam merumuskan strategi peningkatan mutu pembelajaran yang berkelanjutan di lingkungan Politeknik Negeri Cilacap, sekaligus menjadi rujukan dalam pengembangan sistem evaluasi dosen berbasis kecerdasan buatan.
Ucapan Terimakasih Terimakasih kami sampaikan kepada Politeknik Negeri Cilacap khususnya Pusat Pengembangan Pembelajaran dan Penjaminan Mutu, yang telah menyediakan data yang diperlukan dalam penelitian.
Daftar Pustaka