72
JURNAL SISTEM DAN INFORMATIKA (JSI)
Prototipe Sistem Chatbot Panduan Akademik Fakultas Teknik Unpas menggunakan Large Language Model Fajar Darmawan1.
Wanda Gusdya Purnama2.
Anggoro Ari Nurcahyo3 Universitas Pasundan e-mail: 1fajar.
if@unpas.
id, 2wanda.
gusdya@unpas.
id, 3anggoro.
nurcahyo@unpas.
Diajukan: 29 September 2025.
Direvisi: 23 Oktober 2025.
Diterima: 27 Oktober 2025 Abstrak Penelitian ini dibuat berdasarkan kebutuhan layanan akademik di lingkungan Fakuktas Teknik UNPAS.
Dimana masih ada persoalan terkait informasi untuk mahasiswa dalam panduan akademik seperti tata cara penyusunan kartu rencana studi, pemahaman terkait pedoman penulisan laporan tugas akhir.
Sehingga tujuan dari penelitian ini adalah membuat aplikasi layanan akademik chatbot yang interaktif dan membantu mahasiswa dalam memberikan jawaban relevan terkait panduan akademik.
Langkah-langkah yang dilakukan dalam penelitian ini diawali dengan identifikasi masalah yang akan mendetailkan permasalahan mahasiswa , pengumpulan data yang relevan seperti dokumen-dokumen dari berbagai sumber.
Pemilihan model dimana model yang dipilih adalah Large Language Model atau LLM dengan memanfaatkan AI.
Pengembangan chatbot dan yang terakhir adalah evaluasi.
Hasil dari penelitian pada Tahap pertama ini adalah telah dibangunnya system Chatbot versi awal yang sudah dapat digunakan, tetapi masih ada perlu perbaikan dalam hal konsistensi jawaban yang diakibatkan dari pemanfaatan dokumen yang diacu sebagai pengetahuan masih bercampur dengan dokumen yang tidak relevan.
Kata kunci: AI.
Large Language Model.
Panduan Akademik.
Sistem chatbot.
Abstract This research was conducted based on the need for academic services within the Faculty of Engineering at UNPAS, where there are still issues related to the availability of information for students in academic guidelinesAisuch as procedures for preparing study plans and understanding the guidelines for writing final project reports.
Therefore, the purpose of this research is to develop an interactive academic service chatbot application that assists students by providing relevant answers related to academic guidelines.
The steps carried out in this research began with problem identification, which detailed the students' issues.
data collection from various relevant sources and documents.
selection, where the chosen model is a Large Language Model (LLM) utilizing AI.
chatbot development.
and finally.
The result of the first phase of this research is the development of an initial version of the chatbot system, which is already functional.
However, there are still improvements needed, particularly in the consistency of the This issue arises from the use of referenced documents that are still mixed with irrelevant documents.
Keywords: Academic Guidelines.
AI.
Chatbot System.
Large Language Model.
Pendahuluan Dalam lingkungan pendidikan tinggi capaian kelulusan tepat waktu adalah hal yang penting, hanya saja pada faktanya di lingkungan Fakultas Teknik Universitas Pasundan masih banyak mahasiswa yang kesulitan untuk menyusun kartu rencana studi (KRS).
Hal tersebut menyebabkan mahasiswa terancam lulus tidak tepat waktu.
Selain itu, hanya sebagian kecil mahasiswa yang dapat menyusun laporan tugas akhir sesuai dengan pedoman.
Pedoman akademik yang umumnya disediakan dalam bentuk dokumen statis atau sesi konsultasi terbatas sering kali dirasakan kurang interaktif dan tidak selalu mampu menjawab kebutuhan spesifik mahasiswa secara real-time.
Akibatnya, mahasiswa membutuhkan waktu yang lebih lama untuk memahami aturan yang berlaku atau harus berulang kali meminta bantuan dari dosen pembimbing maupun staf administrasi, yang dapat mengurangi efisiensi proses akademik.
Kemajuan teknologi kecerdasan buatan, khususnya Large language Models (LLM), menawarkan solusi untuk tantangan ini.
Aplikasi chatbot berbasis LLM mampu memahami konteks pertanyaan mahasiswa, memberikan jawaban yang relevan, dan bahkan menyarankan langkah-langkah berikutnya secara proaktif.
Seperti pada penelitian yang dilakukan sebelumnya .
teknologi sudah layak digunakan .
bagi para pengguna yang terlibat, dimana dengan menggunakan System Usability Scale (SUS) didapatkan hasil rata-rata di atas 70.
p-ISSN: 1858-473X, e-ISSN: 2460-3732 Sejarah aplikasi asisten akademik, khususnya berupa chatbot telah melalui proses evolusi yang dimulai sejak pengembangan awal oleh Alan Turing pada 1950.
Alan Turing berusaha menjawab pertanyaan AuApakah mesin dapat berpikir?Ay untuk pertama kalinya, sehingga memunculkan diskusi mengenai definisi mesin dan berpikir .
Turing Test mengukur kemampuan mesin dalam bertindak secara cerdas serupa dengan manusia, yang dianggap sebagai kemunculan pertama konsep kecerdasan buatan.
Pada tahun 1960an.
Joseph Weizenbaum mengembangkan ELIZA .
, yaitu sebuah program yang dapat membuat pertanyaan-pertanyaan berdasarkan kalimat pembuka dari pengguna.
ELIZA merupakan chatbot yang menjadi pionir conversational agents .
gen percakapa.
, walaupun respons yang diberikan ELIZA masih terbatas berdasarkan skrip.
Perkembangan kecerdasan buatan dan pengolahan bahasa alami pada 1980an dan 1990an memungkinkan pembuatan chatbot yang dapat menangani interaksi yang lebih kompleks, namun biasanya chatbot tersebut hanya dikembangkan untuk penelitian.
Peningkatan penggunaan internet pada 1990an dan 2000an juga mempengaruhi perkembangan chatbot karena menjadikannya dapat diakses oleh publik, perlahan mengubah peruntukannya dari hanya untuk penelitian menjadi aplikasi praktis seperti aplikasi layanan pelanggan dan asisten pribadi.
Saat ini, chatbot telah digunakan untuk menyediakan bimbingan belajar pada berbagai bidang pendidikan, seperti sejarah, kesehatan, dan bahasa .
Chatbot tersebut dapat memberikan umpan balik cerdas, dukungan secara instan, dan bertindak sebagai alternatif yang layak untuk Learning Management System (LMS).
Kemajuan teknologi membuat chatbot yang awalnya menggunakan skrip sederhana berkembang menggunakan kecerdasan buatan dan neural networks yang lebih canggih, sehingga memungkinkan percakapan yang lebih dinamis dan kontekstual .
Chatbot saat ini telah menjadi bagian dari ekosistem teknologi pendidikan yang lebih besar sebagai suplemen tambahan .
ukan menggantika.
teknik pembelajaran digunakan dengan memberikan bantuan yang dapat menyesuaikan dengan cepat .
Dalam dunia Pendidikan, chatbot dapat menjadi asisten cerdas.
Selain itu chatbot dapat memberikan solusi dan memberikan kemudahan pada siswa dalam mendapatkan informasi.
Pada penelitian .
menuliskan bahwa chatbot dapat memberikan manfaat dari sudut pandang siswa berupa meningkatkan aksesbilitas, dan memberikan kelebihan dalam efektifitas dan efisiensi lingkungan belajar.
Pada penelitian Raffel menunjukkan perkembangan Large Language Model, dimana LLM dapat memahami hubungan antar entitas dan properti.
Seperti yang telah dijelaskan pada penelitian .
yang menjelaskan bagaimana model seperti T5 dapat digunakan untuk tugas-tugas ekstraksi relasi melalui pendekatan text-to-text.
Penelitian .
membahas kemampuan model untuk menjawab pertanyaan faktual dan memahami relasi yang kompleks melalui fine-tuning dan prompting.
Penelitian .
membahas cara menggunakan prompt untuk meningkatkan kemampuan ekstraksi relasi dari LLM.
Aplikasi chatbot menggunakan LLM Llama-2 berdasarkan penelitian Sonia Vakayil .
menghasilkan jawaban yang memiliki akurasi dan empati, dimana Tingkat akurasi yang dihasilkan sekitar Sedangkan berdasarkan penelitian Ashok R.
Kandula .
pemanfaatan chatbot menghasilkan Tingkat akurasi lebih dari 80%, yang berhasil menurunkan kesalahan dan meningkatkan kualitas opini Pada penelitian Syamsudin A.
Talaohu .
dituliskan metode RAG memungkinkan chatbot untuk memahami Bahasa alami, dimana berdasarkan pengujian menghasilkan performa akurasi sebesar 93% yang menunjukkan Tingkat akurat yang tinggi.
Metode Penelitian Penelitian ini diproyeksikan untuk dilakukan selama tiga tahun, dimana penelitian yang dikerjakan ini merupakan penelitian tahun pertama yang difokuskan pada pengembangan dasar dan implementasi Tahap yang dilakukan pada tahun pertama ini adalah pengembangan prototipe chatbot yang dapat menjawab pertanyaan dasar tentang panduan akademik.
berikut adalah tahapan-tahapan yang dilakukan pada penelitian ini :
Gambar 1.
Alur penelitian Berdasarkan gambar 1, berikut adalah detail tahapan yang dilakukan :
Identifikasi Masalah Mahasiswa sering kesulitan menemukan informasi akademik yang relevan karena data tersebar atau sulit dipahami.
Pada langkah ini, penelitian difokuskan untuk mendetailkan JURNAL SISTEM DAN INFORMATIKA Vol.
No.
November 2025 permasalahan-permasalahan yang utamanya dihadapi oleh mahasiswa dalam mendapatkan informasi Pengumpulan Data Langkah pengumpulan data terdiri dari:
Mengumpulkan data dari situs web universitas, buku panduan, dan dokumen terkait Membersihkan dan menyusun data dalam format yang dapat digunakan untuk pelatihan.
Pemilihan Model Langkah ini adalah langkah di mana peneliti memilih model LLM yang cocok, seperti OpenAI GPT-4 atau model alternatif seperti BERT atau LLaMA.
Dengan model Prompt Engineering dengan membuat prompt yang disesuaikan dengan pertanyaan-pertanyaan (FAQ) mahasiswa yang sering ditanyakan kepada petugas akademik.
Pengembangan Chatbot Pada langkah ini dilakukan pemrograman menggunakan platform seperti Flask atau Django untuk backend, serta library seperti Hugging Face Transformers untuk LLM.
Pada langkah ini juga dilakukan integrasi dengan antarmuka web sederhana, juga mengintegrasikan backend dengan basis data universitas.
Evaluasi Pada langkah ini, model chatbot panduan akademik diuji menggunakan dataset khusus untuk validasi berdasarkan pertanyaan yang umum.
Performa akurasi jawaban, relevansi, dan tingkat kepuasan pengguna juga diukur di langkah ini.
Hasil dan Pembahasan Identifikasi masalah Berikut ini adalah diagram fishbone yang menjelaskan persoalan dalam pembangunan chatbot panduan akademik.
Gambar 2 Fishbone Persoalan Pengumpulan data Pembangunan chatbot yang efektif dan andal bergantung pada kualitas dan relevansi data yang menjadi landasannya.
Chatbot tidak hanya harus memberikan jawaban yang benar, tetapi juga harus memahami bagaimana pengguna bertanya dan apa yang sesungguhnya mereka butuhkan.
Proses pengumpulan data ini merupakan fase fundamental yang akan menentukan kecerdasan dan kegunaan chatbot di masa depan.
Proses pengumpulan data pada penelitian ini menggunakan teknik analisis dokumen untuk memastikan akurasi informasi.
Tujuan langkah ini adalah untuk mengumpulkan "sumber kebenaran" .
ource of trut.
yang akan menjadi basis pengetahuan chatbot.
Informasi yang diberikan harus akurat, resmi, dan konsisten dengan peraturan yang berlaku.
Dokumen-dokumen yang berhasil didapatkan mencakup Dokumen prosedur pendaftaran.
Prosedur Pelaksanaan Ujian.
Kalender Akademik, dll.
Berikut adalah daftar dokumen yang berhasil dikumpulkan.
Prototipe Sistem Chatbot Panduan Akademik Fakultas Teknik Unpas menggunakan Large Language Model (Fajar Darmawan.
Wanda Gusdya Purnama.
Penulis Anggoro Ari Nurcahy.
Tabel 1.
Daftar dokumen Judul Surat Edaran Dekan No 278/UnpasFT.
D/Q/II/2024 mengenai Pelaksanaan Remedial 2023/2024 Surat Edaran Dekan No 002/UnpasFT.
D1/Q/I/2025
mengenai Pelaksanaan UAS Semester Ganjil
2024/2025
Surat Edaran Dekan No 385/UnpasFT.
D/Q/VI/2025
mengenai Batas Pendaftaran/Pelaksanaan Sidang Tugas Akhir/Skripsi Surat Edaran Dekan No 366/UnpasFT.
D/Q/VI/2025
mengenai UAS Genap 2024/2025 dan Info Lainnya Juknis UTS untuk Mahasiswa Surat Edaran Dekan No 005/UnpasFT.
D/Q/I/2025 mengenai Kalender Akademik
Semester Genap
2024/2025
Peraturan Presiden No 8
Tahun 2012 tentang Kerangka Kualifikasi
Nasional Indonesia
Pola Pembinaan dan Pengembangan Kegiatan Kemahasiswaan Unpas
Panduan Pelaksanaan Proyek Perangkat Lunak
di Teknik Informatika
UNPAS
Kurikulum Teknik Informatika Unpas 2021 Surat Edaran Dekan Nomor 001 /UnpasFT.
D/Q/I/2024 mengenai Perwalian Genap
2023/2024
Lingkup Fakultas Uraian Dokumen ini berisi prosedur pendaftaran dan pelaksanaan semester remedial di lingkungan fakultas Teknik pada tahun ajaran 2023/2024 Sumber Repository dokumen Fakultas Fakultas Dokumen ini berisi prosedur pelaksanaan Ujian Akhir Semester Ganjil tahun ajaran 2024/2025 Repository dokumen Fakultas Fakultas Dokumen ini berisi ketentuan sidang tugas akhir untuk tahun ajaran 2024/2025 Repository dokumen Fakultas Fakultas Dokumen ini berisi prosedur pelaksanaan Ujian Akhir Semester Genap tahun ajaran 2024/2025 Repository dokumen Fakultas Fakultas Dokumen ini berisi petunjuk teknis UTS Genap 2024/2025 di lingkungan FT UNPAS untuk mahasiswa Repository dokumen Fakultas Fakultas Kalender Akademik Semester Genap 2024/2025 Repository dokumen Fakultas Nasional Dokumen ini berisi penjelasan Kerangka Kualifikasi Nasional Indonesia (KKNI) Repository dokumen Fakultas Universitas Program Studi Program Studi Fakultas Dokumen ini berisi pedoman kegiatan kemahasiswaan di level Universitas Dokumen ini berisi panduan pelaksanaan Capstone Project pada matakuliah Proyek Perangkat Lunak di Teknik Informatika UNPAS Buku Kurikulum 2021 yang digunakan di program studi Teknik Informatika Unpas Dokumen ini berisi prosedur perwalian pada semester genap 2023/2024 di Fakultas Teknik JURNAL SISTEM DAN INFORMATIKA Vol.
No.
November 2025 Repository dokumen Fakultas Repository dokumen Fakultas Repository dokumen Fakultas Repository dokumen Fakultas 76 Surat Edaran Dekan Nomor 1713/UnpasFT.
D/Q/XI/2023
mengenai pemberlakuan SKPM Surat Keputusan Rektor 14/Unpas.
R/SK/I/2023
Buku Panduan Akademik
Fakultas Teknik Unpas
2023/2024
Fakultas Universitas Fakultas Dokumen ini menerangkan pemberlakuan SKPM untuk mahasiswa untuk mendukung SKPI Dokumen ini berisi pedoman pemberlakuan Surat Keterangan Pendamping Ijazah untuk lulusan Unpas Dokumen ini berisi panduan akademik bagi mahasiswa di lingkungan Fakultas Teknik Unpas Repository dokumen Fakultas Repository dokumen Fakultas Repository dokumen Fakultas Pemilihan Model Penelitian ini menggunakan Llama 3.
2 yang dikembangkan oleh Meta, yang juga digunakan pada AI Chat dalam aplikasi Whatsapp.
Model ini tersedia secara bebas, sehingga memungkinkan untuk digunakan pada penelitian ini.
Seluruh dokumen yang digunakan pada penelitian ini menggunakan Bahasa Indonesia, sehingga perlu varian model yang dapat menangani Bahasa Indonesia dengan baik, maka dari itu penulis menggunakan varian bge-m3 yang memiliki 560 juta parameter, dapat menangani 100 bahasa, dan dapat memproses 8192 token pada satu waktu.
Penelitian ini menggunakan mesin Retrieval-Augmented Generation (RAG) sumber terbuka, yaitu RAGFlow.
RAGFlow adalah mesin RAG yang menggabungkan RAG dengan kemampuan agen untuk menciptakan lapisan konteks yang unggul untuk LLM.
RAGFlow dapat menangani tahapan-tahapan pembangunan chatbot secara terintegrasi.
Berikut adalah mekanisme kerja dari RAGFlow.
Gambar 3.
mekanisme kerja RAGflow .
Dalam penelitian yang dilakukan storage service yang digunakan adalah Minio.
Meta service yang digunakan adalah PostgreSQL.
Message service menggunakan redis.
Berikut ini adalah proses persiapan dan pemformatan dataset spesifik pada RAGFlow.
Pada gambar 4 terlihat bahwa dokumen-dokumen yang telah didapatkan diunggah ke sistem RAGFlow yang telah dipasang pada server.
Dokumen tersebut kemudian diurai .
lalu digunakan untuk melatih model oleh RAGFlow.
Prototipe Sistem Chatbot Panduan Akademik Fakultas Teknik Unpas menggunakan Large Language Model (Fajar Darmawan.
Wanda Gusdya Purnama.
Penulis Anggoro Ari Nurcahy.
Gambar 4 Proses persiapan dan pemformatan Data Pengembangan Chatbot Pada tahap ini dilakukan pembangunan aplikasi berbasis web sebagai aplikasi klien yang terintegrasi dengan mesin RAGFlow.
Aplikasi juga diintegrasikan dengan basis data universitas untuk mendapatkan data mahasiswa sebagai konteks tambahan pada percakapan.
Kebutuhan Pengguna Kebutuhan pengguna .
serAos requirement.
adalah harapan calon pengguna perangkat lunak terhadap perangkat lunak yang sedang dibangun.
Berikut adalah daftar kebutuhan pengguna untuk aplikasi chatbot yang dikembangkan.
Tabel 2.
Kebutuhan pengguna Kode
UR-001
UR-002
Uraian Mahasiswa dapat melontarkan pertanyaan mengenai akademik kepada chatbot Mahasiswa dapat melihat dokumen referensi yang digunakan oleh chatbot sebagai dasar menjawab Berikut ini adalah diagram use-case berdasarkan pada kebutuhan pengguna yang telah didapatkan Gambar 5 Diagram Use-case Pada diagram use-case pada Gambar 5 terlihat bahwa antarmuka pengguna aplikasi akan fokus pada percakapan antara mahasiswa dengan chatbot, sehingga mahasiswa hanya dapat melihat dokumen referensi setelah bertanya pada chatbot.
Alur interaksi antara mahasiswa dengan antarmuka pengguna pada aplikasi web dan chatbot yang ditanam pada mesin RAGFlow adalah sebagai berikut.
JURNAL SISTEM DAN INFORMATIKA Vol.
No.
November 2025 Gambar 6 Diagram aktivitas alur tanya jawab Aplikasi Web sebagai antarmuka pengguna juga bertanggung jawab untuk menyimpan riwayat percakapan.
Struktur data yang digunakan untuk menyimpan data pada aplikasi web adalah sebagai berikut.
Gambar 7 Diagram Kelas Diagram kelas pada gambar 7 menunjukkan bahwa saat ini, aplikasi menyimpan riwayat sesi obrolan hingga referensi yang digunakan.
Hal ini ditujukan agar pengguna dapat dengan cepat menemukan kembali riwayat obrolan mereka tanpa harus menunggu aplikasi mencarinya pada mesin RAGFlow.
Data Fakultas.
Program Studi, dan Mahasiswa didapatkan dari sistem akademik (SITU 2.
yang menyediakan application programming interface (API) untuk integrasi antar sistem.
Integrasi dengan sistem yang telah familiar dengan mahasiswa juga digunakan untuk masuk ke dalam aplikasi.
Prototipe Sistem Chatbot Panduan Akademik Fakultas Teknik Unpas menggunakan Large Language Model (Fajar Darmawan.
Wanda Gusdya Purnama.
Penulis Anggoro Ari Nurcahy.
Gambar 8 Halaman login aplikasi Pada halaman login aplikasi, mahasiswa dapat menggunakan akun SITU 2.
Unpas.
dev, atau PasMail.
Selain dapat meringankan mahasiswa, aplikasi juga dapat menyaring agar pengguna betul-betul mahasiswa Universitas Pasundan.
Setelah masuk ke aplikasi, pengguna langsung dihadapkan pada tampilan percakapan dengan asisten seperti pada gambar berikut.
Gambar 9 Antarmuka percakapan Pada Gambar 9 terlihat asisten yang dinamai Sari menjawab pertanyaan mengenai prosedur pendaftaran semester remedial dari mahasiswa.
Jawaban asisten belum sepenuhnya memuaskan, namun dengan lampiran referensi, mahasiswa dapat memastikan jawaban tersebut.
Evaluasi Pada langkah ini, mesin RAGFlow dan aplikasi dipasang pada server agar dapat diakses oleh pengguna dari mana saja dan kapan saja untuk pengujian.
Spesifikasi server yang diperlukan untuk RAGFlow lebih tinggi dari aplikasi, berikut ini adalah spesifikasi minimal server yang disyaratkan oleh RAGFlow.
Tabel 3 Spesifikasi minimal Server
Komponen
CPU
RAM
Disk
Spesifikasi
4 Core x86
16 GB
JURNAL SISTEM DAN INFORMATIKA Vol.
No.
November 2025 Berikut ini adalah skema deployment yang digunakan pada penelitian.
Gambar 10 Deployment Diagram Source code aplikasi disimpan dalam self-hosted git server untuk memudahkan continuous delivery ke server, juga kolaborasi.
Langkah selanjutnya setelah lingkungan aplikasi terpasang adalah melakukan pengujian berdasarkan skenario yang telah ditetapkan.
Tabel 4 Skenario pengujian Test Case ID
Test Case Description QA TesterAos Log
Test Case
Success Case
TC-REG-001
Menguji fungsi bertanya pada aplikasi Aplikasi dapat menjalankan skenario menjawab pertanyaan dengan baik Prerequisites Memiliki koneksi internet Test Data Pertanyaan = AuBagaimana caranya mendaftar semester remedial?Ay Terdaftar sebagai mahasiswa aktif Test Scenario Pengguna mendapatkan informasi tata cara pendaftaran semester remedial sebagai jawaban, namun informasi tidak akurat Berikut adalah hasil pengujian yang telah dilakukan Tabel 5 Hasil pengujian Langkah Detail aktivitas Hasil yang diharapkan Membuka aplikasi Mendapat sapaan Sistem harus dapat menampilkan antarmuka pengguna utama aplikasi Sistem harus dapat mengirim pesan pembuka berupa sapaan AuHai! Saya asisten Anda.
Apa yang bisa Saya bantu hari ini?Ay Hasil yang Sesuai Berhasil/Gagal/Tidak Berhasil Sesuai Berhasil Prototipe Sistem Chatbot Panduan Akademik Fakultas Teknik Unpas menggunakan Large Language Model (Fajar Darmawan.
Wanda Gusdya Purnama.
Penulis Anggoro Ari Nurcahy.
Melontarkan Mendapat jawaban Sistem harus dapat menerima pertanyaan AuBagaimana caranya mendaftar semester remedial?Ay Sistem harus dapat memberi jawaban yang sesuai atas pertanyaan Sesuai Berhasil Tidak sesuai Berhasil Jawaban yang diberikan oleh chatbot belum sepenuhnya sesuai dengan dokumen referensi, contohnya untuk pertanyaan pada tabel pengujian di atas, seharusnya jawaban yang tepat menurut Surat Edaran Dekan No 278/Unpas-FT.
D/Q/II/2024 adalah sebagai berikut.
Membayar biaya remedial Rp.
000 untuk setiap mata kuliah ke nomor VA bank mandiri .
ihat Simpan softfile bukti pembayaran Mendaftar melalui https://remedial.
id dengan memilih Kumpulan mata kuliah yang dibutuhkan serta melampirkan bukti pembayaran Mendapatkan invitasi ke WAG kelas-MK Melaksanakan proses PBM remedial dan ujian Mendapatkan informasi nilai perbaikan yang diraih melalui WAG dan mengecek perubahan nilai di Sistem Akademik SITU 2.
Setelah diujikan chatbot memberi jawaban seperti berikut.
Gambar 11 Jawaban Chatbot Berdasarkan jawaban Chatbot masih mencampur pengetahuan yang didapatkan dari dokumen referensi dengan pengetahuan yang didapatkan dari internet, karena jawaban masih memunculkan jawaban yang bersumber dari kampus lain contohnya pada jawaban AuBuat akun baru di situs web resmi Universitas Negeri Jakarta (UNJ)Ay Kesimpulan Berdasarkan hasil pengujian dan analisis yang telah dilakukan, dapat disimpulkan bahwa sistem chatbot yang dikembangkan masih perlu perbaikan, khususnya dalam hal konsistensi memberikan jawaban yang benar-benar sesuai dengan dokumen referensi.
Ditemukan bahwa chatbot cenderung mencampurkan pengetahuan dari dokumen referensi dengan informasi dari sumber lain di luar yang telah ditentukan, sehingga dapat menimbulkan ketidaksesuaian dalam jawaban yang diberikan.
Oleh karena itu, perlu dilakukan penyempurnaan pada mekanisme pengambilan data agar chatbot hanya merujuk pada informasi yang relevan dan sesuai dengan dokumen yang telah ditetapkan.
Diharapkan, melalui perbaikan berkelanjutan, sistem dapat memberikan jawaban yang akurat dan dapat diandalkan dalam mendukung kebutuhan pengguna.
JURNAL SISTEM DAN INFORMATIKA Vol.
No.
November 2025
Daftar Pustaka