Jurnal TRANSFORMATIKA Vol.
No.
Januari 2026, pp.
220 - 237
P-ISSN: 1693-3656.
E-ISSN: 2460-6731
https://journals.
id/index.
php/transformatika/ npage 220 Penerapan Hardening Server Linux untuk Meningkatkan Keamanan Sistem Messaging IoT Agus Hartanto1*.
Lenny Margaretta Huizen2.
April Firman Daru3.
Surono4 , 1Universitas Semarang Jl.
Soekarno-Hatta Tlogosari Semarang Telp/fax: 62246702757, e-mail:
agushartanto@usm.
2Universitas Semarang Jl.
Soekarno-Hatta Tlogosari Semarang 50196.
Telp/fax: 62246702757,e-mail: lenny@usm.
3Universitas Semarang Jl.
Soekarno-Hatta Tlogosari Semarang 50196.
Telp/fax: 62246702757, e-mail: firman@usm.
4Universitas Semarang Jl.
Soekarno-Hatta Tlogosari Semarang 50196.
Telp/fax: 62246702757,e-mail: surono@usm.
ARTICLE INFO
History of the article :
Received 15 Januari 2026 Received in revised form 20 Januari 2026 Accepted 22 Januari 2026 Available online 24 Januari 2026 Keywords:
Hardening Server.
Keamanan Sistem.
IoT.
Firewall.
SSH
* Correspondece:
Telepon:
E-mail:
agusharto@gmail.
ABSTRAK
Linux-based servers are extensively utilized as core infrastructure for network services, particularly as IoT Messaging Servers based on the MQTT However, many servers remain vulnerable to security breaches due to misconfigurations or unpatched flaws.
This study aims to implement and analyze the effectiveness of Linux server hardening in enhancing system security against network-based The research was conducted using Ubuntu Server 22.
04 running Mosquitto MQTT within a virtualized environment, employing a limited penetration testing approach.
Testing scenarios were focused on port scanning, brute-force authentication attacks, and unauthorized access to MQTT services, excluding kernel-level or zero-day The hardening methodology encompasses system updates.
SSH configuration hardening, user management.
UFW firewall implementation.
Fail2ban integration.
Mosquitto-specific hardening, and security log monitoring.
Security indicators were measured based on the reduction of open ports, the success rate of automated brute-force blocking, and the improvement in logging quality.
The results demonstrate a reduction in vulnerability exposure by up to 75% and a significant improvement in security detection and response.
This research contributes a novel measurable integration between hardening automation, firewalling, and IoT applications, thereby minimizing the risk of exploitation vulnerabilities.
TRANSFORMATIKA.
Vol.
No.
Januari 2026, pp.
220 - 237
INTRODUCTION
Perkembangan pesat dalam teknologi informasi telah membawa dampak besar terhadap kebutuhan akan server yang andal dan aman untuk mendukung berbagai layanan digital, baik dalam skala kecil maupun besar.
Di dunia digital yang semakin terkoneksi ini, server berperan sebagai tulang punggung utama yang menghubungkan berbagai sistem aplikasi, database, dan layanan jaringan yang digunakan oleh perusahaan, organisasi, dan individu.
Sebagai contoh, dalam lingkungan industri dan akademik, server berbasis Linux banyak dipilih karena kelebihannya sebagai sistem operasi open-source, stabil, dan fleksibel, yang memungkinkannya digunakan pada berbagai macam aplikasi, seperti server web, database server, dan server aplikasi .
Namun, meskipun memiliki banyak kelebihan, server berbasis Linux tidak terlepas dari risiko yang dapat mengancam keberlangsungan layanan dan keamanan data.
Linux, meskipun terkenal aman dibandingkan beberapa sistem operasi lainnya, tetap memiliki berbagai celah keamanan yang bisa dimanfaatkan oleh pihak yang tidak bertanggung jawab.
Berbagai jenis serangan siber yang kerap menargetkan server Linux, seperti serangan brute force, privilege escalation, dan malware, semakin meningkat.
Hal ini sejalan dengan data yang menunjukkan bahwa lebih dari 60% serangan terhadap sistem server berasal dari serangan brute force yang mengeksploitasi kelemahan autentikasi, terutama pada protokol SSH (Secure Shel.
yang tidak diproteksi dengan baik .
Meskipun demikian, banyak administrator sistem yang masih menggunakan konfigurasi default tanpa penyesuaian lebih lanjut.
Konfigurasi ini, meskipun berfungsi untuk operasi dasar, tidak cukup memberikan perlindungan terhadap serangan yang semakin canggih dan beragam.
Salah satu alasan mengapa konfigurasi default ini sering digunakan adalah karena banyak pengguna yang belum memahami betul bagaimana hardening sistem yang tepat untuk mengurangi celah keamanan.
Tanpa pengamanan tambahan, server rentan terhadap serangan yang dapat menyebabkan kebocoran data penting, gangguan layanan, bahkan kerusakan yang tidak dapat diperbaiki dalam beberapa kasus .
Hardening server adalah proses pengamanan yang dilakukan dengan cara mengurangi celah keamanan yang ada melalui berbagai teknik konfigurasi, pembatasan akses, penonaktifan layanan yang tidak diperlukan, serta penerapan kebijakan keamanan yang ketat.
Tujuan utama dari hardening server adalah untuk mengurangi permukaan serangan dengan membuat server lebih sulit diakses dan lebih tahan terhadap upaya eksploitasi celah-celah keamanan.
Dalam konteks Linux, hardening melibatkan berbagai langkah penting seperti pengaturan firewall, pengelolaan akses SSH, manajemen user dan hak akses, serta penerapan sistem deteksi intrusi (IDS) seperti fail2ban yang dapat memblokir percobaan serangan brute force.
Penelitian sebelumnya menunjukkan bahwa dengan melakukan hardening yang tepat, server Linux dapat memiliki tingkat ketahanan yang jauh lebih baik terhadap serangan siber .
Berbagai teknik hardening yang umum diterapkan pada server Linux antara lain adalah:
Pengaturan Konfigurasi SSH: Mengubah port default SSH, menonaktifkan login root, dan menggunakan autentikasi berbasis kunci .
ublic key authenticatio.
untuk menghindari percobaan serangan brute force yang sering dilakukan melalui login menggunakan username dan Firewall dan Pengaturan IP: Penerapan firewall seperti iptables atau ufw (Uncomplicated Firewal.
untuk membatasi akses hanya pada layanan yang diperlukan, serta memblokir port atau alamat IP yang mencurigakan.
Fail2Ban dan Proteksi terhadap Serangan Brute Force: Menggunakan fail2ban, yang secara otomatis memblokir alamat IP yang mencoba melakukan percobaan login yang tidak sah lebih dari batas yang ditentukan, sehingga mengurangi kemungkinan serangan brute force.
Pembaharuan dan Patch Sistem: Menjaga agar sistem operasi dan aplikasi yang dijalankan di server selalu terupdate dengan patch keamanan terbaru untuk mencegah exploitasi terhadap celah-celah yang telah diketahui.
DOI: https://doi.
org/10.
26623/transformatika.
Penerapan Hardening Server Linux untuk Meningkatkan Keamanan Sistem Messaging IoT (Agus Hartant.
Menerapkan hardening pada server messaging IoT berbasis MQTT: Dengan melakukan modifikasi konfigurasi dan integrasi dengan fail2ban, diharapkan dapat melindungi komunikasi messaging pada IoT dari serangan akses illegal, sniffing dan DoS.
Monitoring dan Analisis Log Keamanan: Menerapkan monitoring log untuk mendeteksi aktivitas mencurigakan dan memastikan bahwa semua event terkait keamanan tercatat dengan baik untuk analisis lebih lanjut .
Selain itu, penelitian yang lebih mendalam tentang teknik hardening ini telah membuktikan bahwa langkah-langkah pengamanan yang lebih ketat pada server Linux dapat secara signifikan mengurangi risiko kebocoran data dan meningkatkan ketahanan sistem terhadap serangan denial of service (DoS), port scanning, dan serangan malware.
Salah satu contoh hasil yang ditemukan dalam sebuah studi adalah bahwa dengan mengaktifkan dan mengonfigurasi firewall yang benar, serta mengimplementasikan fail2ban, tingkat serangan yang berhasil masuk ke sistem dapat berkurang secara signifikan khususnya untuk server messaging IoT berbasis MQTT .
Tujuan dari penelitian ini adalah bagaimana menerapkan teknik hardening pada server Linux, dengan mengimplementasikan berbagai konfigurasi dan kebijakan pengamanan yang telah dibahas sebelumnya, untuk mengurangi potensi celah keamanan pada server Linux, menganalisis peningkatan keamanan setelah penerapan hardening dilakukan, dengan menguji server menggunakan berbagai simulasi serangan siber seperti brute force dan port scanning, serta membandingkan hasilnya dengan kondisi server sebelum hardening, memberikan panduan praktis tentang teknik hardening server Linux yang dapat diimplementasikan oleh administrator sistem untuk meningkatkan keamanan sistem informasi di lingkungan akademik maupun industri.
memberikan perlindungan Server IoT dengan menerapkan authentikasi, authorisasi, dan enkripsi.
Melalui penelitian ini, diharapkan dapat diperoleh gambaran yang jelas mengenai efektivitas hardening pada server Linux, serta memberikan kontribusi bagi pengelola sistem server untuk memperkuat proteksi terhadap potensi ancaman yang dapat merusak integritas, kerahasiaan, dan ketersediaan data.
RESEARCH METHODS
Keamanan Server Keamanan server merupakan aspek fundamental dalam pengelolaan sistem informasi.
Sebagai pusat penyimpanan data dan penghubung berbagai sistem aplikasi, server memiliki peran yang sangat vital dalam dunia digital.
Oleh karena itu, menjaga keamanan server adalah langkah penting untuk memastikan keberlanjutan operasional dan melindungi informasi sensitif dari ancaman yang bisa datang kapan saja.
Keamanan server dapat didefinisikan sebagai upaya untuk melindungi sistem server dari akses yang tidak sah, serangan siber, dan berbagai ancaman lain yang dapat mengganggu integritas, kerahasiaan, dan ketersediaan data.
Dalam banyak kasus, server menjadi target utama serangan karena mereka sering kali menyimpan informasi yang sangat bernilai, seperti data pengguna, informasi perusahaan, data keuangan, dan aplikasi bisnis yang Jika server berhasil disusupi oleh pihak yang tidak bertanggung jawab, konsekuensinya bisa sangat besar, termasuk kebocoran data, kerusakan sistem, dan gangguan layanan yang dapat merugikan organisasi dalam jangka panjang .
Beberapa penelitian sebelumnya membahas hardening server Linux secara umum, namun masih terbatas pada lapisan sistem operasi tanpa mengkaji integrasi keamanan pada layanan aplikasi IoT berbasis MQTT serta dampaknya terhadap mekanisme deteksi dan respons serangan .
Oleh karena itu, penelitian ini difokuskan pada penerapan hardening secara terpadu pada sistem operasi dan Messaging Server IoT untuk memberikan evaluasi keamanan yang lebih Penelitian ini dibatasi pada pengujian serangan jaringan umum melalui pendekatan limited penetration testing, tanpa mencakup eksploitasi kernel, zero-day vulnerability, maupun serangan fisik perangkat IoT.
Beberapa ancaman yang kerap mengincar server antara lain adalah:
TRANSFORMATIKA.
Vol.
No.
Januari 2026, pp.
220 - 237
Serangan Brute Force: Merupakan jenis serangan yang dilakukan dengan mencoba kombinasi password secara berulang-ulang hingga menemukan kata sandi yang benar.
Serangan ini sering kali ditujukan pada layanan yang memerlukan autentikasi, seperti SSH atau FTP.
Privilege Escalation: Terjadi ketika seorang penyerang yang telah berhasil memperoleh akses ke sistem mencoba untuk meningkatkan hak aksesnya, dari seorang pengguna biasa menjadi administrator atau root.
Malware: Perangkat lunak berbahaya yang dapat merusak sistem atau mencuri data sensitif.
Malware bisa berupa virus, trojan, ransomware, atau spyware yang menginfeksi server dan menyebar ke jaringan yang terhubung.
Denial of Service (DoS) dan Distributed Denial of Service (DDoS): Serangan yang bertujuan untuk menghambat akses pengguna yang sah ke server dengan cara membanjiri server dengan lalu lintas data yang sangat besar, sehingga server menjadi tidak responsif.
Pentingnya mengamankan server tidak hanya terbatas pada proteksi fisik terhadap perangkat keras, tetapi juga mencakup langkah-langkah untuk mengelola dan mengonfigurasi perangkat lunak yang berjalan di atasnya, serta cara-cara untuk memantau dan merespons potensi ancaman yang mungkin Beberapa pendekatan utama dalam meningkatkan keamanan server antara lain:
Pemantauan Aktif: Memastikan bahwa semua aktivitas yang mencurigakan dapat segera terdeteksi dan Keamanan Jaringan: Menggunakan firewall dan teknik segmentasi jaringan untuk mengisolasi server dari ancaman eksternal.
Penggunaan Otentikasi Ganda: Menggunakan multi-factor authentication (MFA) untuk menambah lapisan keamanan tambahan pada proses login ke server.
Pencadangan (Backu.
: Menyusun kebijakan pencadangan untuk melindungi data penting dan memulihkan sistem setelah terjadi serangan atau gangguan.
Keamanan server adalah kombinasi dari banyak strategi yang berbeda dan memerlukan pendekatan berlapis untuk memberikan perlindungan yang maksimal .
Sistem Operasi Linux Linux merupakan sistem operasi berbasis open-source yang banyak digunakan pada server karena keunggulannya dalam hal kestabilan, efisiensi biaya, skalabilitas, serta fleksibilitas Model pengembangan terbuka memungkinkan komunitas pengembang secara berkelanjutan memperbaiki dan meningkatkan kualitas sistem, sehingga Linux sering dianggap lebih aman dibandingkan sistem operasi lainnya.
Meskipun demikian.
Linux tetap tidak terlepas dari risiko serangan siber, khususnya apabila dijalankan dengan konfigurasi default.
Beberapa kerentanan umum meliputi layanan dan port yang terbuka secara bawaan, mekanisme autentikasi yang lemah seperti penggunaan kata sandi yang tidak kuat atau akses root yang tidak dibatasi, keterlambatan pembaruan keamanan, serta pengaturan hak akses file dan direktori yang tidak tepat.
Kondisi tersebut dapat meningkatkan peluang eksploitasi oleh pihak tidak berwenang.
Oleh karena itu, penerapan langkah-langkah hardening diperlukan untuk memperkuat konfigurasi keamanan Linux dan meminimalkan potensi ancaman pada server.
Messaging Server Iot Sistem messaging berbasis MQTT menggunakan arsitektur yang terdistribusi, di mana MQTT Server (Linu.
bertindak sebagai pusat penghubung data.
Proses komunikasi dimulai dengan Fog Computing, yang berfungsi untuk mengolah data sebelum diteruskan ke Edge Computing & Sensors.
Pada sisi ini, berbagai perangkat seperti kamera pengawas, sensor suhu, dan perangkat IoT lainnya dapat mengirim dan menerima informasi.
MQTT menerapkan model komunikasi publish-subscribe, di mana perangkat dapat mengirimkan data .
dan menerima data .
sesuai dengan topik yang relevan.
Dengan mekanisme ini.
MQTT memungkinkan komunikasi yang efisien, terstruktur, dan aman dalam jaringan IoT yang besar dan dinamis .
, alur proses bisa dilihat pada Gambar 1.
DOI: https://doi.
org/10.
26623/transformatika.
Penerapan Hardening Server Linux untuk Meningkatkan Keamanan Sistem Messaging IoT (Agus Hartant.
Gambar 1 Ilustrasi cara kerja MQTT/Sistem Messaging pada IoT Server Hardening Server Hardening server merupakan serangkaian upaya sistematis untuk mengurangi permukaan serangan dan meningkatkan ketahanan server terhadap ancaman siber melalui pembatasan akses dan penguatan konfigurasi sistem.
Pendekatan ini bersifat holistik dan mencakup berbagai aspek pengelolaan server, antara lain penonaktifan layanan yang tidak diperlukan, pengelolaan pengguna serta pembatasan hak akses, dan konfigurasi Secure Shell (SSH) yang aman guna mencegah serangan brute force dan kebocoran kredensial.
Selain itu, hardening juga melibatkan penerapan firewall untuk membatasi lalu lintas jaringan, penggunaan Fail2ban sebagai mekanisme otomatisasi pemblokiran serangan berulang, serta hardening layanan aplikasi seperti Messaging Server IoT berbasis MQTT melalui autentikasi, otorisasi, dan enkripsi.
Pembaruan sistem dan patch keamanan secara berkala serta monitoring log keamanan turut berperan penting dalam mendeteksi, menganalisis, dan merespons potensi serangan secara dini, sehingga keamanan server dapat terjaga secara berkelanjutan .
Metodologi penelitian ini disusun untuk memberikan gambaran teknis dan sistematis mengenai proses hardening server Linux yang dilakukan, mulai dari lingkungan penelitian, tahapan hardening, hingga metode pengujian keamanan.
Lingkungan Penelitian Lingkungan penelitian menggunakan sistem operasi Ubuntu Server 22.
04 LTS yang dijalankan pada mesin virtual.
Virtualisasi dilakukan menggunakan VirtualBox/VMware dengan spesifikasi minimal 2 CPU core.
RAM 2 GB, dan penyimpanan 40 GB.
Penggunaan mesin virtual bertujuan untuk mensimulasikan kondisi server nyata tanpa mengganggu sistem produksi.
Server dikonfigurasikan sebagai server uji dengan akses jaringan terbatas, hanya dapat diakses dari jaringan lokal peneliti.
Layanan yang diaktifkan pada server ini meliputi layanan SSH sebagai media administrasi jarak jauh.
Konfigurasi awal sistem masih menggunakan pengaturan default Ubuntu Server sebelum dilakukan hardening, sehingga dapat dibandingkan kondisi keamanan sebelum dan sesudah penerapan hardening.
Tahapan Hardening Tahapan hardening dilakukan secara bertahap agar setiap perubahan dapat diamati dampaknya terhadap keamanan sistem.
Update dan Upgrade Sistem Operasi Langkah awal hardening adalah memastikan sistem operasi berada pada versi terbaru untuk menutup celah keamanan yang telah diketahui.
Proses update dan upgrade dilakukan dengan perintah berikut:
sudo apt update sudo apt upgrade -y sudo apt autoremove -y Output terminal saat proses update:
TRANSFORMATIKA.
Vol.
No.
Januari 2026, pp.
220 - 237
Get:1 http://archive.
com jammy InRelease Fetched 2,345 kB in 2s Reading package lists.
Done Building dependency tree.
Done All packages are up to date.
Pembaruan sistem ini penting karena banyak serangan memanfaatkan kerentanan dari paket yang belum diperbarui.
Konfigurasi SSH untuk Hardening Secure Shell (SSH) merupakan pintu utama akses ke server sehingga perlu dikonfigurasi dengan Beberapa langkah hardening SSH yang dilakukan antara lain:
Mengubah port default SSH .
Menonaktifkan login root .
Membatasi autentikasi berbasis password File konfigurasi SSH diedit menggunakan perintah:
sudo nano /etc/ssh/sshd_config Konfigurasi yang diterapkan:
Port 2222 PermitRootLogin no PasswordAuthentication no PubkeyAuthentication yes AllowUsers admin Setelah konfigurasi diubah, layanan SSH direstart:
sudo systemctl restart ssh Langkah ini secara signifikan mengurangi risiko serangan brute force dan eksploitasi akun root.
Manajemen User dan Hak Akses Manajemen user dilakukan dengan prinsip least privilege, yaitu setiap user hanya diberikan hak akses sesuai kebutuhan.
Pembuatan user baru:
sudo adduser admin sudo usermod -aG sudo admin Penonaktifan login root secara langsung memastikan bahwa administrator harus login menggunakan user biasa terlebih dahulu sebelum menggunakan hak akses administratif melalui Konfigurasi Firewall Firewall digunakan untuk membatasi akses jaringan hanya pada layanan yang diperlukan.
Penelitian ini menggunakan UFW (Uncomplicated Firewal.
Aktivasi dan konfigurasi firewall:
sudo ufw default deny incoming sudo ufw default allow outgoing sudo ufw allow 2222/tcp sudo ufw enable Status firewall:
Status: active Action From 2222/tcp ALLOW Anywhere Konfigurasi ini memastikan bahwa hanya port SSH yang diizinkan dan semua koneksi lain diblokir secara default.
Instalasi dan Konfigurasi Fail2ban Fail2ban digunakan untuk melindungi server dari serangan brute force dengan cara memblokir alamat IP yang melakukan percobaan login berulang.
DOI: https://doi.
org/10.
26623/transformatika.
Penerapan Hardening Server Linux untuk Meningkatkan Keamanan Sistem Messaging IoT (Agus Hartant.
Instalasi Fail2ban:
sudo apt install fail2ban -y Konfigurasi dilakukan dengan membuat file lokal:
sudo nano /etc/fail2ban/jail.
Contoh konfigurasi SSH jail:
enabled = true port = 2222 maxretry = 3 bantime = 3600 findtime = 600 .
enabled = true port = 1883,8883 filter = mosquitto logpath = /var/log/mosquitto/mosquitto.
Restart layanan Fail2ban:
sudo systemctl restart fail2ban Hardening MQTT/Mosquitto Server .
Authentication Config Menonaktifkan Anonymous Access Allow_anonymous false Tujuannya adalah menghilangkan akses tidak terautentikasi, mencegah device ilegal masuk broker, autentikasi Berbasis Username & Password password_file /etc/mosquitto/passwd Tujuannya adalah kontrol identitas device, mendukung logging dan audit trail .
Authorization Topic Level (ACL) Penerapan Access Control List (ACL) acl_file /etc/mosquitto/acl user sensor1 topic read sensor/temperature topic write sensor/temperature Tujuannya adalah membatasi privilege tiap device, mencegah lateral movement antar .
Enkripsi data Mosquitto Server Penerapan Access Control List (ACL) acl_file /etc/mosquitto/acl Konfigurasi mosquitto.
user sensor1 topic read sensor/temperature topic write sensor/temperature Tujuannya adalah membatasi privilege tiap device, mencegah lateral movement antar .
Hardening Identitas Device Validasi Client ID Unik check_clientid true Tujuannya adalah mencegah device spoofing, mencegah takeover koneksi .
Proteksi terhadap Brute Force & Flood Attack TRANSFORMATIKA.
Vol.
No.
Januari 2026, pp.
220 - 237
Rate Limiting MQTT Connection connection_messages true max_connections 100 Konfigurasi firewall:
ufw limit 1883/tcp Tujuannya adalah menurunkan risiko DoS, menjaga availability broker .
Logging & Monitoring Keamanan IoT .
Aktivasi Log Level Keamanan Mosquitto Tipe log yang di simpan, diaktifkan melalui konfigurasi berikut :
log_type error log_type warning log_type notice log_type security Tujuannya adalah mendukung analisis forensik, digunakan untuk evaluasi pre/post Monitoring Log Keamanan Monitoring log dilakukan untuk mendeteksi aktivitas mencurigakan.
Log SSH dapat dilihat sudo tail -f /var/log/auth.
Contoh log setelah penerapan Fail2ban:
Jan 10 10:32:15 server sshd.
: Failed password for invalid user test from 192.
Jan 10 10:32:20 server fail2ban.
actions: NOTICE .
Ban 192.
Log ini menunjukkan bahwa alamat IP penyerang berhasil diblokir secara otomatis.
Metode Pengujian Metode pengujian dalam penelitian ini dirancang untuk mengevaluasi efektivitas penerapan teknik hardening pada server Linux dalam meningkatkan keamanan sistem terhadap ancaman jaringan yang umum terjadi.
Pengujian dilakukan menggunakan pendekatan limited penetration testing berupa simulasi serangan terkontrol dan terukur .
ontrolled attack simulatio.
pada lingkungan laboratorium tertutup berbasis mesin virtual, dengan server sebagai target dan mesin terpisah sebagai attacker.
Pendekatan ini memastikan proses pengujian berlangsung secara etis, legal, dan dapat direproduksi, sekaligus memungkinkan evaluasi ketahanan sistem tanpa menimbulkan dampak pada lingkungan produksi.
Pengujian memanfaatkan perangkat lunak keamanan yang umum digunakan dalam penelitian dan praktik keamanan siber sehingga hasil yang diperoleh merepresentasikan kondisi ancaman yang realistis .
Evaluasi keamanan dilakukan dengan membandingkan kondisi server sebelum dan sesudah penerapan hardening.
Perbandingan ini difokuskan pada tiga skenario pengujian utama, yaitu:
pengujian eksposur layanan jaringan melalui port scanning, pengujian ketahanan terhadap serangan brute force pada layanan SSH, dan analisis log keamanan sistem untuk menilai kemampuan deteksi dan respons otomatis.
Pengujian Port Scanning Menggunakan Nmap Pengujian port scanning dilakukan untuk mengidentifikasi layanan jaringan yang aktif dan dapat diakses oleh pihak eksternal, karena layanan yang terbuka secara tidak perlu berpotensi menjadi vektor serangan.
Pengujian dilaksanakan menggunakan Nmap dari mesin attacker yang berada pada jaringan yang sama dengan server uji, dengan menerapkan metode TCP SYN scan.
Metode ini dipilih karena umum digunakan dalam praktik serangan untuk mendeteksi layanan aktif secara cepat serta relatif sulit terdeteksi oleh sistem target, sehingga hasil pengujian merepresentasikan kondisi ancaman yang realistis .
Perintah yang digunakan dalam pengujian adalah sebagai berikut:
nmap -sS -sV 192.
DOI: https://doi.
org/10.
26623/transformatika.
Penerapan Hardening Server Linux untuk Meningkatkan Keamanan Sistem Messaging IoT (Agus Hartant.
Pengujian dilakukan dalam dua tahap, yaitu sebelum dan sesudah penerapan hardening.
Pada tahap awal, server berada dalam kondisi konfigurasi default sistem operasi, sehingga hasil pemindaian merepresentasikan kondisi keamanan sebelum dilakukan pengamanan tambahan.
Setelah hardening diterapkan, pengujian diulang menggunakan parameter yang sama untuk memperoleh hasil yang dapat dibandingkan secara langsung.
Parameter yang diamati dalam pengujian ini meliputi jumlah port terbuka, jenis layanan yang berjalan, serta perubahan eksposur layanan jaringan setelah hardening.
Hasil dari pengujian ini digunakan untuk menilai sejauh mana hardening mampu mengurangi permukaan serangan pada sisi jaringan.
Pengujian Serangan Brute Force SSH Menggunakan Hydra Pengujian serangan brute force SSH dilakukan untuk mengevaluasi ketahanan sistem terhadap upaya akses tidak sah melalui layanan Secure Shell (SSH), yang merupakan salah satu vektor serangan paling umum pada server dengan konfigurasi autentikasi yang lemah.
Pengujian dilaksanakan menggunakan THC-Hydra, sebuah brute force tool yang banyak digunakan dalam penelitian dan praktik penetration testing karena kemampuannya melakukan percobaan autentikasi secara otomatis dan berulang.
Simulasi serangan dijalankan dari mesin attacker terhadap layanan SSH pada server target dengan menggunakan wordlist sederhana yang merepresentasikan skenario serangan skala kecil namun realistis, sehingga hasil pengujian dapat menggambarkan kondisi ancaman yang umum terjadi di lingkungan nyata .
Perintah yang digunakan dalam pengujian adalah sebagai berikut:
hydra -l admin -P wordlist.
txt ssh://192.
10 -s 2222 Pengujian dilakukan pada dua kondisi sistem.
Pada kondisi sebelum hardening, server masih menggunakan konfigurasi SSH standar tanpa mekanisme pembatasan percobaan login.
Pada kondisi sesudah hardening, server telah dilengkapi dengan konfigurasi SSH yang lebih ketat serta mekanisme perlindungan tambahan menggunakan Fail2ban.
Parameter yang diamati dalam pengujian ini meliputi jumlah percobaan login yang diizinkan, respons sistem terhadap kegagalan autentikasi berulang, serta keberhasilan atau kegagalan tool Hydra dalam melanjutkan serangan.
Hasil pengujian ini digunakan untuk menilai efektivitas hardening dalam mencegah serangan brute force berbasis automated tools .
Analisis Log Keamanan Sistem Analisis log keamanan dilakukan untuk mengevaluasi kemampuan sistem dalam mencatat, mendeteksi, dan merespons aktivitas mencurigakan.
Log merupakan komponen penting dalam sistem keamanan karena berfungsi sebagai sumber informasi utama untuk mendeteksi serangan dan melakukan investigasi insiden.
Dalam penelitian ini, log yang dianalisis meliputi log autentikasi sistem yang tersimpan pada berkas /var/log/auth.
log serta log yang dihasilkan oleh Fail2ban.
Analisis dilakukan dengan membandingkan pola log sebelum dan sesudah hardening untuk mengidentifikasi perubahan dalam intensitas serangan, kualitas pencatatan, serta respons sistem terhadap ancaman .
Parameter yang dianalisis meliputi keberadaan login root melalui SSH, frekuensi percobaan login gagal, keberadaan mekanisme deteksi otomatis, serta tindakan respons yang diambil oleh sistem.
Analisis log ini digunakan untuk menilai apakah hardening tidak hanya meningkatkan pencegahan serangan, tetapi juga memperbaiki kemampuan deteksi dan respons sistem secara keseluruhan .
HASIL
Setelah melakukan pengujian serangan dan penerapan hardening, kemudian dilakukan pencatatan pada perubahan kondisi keamanan sistem sebelum dan sesudah hardening, dengan menitikberatkan pada tiga aspek utama, yaitu eksposur layanan jaringan, ketahanan terhadap serangan brute force SSH, dan efektivitas monitoring log keamanan.
TRANSFORMATIKA.
Vol.
No.
Januari 2026, pp.
220 - 237
Hasil Pengujian Eksposur Layanan Jaringan Hasil pengujian port scanning menunjukkan adanya perbedaan yang signifikan antara kondisi server sebelum dan sesudah penerapan hardening.
Pada kondisi sebelum hardening, server masih menjalankan beberapa layanan default yang dapat diakses dari jaringan eksternal.
Layananlayanan ini meningkatkan permukaan serangan karena menyediakan lebih banyak titik masuk bagi Setelah penerapan hardening, layanan yang tidak diperlukan dinonaktifkan dan akses jaringan dibatasi menggunakan firewall.
Hasil pemindaian menunjukkan bahwa hanya satu port yang dapat diakses dari jaringan eksternal, yaitu port SSH yang telah dipindahkan ke port nondefault.
Tabel 1.
Hasil Pengujian Port Scanning Kondisi Sistem Jumlah Port Terbuka Port yang Terdeteksi Sebelum hardening 22, 80, 631,1883 Sesudah hardening Keterangan Layanan default aktif Akses dibatasi firewall Tabel 1 menunjukkan bahwa penerapan hardening berhasil mengurangi jumlah port terbuka sebesar 75%, yang secara langsung menurunkan potensi vektor serangan dari sisi jaringan.
Hasil Pengujian Ketahanan terhadap Serangan Brute Force SSH Hasil pengujian brute force SSH menunjukkan perbedaan yang sangat jelas antara kondisi sebelum dan sesudah hardening.
Pada kondisi awal, server tidak memiliki mekanisme pembatasan terhadap percobaan login, sehingga tool Hydra dapat melakukan serangan secara terus-menerus tanpa hambatan berarti.
Setelah hardening diterapkan, sistem menunjukkan respons yang jauh lebih baik.
Percobaan login gagal yang terjadi secara berulang langsung terdeteksi oleh Fail2ban, dan alamat IP attacker diblokir secara otomatis dalam waktu singkat.
Tabel 2.
Hasil Pengujian Brute Force SSH Parameter Pengujian Sebelum Hardening Sesudah Hardening Jumlah percobaan login Tidak dibatasi Maks.
3 kali Respons sistem Tidak ada IP diblokir otomatis Status serangan Hydra Berjalan terus Terhenti Waktu pemblokiran Tidak ada 3600 detik Tabel 2 menunjukkan bahwa kombinasi konfigurasi SSH yang aman dan penerapan Fail2ban secara signifikan meningkatkan ketahanan server terhadap serangan brute force.
Tabel 3.
Hasil Pengujian MQTT Server Sebelum Sesudah Pengujian Hardening Hardening Anonymous MQTT Berhasil Ditolak Unauthorized subscribe Berhasil Ditolak Brute force login MQTT Berhasil Diblok Fail2ban MQTT sniffing Data terbaca Terenkripsi DOI: https://doi.
org/10.
26623/transformatika.
Penerapan Hardening Server Linux untuk Meningkatkan Keamanan Sistem Messaging IoT (Agus Hartant.
Pengujian Port scanning Sebelum Hardening Banyak port Sesudah Hardening Terbatas Tabel 3 menunjukkan hasil sebelum dan sesudah dilakukan hardening pada MQTT Server Mosquitto.
Hasil Analisis Log Keamanan Analisis log keamanan menunjukkan bahwa penerapan hardening tidak hanya meningkatkan pencegahan serangan, tetapi juga memperbaiki kemampuan sistem dalam mendeteksi dan merespons ancaman.
Pada kondisi sebelum hardening, log sistem mencatat banyak percobaan login ilegal tanpa adanya tindakan lanjutan dari sistem.
Setelah hardening, log sistem menunjukkan pola yang lebih terstruktur.
Percobaan login ilegal tercatat dengan jelas dan diikuti oleh entri pemblokiran otomatis oleh Fail2ban.
Perbandingan aktifitas log keamanan dapat dilihat pada tabel 4.
Tabel 4 Perbandingan Aktivitas Log Keamanan Aspek Analisis Sebelum Hardening Sesudah Hardening Login root melalui SSH Terdeteksi Tidak ditemukan Percobaan login berulang Tinggi Rendah Deteksi otomatis serangan Tidak ada Ada Respons sistem Pasif Aktif .
Analisis Waktu Respons Sistem (Response Tim.
terhadap Serangan Selain meningkatkan ketahanan terhadap serangan, penerapan hardening pada server Linux diharapkan tidak menurunkan kinerja sistem secara signifikan.
Oleh karena itu, penelitian ini juga mengevaluasi response time server selama simulasi serangan, baik sebelum maupun sesudah penerapan hardening.
Response time didefinisikan sebagai waktu yang dibutuhkan server untuk memberikan respons terhadap permintaan koneksi dari sisi attacker, khususnya pada layanan SSH selama berlangsungnya serangan brute force.
Parameter ini dianalisis untuk menilai dampak mekanisme keamanan tambahan, seperti firewall, pencatatan log, dan Fail2ban, yang berpotensi menimbulkan overhead pemrosesan pada sistem.
Metode Pengukuran Waktu Respons Pengukuran waktu respons dilakukan dengan mencatat round-trip time (RTT) koneksi SSH dari mesin attacker ke server target selama simulasi serangan brute force menggunakan Hydra.
Pengukuran dilakukan dalam kondisi jaringan yang sama untuk kedua skenario, sehingga perbedaan waktu respons yang terjadi dapat dikaitkan secara langsung dengan penerapan hardening .
Pengujian dilakukan dengan parameter sebagai berikut:
- Layanan yang diuji: SSH - Jumlah percobaan koneksi: 20 percobaan berturut-turut - Kondisi sistem: sebelum hardening dan sesudah hardening .
irewall aktif.
SSH hardening.
MQTT Server hardeningm,Fail2ban akti.
Nilai response time diambil dari rata-rata waktu respons koneksi sebelum autentikasi berhasil atau ditolak oleh sistem.
Hasil Pengukuran Waktu Respons Hasil pengujian menunjukkan adanya peningkatan waktu respons sistem setelah penerapan hardening dibandingkan kondisi sebelum hardening.
Pada kondisi awal, server merespons TRANSFORMATIKA.
Vol.
No.
Januari 2026, pp.
220 - 237
permintaan koneksi lebih cepat karena belum adanya proses keamanan tambahan.
Setelah hardening diterapkan, sistem melakukan inspeksi firewall, pencatatan log autentikasi, serta pemantauan oleh Fail2ban, yang menyebabkan bertambahnya waktu pemrosesan.
Berdasarkan hasil pada Tabel 5, rata-rata response time meningkat sebesar 26 ms atau sekitar 61,9%.
Meskipun terjadi peningkatan, nilai response time tetap berada di bawah 100 ms, yang secara umum masih dianggap responsif dan dapat diterima untuk layanan SSH pada lingkungan server.
Kondisi Sistem Sebelum Sesudah Tabel 5.
Hasil Pengukuran Response Time SSH Saat Serangan Rata-rata Response Time Response Time Response Time Keterangan Minimum .
Maksimum .
Respons cepat, tanpa 42 ms 38 ms 47 ms inspeksi keamanan Ada inspeksi firewall 68 ms 60 ms 75 ms dan logging Analisis Dampak Hardening terhadap Kinerja Sistem Peningkatan waktu respons yang terjadi setelah hardening merupakan konsekuensi logis dari penambahan mekanisme keamanan pada sistem .
Firewall melakukan pemeriksaan paket, sistem mencatat aktivitas autentikasi secara detail, dan Fail2ban memonitor pola serangan secara Seluruh proses ini menambah beban kerja sistem, namun memberikan keuntungan signifikan dari sisi keamanan.
Secara keseluruhan, hasil ini menunjukkan bahwa penerapan hardening pada server Linux memberikan trade-off yang seimbang antara keamanan dan kinerja.
Peningkatan waktu respons yang relatif kecil dapat diterima mengingat manfaat keamanan yang diperoleh jauh lebih besar, khususnya dalam mencegah akses tidak sah dan serangan berulang.
Response Time Berdasarkan hasil pengujian response time, dapat disimpulkan bahwa:
Hardening server Linux menyebabkan peningkatan waktu respons sistem saat terjadi serangan.
Peningkatan response time masih berada dalam batas normal dan tidak mengganggu layanan.
Sistem tetap responsif sekaligus lebih aman terhadap serangan brute force dan aktivitas Dengan demikian, penerapan hardening tidak hanya meningkatkan aspek keamanan, tetapi juga tetap mempertahankan kinerja sistem pada tingkat yang dapat diterima untuk penggunaan Gambar 2.
Grafik Hasil Hardening Server DOI: https://doi.
org/10.
26623/transformatika.
Penerapan Hardening Server Linux untuk Meningkatkan Keamanan Sistem Messaging IoT (Agus Hartant.
Grafik pada gambar2 menunjukkan bahwa, berdasarkan seluruh hasil pengujian, dapat disimpulkan bahwa penerapan hardening server Linux memberikan peningkatan keamanan yang signifikan.
Pengurangan eksposur layanan jaringan, kegagalan serangan brute force menggunakan attacker tools, serta peningkatan kualitas monitoring log menunjukkan bahwa server menjadi lebih tangguh terhadap ancaman siber yang umum terjadi.
Hasil ini menegaskan bahwa hardening merupakan langkah fundamental yang perlu diterapkan dalam pengelolaan server Linux, baik di lingkungan akademik maupun industri.
DISCUSSION