Journal of Informatics.
Electrical and Electronics Engineering ISSN 2807-9507 (Media Onlin.
Vol 5 No 1.
September 2025.
Page: 9 -20 https://djournals.
com/jie DOI: 10.
47065/jie.
Efektivitas Pelatihan Awal Berbasis Domain Spesifik Legal-BERT Untuk Natural Language Processing Hukum: Replikasi Dan Perluasan Studi Casehold Hasani Zakiri*.
Alva Hendi Muhammad.
Asro Nasiri Program Magister PJJ Informatika.
Fakultas Ilmu Komputer.
Universitas Amikom Yogyakarta.
Indonesia Email: 1,*hasanizakiri53@students.
id, 2alva@amikom.
id, 3asro@amikom.
Email Penulis Korespondensi: hasanizakiri53@students.
AbstractOePerkembangan model bahasa berbasis domain spesifik telah menunjukkan potensi signifikan pada berbagai bidang khusus.
Namun, efektivitasnya dalam Natural Language Processing (NLP) hukum masih belum banyak dieksplorasi, khususnya mengingat tantangan unik kompleksitas teks hukum dan terminologi spesialisasi.
NLP hukum memiliki aplikasi praktis seperti pencarian preseden hukum otomatis dan analisis putusan pengadilan yang dapat mempercepat proses penelitian hukum dari minggu menjadi jam.
Penelitian ini mengevaluasi dataset CaseHOLD untuk memberikan validasi empiris komprehensif terhadap manfaat pelatihan awal berbasis domain spesifik pada tugas NLP hukum dengan fokus pada efisiensi data dan analisis kompleksitas konteks.
Kami melakukan eksperimen sistematis menggunakan dataset CaseHOLD yang berisi 53.
000 pertanyaan pilihan ganda hukum.
Empat model dibandingkan: BiLSTM.
BERT-base.
Legal-BERT, dan RoBERTa pada variasi volume data pelatihan .
%, 10%, 50%, 100%) dan tingkat kompleksitas konteks.
Uji-t berpasangan dengan Cross-validation 10-lipat dan koreksi Bonferroni memastikan metodologi robust yang menjamin keandalan temuan.
Legal-BERT mencapai skor Macro F1-score tertinggi 69,5% .
% CI: .
,0, 71,.
) dengan peningkatan signifikan 7,2 poin persentase dibandingkan BERT-base .
,3%, p < 0,001.
Cohen's d= 1,.
RoBERTa menunjukkan kinerja kompetitif 68,9%, hampir menyamai Legal-BERT.
Peningkatan paling substansial terjadi pada kondisi data terbatas dengan peningkatan 16,6% pada 1% data pelatihan.
Analisis kompleksitas konteks mengungkapkan pola inverted-U dengan kinerja optimal pada teks 41-60 kata.
Skor Spesifisitas Domain (DS-scor.
yang diperkenalkan menunjukkan korelasi positif kuat .
= 0,73, p < 0,.
dengan efektivitas pelatihan awal, menjelaskan 53,3% varians dalam peningkatan kinerja.
Temuan memberikan bukti empiris bahwa pelatihan awal berbasis domain spesifik menawarkan keunggulan signifikan untuk tugas NLP hukum, terutama dalam kondisi data terbatas dan kompleksitas konteks sedang-tinggi.
Keunggulan utama penelitian ini adalah pengembangan kerangka prediktif DS-score yang memungkinkan estimasi manfaat sebelum implementasi, berbeda dari studi sebelumnya yang hanya mengevaluasi kinerja posthoc.
Hasil memiliki implikasi praktis untuk pengembangan sistem NLP hukum dalam lingkungan sumber daya terbatas dan memberikan panduan optimal untuk implementasi Legal-BERT.
Kata Kunci: NLP Hukum.
Pelatihan Domain Spesifik.
Legal-BERT.
Transformer.
CaseHOLD AbstractOeThe emergence of domain-specific language models has demonstrated significant potential across various specialized fields.
However, their effectiveness in legal natural language processing (NLP) remains underexplored, particularly given the unique challenges posed by legal text complexity and specialized terminology.
Legal NLP has practical applications such as automated legal precedent search and court decision analysis that can accelerate legal research from weeks to hours.
This study evaluates the CaseHOLD dataset to provide comprehensive empirical validation of domain-specific pretraining benefits for legal NLP tasks with focus on data efficiency and context complexity analysis.
We conducted systematic experiments using the CaseHOLD dataset containing 53,000 legal multiple-choice questions.
We compared four models: BiLSTM.
BERT-base.
Legal-BERT, and RoBERTa across varying data volumes .
%, 10%, 50%, 100%) and context complexity levels.
Paired t-tests with 10-fold cross-validation and Bonferroni correction ensure robust methodology that guarantees finding reliability.
Legal-BERT achieved the highest macro-F1 score of 69.
5% .
% CI:
0, 71.
), demonstrating a statistically significant improvement of 7.
2 percentage points over BERT-base .
3%, p < 0.
Cohen's d= 1.
RoBERTa showed competitive performance at 68.
9%, nearly matching Legal-BERT.
The most substantial improvements occurred under limited data conditions with 16.
6% improvement at 1% training data.
Context complexity analysis revealed an inverted-U pattern with optimal performance on 41-60 word texts.
The introduced Domain Specificity Score (DS-scor.
showed strong positive correlation .
= 0.
73, p < 0.
with pretraining effectiveness, explaining 53.
3% of performance improvement These findings provide empirical evidence that domain-specific pretraining offers significant advantages for legal NLP tasks, particularly under data-constrained conditions and moderate-high context complexity.
The key distinction of this research is the development of a predictive DS-score framework enabling benefit estimation before implementation, unlike previous studies that only evaluated post-hoc performance.
The results have practical implications for developing legal NLP systems in resource-limited environments and provide optimal implementation guidance for Legal-BERT.
Keywords: Legal NLP.
Domain-Specific Pretraining.
Legal-BERT.
Transformer.
PENDAHULUAN
Kemunculan model berbasis transformer, khususnya BERT (Bidirectional Encoder Representations from Transformer.
, telah merevolusi Natural language processing di berbagai domain.
Namun, domain hukum menghadirkan tantangan unik karena terminologi khusus, struktur sintaksis yang CaseHOLD.
Kompleks, dan pola penalaran spesifik domain yang membedakannya dari tugas pemrosesan teks pada umumnya .
Kemajuan terkini dalam kecerdasan buatan telah menunjukkan kemampuan luar biasa dalam tugas penalaran hukum, namun keberhasilan ini lebih melibatkan model umum berskala besar, sehingga menimbulkan pertanyaan tentang manfaat spesifik dari pelatihan awal .
re-traine.
yang terspesialisasi domain dalam NLP hukum, yang belum sepenuhnya dieksplorasi .
Domain hukum menghadirkan beberapa tantangan komputasional unik yang membedakannya dari domain lain, seperti: .
Kompleksitas Terminologi, yaitu dokumen hukum mengandung kosakata dan frasa yang sangat khusus yang jarang muncul dalam korpus umum .
Copyright A 2025 The Author.
Page 9 This Journal is licensed under a Creative Commons Attribution 4.
0 International License Journal of Informatics.
Electrical and Electronics Engineering ISSN 2807-9507 (Media Onlin.
Vol 5 No 1.
September 2025.
Page: 9 -20 https://djournals.
com/jie DOI: 10.
47065/jie.
Kompleksitas Sintaksis, yaitu penulisan hukum sering menggunakan struktur kalimat kompleks dan pola bahasa formal yang berbeda secara substansial dari teks percakapan atau berita .
Ketergantungan Kontekstual, yaitu penalaran hukum memerlukan pemahaman mendalam tentang preseden, kutipan, dan hubungan antar-dokumen .
Analisis Kutipan, dimana dokumen hukum sering mereferensikan teks hukum lain, memerlukan penanganan khusus untuk kutipan hukum dan referensi silang .
Beberapa penelitian terkait telah mengeksplorasi pengembangan model bahasa berbasis domain spesifik dengan hasil yang menjanjikan.
BioBERT .
merupakan salah satu model awal yang menunjukkan bahwa manfaat pelatihan awal berbasis domain spesifik, mencapai peningkatan signifikan pada tugas NLP biomedis.
Keberhasilan ini telah direplikasi di berbagai domain: SciBERT .
menunjukkan keuntungan substansial pada tugas pemrosesan teks ilmiah, dan ClinicalBERT .
meningkatkan pemrosesan catatan klinis.
Penelitian lebih lanjut dalam domain khusus mencakup pengembangan Clinical Longformer .
untuk menangani dokumen klinis yang panjang, dan model terbaru seperti SaulLM-7B .
yang dirancang khusus untuk tugas hukum.
Dalam domain hukum khususnya, penelitian terdahulu telah mengidentifikasi kebutuhan akan pendekatan yang lebih terspesialisasi untuk menangani kompleksitas linguistik dan struktural yang unik dalam teks hukum.
Perkembangan dalam arsitektur transformer telah memberikan fondasi yang kuat untuk pemrosesan teks hukum.
Model seperti BERT dan variannya telah menunjukkan kemampuan superior dalam memahami konteks dan hubungan semantik yang kompleks .
Namun, aplikasi langsung model-model ini pada domain hukum seringkali menghadapi keterbatasan dalam menangani terminologi khusus dan pola penalaran yang unik.
Legal-BERT .
dikembangkan sebagai model khusus yang dilatih pada korpus besar dokumen hukum dan menunjukkan hasil yang menjanjikan pada berbagai benchmark NLP hukum.
Penelitian paralel dalam pengembangan model domain-spesifik menunjukkan bahwa pendekatan transfer learning dengan fine-tuning domain dapat memberikan keunggulan signifikan dalam akurasi dan efisiensi .
Zheng et al.
memperkenalkan dataset CaseHOLD dan memberikan bukti yang meyakinkan bahwa pelatihan awal berbasis domain spesifik dapat meningkatkan kinerja secara signifikan pada tugas NLP hukum.
Penelitian mereka mewakili terobosan penting dalam NLP hukum dengan menunjukkan manfaat yang jelas dari pelatihan awal terspesialisasi pada tugas penalaran hukum yang menantang.
Namun, studi mereka terutama berfokus pada perbandingan Legal-BERT dengan BERT-base, meninggalkan ruang untuk analisis yang lebih komprehensif termasuk model mutakhir tambahan dan investigasi lebih mendalam tentang faktor-faktor yang berkontribusi pada peningkatan kinerja.
Penelitian terkini juga menunjukkan bahwa model transformer dapat ditingkatkan melalui optimisasi arsitektur seperti RoBERTa .
yang menggunakan strategi pelatihan yang diperbaiki.
Analisis kesenjangan penelitian dari studi sebelumnya menunjukkan beberapa area yang memerlukan investigasi lebih lanjut: .
belum ada validasi statistik yang komprehensif terhadap keunggulan Legal-BERT dengan metodologi yang ketat dan ukuran sampel yang memadai.
perbandingan dengan model transformer yang dioptimalkan seperti RoBERTa belum dilakukan secara sistematis.
analisis efisiensi data pada berbagai volume pelatihan belum dilakukan secara sistematis untuk memahami kondisi optimal penggunaan Legal-BERT .
hubungan antara spesifisitas domain dan efektivitas pelatihan awal belum diinvestigasi secara kuantitatif.
panduan praktis untuk implementasi dalam kondisi keterbatasan sumber daya masih terbatas dan belum berbasis bukti empiris.
Penelitian tambahan menunjukkan bahwa evaluasi model dalam konteks sumber daya terbatas menjadi semakin penting untuk aplikasi praktis .
Tujuan penelitian ini adalah untuk mereplikasi dan memperluas karya seminal Zheng et al.
dengan pendekatan yang lebih komprehensif: .
memberikan validasi empiris yang komprehensif terhadap efektivitas Legal-BERT melalui metodologi statistik yang ketat dengan Cross-validation dan koreksi untuk perbandingan berganda.
memperluas analisis dengan memasukkan model transformer tambahan dan baseline yang kuat untuk memberikan konteks perbandingan yang lebih luas.
mengembangkan kerangka prediktif untuk menilai manfaat pelatihan awal berbasis domain spesifik sebelum implementasi.
menganalisis efisiensi data pada berbagai kondisi pelatihan untuk memahami kapan Legal-BERT memberikan manfaat optimal.
memberikan rekomendasi praktis untuk praktisi NLP hukum berdasarkan temuan empiris.
Kontribusi teoretis yang diharapkan dari penelitian ini meliputi pemahaman yang lebih mendalam tentang mekanisme transfer learning dalam domain hukum, khususnya bagaimana representasi pengetahuan domain spesifik terbentuk dan dimanfaatkan dalam model transformer .
Analisis sistematis terhadap hubungan antara spesifisitas domain dan efektivitas model akan memberikan wawasan tentang kondisi optimal untuk penerapan pelatihan awal berbasis domain spesifik.
Selain itu, investigasi terhadap pola pembelajaran pada berbagai volume data akan memperkaya pemahaman teoretis tentang efisiensi sampel dalam transfer learning untuk aplikasi khusus .
Dari perspektif praktis, penelitian ini diharapkan menghasilkan panduan implementasi yang komprehensif untuk pengembangan sistem NLP hukum dalam berbagai konteks organisasi.
Kerangka DS-score yang diperkenalkan akan memberikan alat prediktif untuk menilai potensi keuntungan dari investasi dalam model domain spesifik sebelum implementasi skala besar.
Analisis cost-benefit yang disertakan akan membantu pengambil keputusan dalam memilih strategi teknologi yang optimal berdasarkan karakteristik data, kendala sumber daya, dan tujuan organisasi .
Signifikansi penelitian ini dalam konteks perkembangan teknologi hukum sangat substansial.
Industri layanan hukum mengalami transformasi digital yang dipercepat, dengan meningkatnya permintaan untuk solusi AI yang dapat meningkatkan efisiensi, akurasi, dan aksesibilitas layanan hukum.
Hasil penelitian ini akan memberikan landasan berbasis bukti untuk keputusan adopsi dalam AI hukum, mengurangi risiko investasi teknologi dan meningkatkan kemungkinan Copyright A 2025 The Author.
Page 10 This Journal is licensed under a Creative Commons Attribution 4.
0 International License Journal of Informatics.
Electrical and Electronics Engineering ISSN 2807-9507 (Media Onlin.
Vol 5 No 1.
September 2025.
Page: 9 -20 https://djournals.
com/jie DOI: 10.
47065/jie.
implementasi yang berhasil.
Lebih lanjut, temuan ini dapat menginformasikan pengembangan standar dan praktik terbaik untuk penerapan AI dalam konteks profesional hukum, sejalan dengan perkembangan terkini dalam legal technology yang telah didokumentasikan dalam MultiLegalPile .
dan LegalBench .
METODOLOGI PENELITIAN
1 Tahapan Penelitian Penelitian ini menggunakan pendekatan eksperimental sistematis yang terdiri dari beberapa tahapan utama seperti yang digambarkan dalam Gambar 1.
Gambar 1 menunjukkan alur kerja penelitian yang dimulai dari preparasi data CaseHOLD, dilanjutkan dengan konfigurasi empat model berbeda, eksperimen dengan variasi volume data dan kompleksitas konteks, hingga analisis statistik komprehensif.
Tahapan pertama adalah preparasi data dan prapemrosesan dataset CaseHOLD yang mencakup tokenisasi, pembersihan kutipan hukum, segmentasi konteks, dan normalisasi teks.
Tahapan kedua melibatkan konfigurasi dan pelatihan empat model yang berbeda: BiLSTM sebagai baseline tradisional.
BERT-base sebagai model transformer umum.
RoBERTa sebagai model transformer yang dioptimalkan, dan Legal-BERT sebagai model spesifik domain hukum.
Setiap model dikonfigurasi dengan hiperparameter yang identik untuk memastikan perbandingan yang adil:
learning rate 2e-5 dengan pemanasan linear selama 10% dari langkah pelatihan, batch size 16 dengan akumulasi gradien, maksimum 5 epoch dengan early stopping berdasarkan skor F1 validasi, dan weight decay 0,01 dengan optimisasi AdamW CA=0,9.
Tahapan ketiga adalah eksekusi eksperimen sistematis yang mencakup variasi volume data .
%, 10%, 50%, 100%), analisis kompleksitas konteks berdasarkan panjang teks, dan evaluasi dengan metodologi Cross-validation 10-lipat.
Tahapan terakhir melibatkan analisis statistik komprehensif menggunakan uji-t berpasangan dengan koreksi Bonferroni dan perhitungan ukuran efek CohenAos d.
Gambar 1.
Tahapan Metodologi Penelitian Sesuai dengan diagram 1 di atas, menunjukkan bahwa alur kerja penelitian mulai dari preparasi data CaseHOLD, konfigurasi empat model (BiLSTM.
BERT-base.
RoBERTa.
Legal-BERT), eksperimen dengan variasi volume data dan kompleksitas konteks, hingga analisis statistik komprehensif menggunakan cross-validation 10-lipat dengan koreksi Bonferroni.
Setiap model dikonfigurasi dengan hiperparameter yang identik untuk memastikan perbandingan yang adil:
learning rate 2e-5 dengan pemanasan linear selama 10% dari langkah pelatihan, batch size 16 dengan akumulasi gradien, maksimum 5 epoch dengan early stopping berdasarkan skor F1 validasi, dan weight decay 0,01 dengan optimisasi AdamW CA=0,9.
Tahapan ketiga adalah eksekusi eksperimen sistematis yang mencakup variasi volume data .
%, 10%, 50%, 100%), analisis kompleksitas konteks berdasarkan panjang teks, dan evaluasi dengan metodologi Cross-validation 10-lipat.
Tahapan terakhir melibatkan analisis statistik komprehensif menggunakan uji-t berpasangan dengan koreksi Bonferroni dan perhitungan ukuran efek Cohen's d.
2 Dataset dan Prapemrosesan Dataset CaseHOLD .
000 pertanyaan pilihan ganda hukum yang diturunkan dari kutipan kasus hukum.
Setiap instans terdiri dari konteks .
utipan teks hukum yang berisi sitas.
, pertanyaan implisit tentang holding hukum, dan lima Copyright A 2025 The Author.
Page 11 This Journal is licensed under a Creative Commons Attribution 4.
0 International License Journal of Informatics.
Electrical and Electronics Engineering ISSN 2807-9507 (Media Onlin.
Vol 5 No 1.
September 2025.
Page: 9 -20 https://djournals.
com/jie DOI: 10.
47065/jie.
pilihan ganda .
atu holding benar, empat pengeco.
Dataset dibagi menjadi set pelatihan .
%), validasi .
%), dan pengujian .
%) mengikuti metodologi asli untuk memastikan perbandingan langsung dengan karya sebelumnya.
Distribusi detail dataset ditampilkan dalam Tabel 1, yang menunjukkan konsistensi rata-rata panjang konteks dan jumlah token di seluruh subset, memastikan validitas perbandingan eksperimental.
Secara detail Tabel 1 menampilkan distribusi data CaseHOLD yang digunakan dalam penelitian, menunjukkan konsistensi rata-rata panjang konteks dan jumlah token di seluruh subset yang memastikan validitas perbandingan Tabel 1.
Statistik Dataset CaseHOLD Subset Training Validation Test Jumlah Instansi Rata-rata Panjang Konteks 45,2 kata 44,8 kata 45,1 kata Rata-rata Jumlah Token 512 token 510 token 511 token Pipeline prapemrosesan yang diimplementasikan mengikuti protokol yang telah ditetapkan untuk pemrosesan teks hukum .
meliputi: .
Tokenisasi menggunakan SentencePiece dengan kosakata 32.
000 token yang dioptimalkan untuk teks hukum melalui ekspansi kosakata berbasis domain spesifik.
Pembersihan kutipan dengan menghapus penanda kutipan hukum dan standardisasi format mengikuti standar kutipan Blue Book.
Segmentasi konteks dengan membatasi panjang konteks hingga 512 token untuk memastikan kompatibilitas di semua model sambil mempertahankan informasi dan .
Normalisasi teks dengan penerapan lowercase yang konsisten dan penanganan tanda baca khusus untuk singkatan hukum.
3 Arsitektur Model dan Konfigurasi Empat arsitektur model yang berbeda dievaluasi dalam penelitian ini untuk memberikan perbandingan komprehensif mulai dari pendekatan tradisional hingga transformer terspesialisasi domain.
BiLSTM digunakan sebagai baseline dengan 256 unit tersembunyi, dropout rate 0,3, dan embedding kata khusus domain hukum.
Arsitektur bidirectional memungkinkan model memproses teks dari kedua arah, memberikan pemahaman kontekstual yang lebih baik dibandingkan LSTM unidirectional.
BERT-base menggunakan 12 layer dengan representasi tersembunyi 768-dimensional dan 12 attention heads.
Mekanisme self-attention multi-head memungkinkan model untuk secara simultan memperhatikan semua posisi dalam urutan masukan, meningkatkan drastis kemampuan menangkap dependensi jarak jauh yang penting dalam analisis teks RoBERTa mempertahankan arsitektur transformer yang mirip dengan BERT namun dengan perbaikan signifikan dalam metodologi pelatihan, termasuk korpus yang lebih besar .
GB vs 16GB BERT), menghilangkan tugas Next Sentence Prediction, menggunakan dynamic masking, dan hiperparameter yang dioptimalkan.
Legal-BERT menggunakan arsitektur transformer yang sama dengan BERT namun dengan perbedaan krusial dalam korpus prapelatihan.
Model telah diekspos pada korpus hukum yang ekstensif mencakup case law, statutes, regulations, dan teks akademik hukum, menghasilkan representasi internal yang terspesialisasi untuk memproses terminologi dan pola penalaran hukum yang kompleks.
4 Skor Spesifisitas Domain (DS-scor.
Penelitian ini memperkenalkan Skor Spesifisitas Domain (Domain Specificity Scor.
baru yang dihitung menggunakan DS-score = (Jumlah_istilah_hukum / Jumlah_istilah_tota.
y Faktor_kompleksitas_hukum .
Dimana Faktor_kompleksitas_hukum memperhitungkan kepadatan kutipan, referensi preseden, dan kompleksitas penalaran hukum.
DS-score berkisar dari 0 hingga 1, dengan skor yang lebih tinggi menunjukkan konten yang lebih spesifik domain.
DS-score dihitung untuk setiap instansi dalam dataset CaseHOLD menggunakan kamus terminologi hukum yang telah divalidasi dan algoritma deteksi pola kutipan hukum.
Proses perhitungan melibatkan: .
identifikasi istilah hukum menggunakan lexicon Legal-BERT yang diperluas dengan terminologi dari Black's Law Dictionary.
deteksi pola kutipan menggunakan regular expressions untuk format Blue Book citations.
analisis kompleksitas struktural berdasarkan kedalaman referensi dan nested citations.
normalisasi skor menggunakan min-max scaling.
Hasil DS-score kemudian digunakan dalam analisis korelasi untuk mengukur hubungan antara spesifisitas domain konten dan peningkatan kinerja Legal-BERT dibandingkan model baseline, memberikan kerangka prediktif untuk estimasi manfaat implementasi.
5 Prosedur Eksperimental dan Kontrol Kualitas Implementasi eksperimen menggunakan protokol terstandar untuk memastikan reprodusibilitas dan validitas hasil.
Setiap eksperimen dijalankan dengan beberapa seed acak .
eed = 42, 123, 456, 789, .
untuk mengurangi variansi yang Copyright A 2025 The Author.
Page 12 This Journal is licensed under a Creative Commons Attribution 4.
0 International License Journal of Informatics.
Electrical and Electronics Engineering ISSN 2807-9507 (Media Onlin.
Vol 5 No 1.
September 2025.
Page: 9 -20 https://djournals.
com/jie DOI: 10.
47065/jie.
disebabkan oleh inisialisasi parameter acak.
Lingkungan komputasi dikontrol dengan spesifikasi perangkat keras yang konsisten: GPU Tesla V100 dengan memori 32GB.
CPU Intel Xeon dengan 16 core, dan RAM sistem 128GB.
Pembagian data dilakukan dengan stratified sampling untuk memastikan distribusi yang representatif di berbagai tingkat kompleksitas dan skor spesifisitas domain dalam setiap lipatan validasi.
Prosedur jaminan kualitas mencakup pengujian otomatis untuk integritas data, pemantauan konvergensi model, dan titik pemeriksaan validasi statistik pada setiap tahap eksperimen.
Logging komprehensif dilakukan untuk semua hiperparameter, metrik, dan hasil menengah untuk memfasilitasi analisis post-hoc dan pemecahan masalah.
6 Infrastruktur dan Implementasi Teknis Implementasi menggunakan framework PyTorch 1.
12 dengan pustaka transformers dari Hugging Face untuk manajemen model dan tokenisasi.
Pengaturan komputasi terdistribusi menggunakan konfigurasi multi-GPU dengan akumulasi gradien untuk mengatasi keterbatasan memori pada pemrosesan batch besar.
Model checkpointing dilakukan setiap epoch dengan cadangan otomatis ke penyimpanan awan untuk perlindungan data.
Sistem pemantauan waktu nyata diimplementasikan menggunakan Weights & Biases .
untuk melacak kemajuan pelatihan, optimisasi hiperparameter, dan visualisasi metrik kinerja.
Mekanisme early stopping otomatis dikonfigurasi dengan parameter kesabaran 3 epoch dan delta minimum 0,001 untuk peningkatan skor F1.
Teknik optimisasi memori termasuk gradient checkpointing dan pelatihan presisi campuran (FP.
digunakan untuk meningkatkan efisiensi komputasi tanpa mengorbankan stabilitas numerik.
7 Metrik Evaluasi dan Analisis Statistik Evaluasi komprehensif menggunakan beberapa metrik untuk menangkap berbagai aspek kinerja model.
Metrik primer adalah skor Macro F1-scoreyang memberikan bobot yang sama untuk semua kelas dan tahan terhadap ketidakseimbangan Metrik sekunder mencakup akurasi untuk interpretabilitas, presisi dan recall per kelas untuk analisis rinci, dan Koefisien Korelasi Matthews (MCC) untuk penilaian seimbang yang mempertimbangkan frekuensi tingkat dasar.
Pengujian signifikansi statistik menggunakan uji-t berpasangan dengan pemeriksaan asumsi melalui uji normalitas Shapiro-Wilk dan uji homogenitas varians Levene.
Alternatif non-parametrik .
ji signed-rank Wilcoxo.
digunakan ketika asumsi parametrik dilanggar.
Koreksi perbandingan berganda menggunakan metode Bonferroni dengan kontrol tingkat kesalahan keluarga .
amily-wise error rat.
pada tingkat = 0,05 untuk mempertahankan validitas statistik di berbagai perbandingan berpasangan yang banyak.
Perhitungan ukuran efek menggunakan CohenAos d untuk penilaian signifikansi praktis, dengan pedoman interpretasi: efek kecil .
= 0,.
, efek sedang .
= 0,.
, dan efek besar .
= 0,.
Interval kepercayaan .
% CI) dihitung untuk semua estimasi titik menggunakan bootstrap resampling dengan 1000 iterasi untuk kuantifikasi ketidakpastian yang robust.
Analisis daya dilakukan secara post-hoc untuk mengonfirmasi ukuran sampel yang memadai untuk mendeteksi perbedaan yang bermakna dengan daya statistik yang diinginkan Ou 0,80.
HASIL DAN PEMBAHASAN
1 Hasil Perbandingan Kinerja Keseluruhan Analisis komprehensif terhadap keempat model dalam penelitian ini mengungkapkan hierarki kinerja yang jelas dan signifikan secara statistik.
Sebagaimana ditunjukkan dalam Tabel 2.
Legal-BERT memperoleh posisi teratas dengan skor Macro F1-score sebesar 69,5% .
% CI: .
,0, 71,.
), mendemonstrasikan keunggulan yang tidak terbantahkan dalam tugas penalaran hukum CaseHOLD.
Pencapaian ini merepresentasikan peningkatan substansial sebesar 7,2 poin persentase dibandingkan BERT-base yang mencapai 61,3% .
% CI: .
,8, 62,.
Tabel 2 juga menunjukkan ukuran efek Cohen's d sebesar 1,23 yang mengindikasikan efek besar menurut konvensi statistik, dengan signifikansi statistik yang sangat kuat .
< 0,.
Tabel 2.
Kinerja Model Keseluruhan pada Set Tes CaseHOLD Model Macro F1-score(%) Akurasi (%) BiLSTM BERT-base RoBERTa Legal-BERT *Ukuran efek: kecil .
, sedang .
, besar .
95% CI (F.
,2, 41,.
,8, 62,.
,1, 70,.
,0, 71,.
CohenAos d vs BERT
-2,14*
0,87*
1,23*
p-value <0,001 <0,001 <0,001 Temuan penelitian ini sejalan dengan hasil yang dilaporkan oleh Zheng et al.
, mengkonfirmasi efektivitas Legal-BERT dalam tugas penalaran hukum.
Namun, penelitian ini memperluas analisis dengan menunjukkan bahwa RoBERTa mencapai 68,9%, hampir menyamai Legal-BERT dengan selisih hanya 0,6 poin persentase.
Hasil ini mengindikasikan bahwa optimisasi arsitektur dan strategi pelatihan yang ditingkatkan dapat memberikan manfaat Copyright A 2025 The Author.
Page 13 This Journal is licensed under a Creative Commons Attribution 4.
0 International License Journal of Informatics.
Electrical and Electronics Engineering ISSN 2807-9507 (Media Onlin.
Vol 5 No 1.
September 2025.
Page: 9 -20 https://djournals.
com/jie DOI: 10.
47065/jie.
signifikan, sejalan dengan temuan Liu et al.
yang menunjukkan pentingnya optimisasi metodologi pelatihan.
Penelitian sebelumnya oleh Chalkidis et al.
juga menunjukkan bahwa model domain-spesifik konsisten mengungguli model umum pada berbagai tugas NLP hukum, mendukung temuan yang diobservasi dalam penelitian ini.
2 Analisis Volume Data: Efisiensi Data sebagai Keunggulan Utama Analisis volume data mengungkapkan salah satu temuan paling signifikan dan praktis dalam penelitian ini: keunggulan Legal-BERT menunjukkan pola yang secara dramatis lebih menonjol dalam kondisi kelangkaan data, sebuah skenario yang sangat relevan untuk aplikasi NLP hukum praktis.
Gambar 2 menvisualisasikan kinerja semua model pada berbagai volume data pelatihan, menunjukkan bahwa Legal-BERT mempertahankan keunggulan konsisten di semua kondisi dengan gap terbesar pada data terbatas.
Pola yang ditampilkan dalam Gambar 2 mengkonfirmasi hipotesis transfer learning di mana pengetahuan domain spesifik memberikan keuntungan terbesar ketika data target terbatas.
Gambar 2.
Kinerja Model pada Berbagai Volume Data Pelatihan Grafik pada Gambar 2 menunjukkan bahwa Legal-BERT mempertahankan keunggulan konsisten di semua volume data, dengan gap terbesar pada kondisi data terbatas .
% dat.
dan pola konvergensi yang mengindikasikan efisiensi transfer learning yang superior.
Tabel 3 menyajikan data numerik yang mendukung visualisasi dalam Gambar 2, menunjukkan bahwa pada volume data 1%.
Legal-BERT mencapai 52,3% sementara BERT-base hanya mencapai 35,7%, menghasilkan peningkatan dramatis sebesar 16,6%.
Data dalam Tabel 3 menunjukkan pola penurunan bertahap dalam gap kinerja seiring bertambahnya data pelatihan, dari 16,6% pada 1% data menjadi 8,2% pada data penuh.
Tabel 3.
Kinerja di Berbagai Volume Data (Skor F1-Makr.
Volume Data
BiLSTM
BERT-base
RoBERTa
Legal-BERT
Peningkatan vs BERT
16,6%
10,6%
8,2%
8,2%
Pola ini mengkonfirmasi hipotesis transfer learning yang dikemukakan dalam penelitian Kenton & Toutanova .
, di mana pengetahuan domain spesifik memberikan keuntungan terbesar ketika data target terbatas.
Penelitian terdahulu oleh Lee et al.
pada BioBERT juga menunjukkan pola serupa dalam domain biomedis, mengindikasikan bahwa fenomena ini konsisten across different specialized domains.
Studi komparatif yang dilakukan oleh Beltagy et al.
pada SciBERT menunjukkan pola efisiensi data yang serupa dalam domain ilmiah, memperkuat generalizability temuan ini.
Fenomena ini dapat dijelaskan melalui perspektif representational learning yang mendalam.
Legal-BERT telah mengembangkan representasi internal yang kaya akan pengetahuan hukum selama fase prapelatihan pada korpus hukum yang masif.
Representasi ini mencakup pemahaman terhadap terminologi teknis, pola sintaksis formal, struktur argumentasi hukum, dan hubungan antarkonsep yang kompleks.
Ketika dihadapkan dengan data spesifik tugas yang Legal-BERT dapat dengan cepat melakukan fine-tuning dengan memanfaatkan pengetahuan sebelumnya ini, menghasilkan kinerja yang superior.
Implikasi praktis dari temuan ini sangat mendalam untuk industri teknologi hukum.
Dalam domain hukum, data berlabel seringkali sangat mahal dan memerlukan keahlian khusus untuk anotasi yang akurat.
Proses pelabelan untuk dataset seperti CaseHOLD memerlukan pakar hukum yang mampu memahami nuansa pernyataan holding, preseden hukum, dan kompleksitas argumentasi hukum.
Biaya untuk memberi label pada 53.
000 instansi CaseHOLD, dengan asumsi tarif $50-100 per jam untuk keahlian hukum dan estimasi 2-5 menit per instansi, dapat mencapai ratusan ribu hingga jutaan dolar.
Copyright A 2025 The Author.
Page 14 This Journal is licensed under a Creative Commons Attribution 4.
0 International License Journal of Informatics.
Electrical and Electronics Engineering ISSN 2807-9507 (Media Onlin.
Vol 5 No 1.
September 2025.
Page: 9 -20 https://djournals.
com/jie DOI: 10.
47065/jie.
3 Analisis Kompleksitas Konteks: Manfaat Optimal pada Kompleksitas Sedang Investigasi terhadap hubungan antara kompleksitas konteks dan kinerja model mengungkapkan pola inverted-U yang tidak terduga dalam hubungan antara kompleksitas konteks dan keunggulan kinerja Legal-BERT.
Gambar 3 menvisualisasikan kinerja model berdasarkan kompleksitas konteks, menunjukkan bahwa Legal-BERT mencapai kinerja optimal pada kategori kompleksitas sedang-tinggi .
-60 kat.
Pola yang ditampilkan dalam Gambar 3 mencerminkan sweet spot antara kekayaan informasi dan kemampuan pemrosesan kognitif, di mana terdapat cukup konteks untuk analisis yang meaningful tanpa mengalami information overload.
Gambar 3.
Kinerja Model berdasarkan Kompleksitas Konteks Analisis menunjukkan bahwa Legal-BERT mencapai kinerja optimal pada kategori kompleksitas sedang-tinggi .
-60 kat.
, mencerminkan sweet spot antara kekayaan informasi dan kemampuan pemrosesan kognitif.
Data kuantitatif yang mendukung visualisasi Gambar 3 disajikan dalam Tabel 4, yang menunjukkan bahwa pada panjang konteks 41-60 kata.
Legal-BERT mencapai peningkatan maksimal sebesar 9,1% dibandingkan BERT-base dengan ukuran efek tertinggi .
Tabel 4 juga mengungkapkan bahwa pada konteks yang sangat pendek .
-20 kat.
dan sangat panjang .
-80 kat.
, gap kinerja mengalami penurunan, mengkonfirmasi hipotesis kompleksitas optimal.
Tabel 4.
Kinerja berdasarkan Kompleksitas Konteks (Skor F1-Makr.
Panjang Konteks 5-20 kata 21-40 kata 41-60 kata 61-80 kata BERT-base
58,4 A 2,1
61,7 A 2,3
62,1 A 2,5
60,9 A 2,7
Legal-BERT
64,2 A 1,8
69,8 A 2,0
71,2 A 2,1
68,7 A 2,4
Peningkatan 5,8% 8,1% 9,1% 7,8% Ukuran Efek
0,92
1,15
1,28
1,09
Temuan ini sejalan dengan penelitian Ashley .
yang menunjukkan bahwa kompleksitas optimal dalam tugas penalaran hukum terjadi pada tingkat menengah, di mana terdapat cukup informasi untuk analisis yang meaningful tanpa information overload.
Penelitian terdahulu oleh Chen et al.
juga mengidentifikasi fenomena serupa dalam legal judgment prediction, di mana konteks dengan panjang sedang memberikan kinerja optimal.
Pada konteks pendek .
-20 kat.
, gap kinerja yang relatif sederhana ( 5,8%) dapat dijelaskan melalui hipotesis kelangkaan informasi.
Konteks yang sangat pendek mungkin tidak menyediakan informasi kontekstual yang cukup untuk memungkinkan Legal-BERT memanfaatkan sepenuhnya representasi hukum yang kaya dan canggih yang telah dipelajari selama prapelatihan.
Dalam skenario ini, kedua model beroperasi dalam kondisi terbatas informasi di mana bahkan pengetahuan khusus domain tidak dapat sepenuhnya diaplikasikan karena kurangnya konteks yang memadai untuk aktivasi pengenalan pola yang kompleks.
Pada konteks yang lebih panjang .
-80 kat.
, terjadi sedikit penurunan dalam keunggulan Legal-BERT ( 7,8%), meskipun tetap substansial.
Fenomena ini dapat dijelaskan melalui hipotesis information overload dan efek pengenceran Konteks yang sangat panjang dapat memperkenalkan informasi yang tidak relevan, noise, atau sinyal yang bersaing yang dapat mengurangi kejelasan pola penalaran inti yang perlu diidentifikasi.
4 Validasi Skor Spesifisitas Domain: Validasi Kerangka Prediktif Pengenalan dan validasi empiris Skor Spesifisitas Domain (DS-scor.
merupakan kontribusi metodologis signifikan yang memberikan kerangka kuantitatif untuk memprediksi manfaat penerapan model berbasis domain spesifik.
Gambar 4 menunjukkan scatter plot yang memvisualisasikan korelasi antara DS-score dan peningkatan kinerja Legal-BERT, mengungkapkan hubungan linear yang sangat kuat.
Pola yang ditampilkan dalam Gambar 4 memberikan validasi empiris untuk kerangka prediktif DS-score, menunjukkan bahwa instansi dengan DS-score tinggi (>0,.
secara konsisten menghasilkan peningkatan kinerja yang lebih besar.
Copyright A 2025 The Author.
Page 15 This Journal is licensed under a Creative Commons Attribution 4.
0 International License Journal of Informatics.
Electrical and Electronics Engineering ISSN 2807-9507 (Media Onlin.
Vol 5 No 1.
September 2025.
Page: 9 -20 https://djournals.
com/jie DOI: 10.
47065/jie.
Gambar 4.
Korelasi DS-Score dengan Peningkatan Kinerja Legal-BERT Hasil visualisasi scatter plot menunjukkan korelasi positif kuat .
= 0,.
antara tingkat spesifisitas domain konten dan besarnya peningkatan kinerja Legal-BERT, memberikan validasi empiris untuk kerangka prediktif DS-score.
Analisis statistik yang mendukung visualisasi Gambar 4 mengungkapkan korelasi positif yang sangat kuat .
= 0,73, p < 0,.
dengan RA = 0,533, mengindikasikan bahwa DS-score menjelaskan 53,3% varians dalam peningkatan kinerja LegalBERT.
Hubungan ini sejalan dengan teori representational learning yang dikemukakan oleh Bengio et al.
, di mana spesialisasi domain memberikan keuntungan proporsional dengan jarak semantik antara domain target dan pengetahuan 5 Analisis Robustness dan Validasi Statistik Validasi statistik komprehensif menunjukkan tingkat reliabilitas yang tinggi di mana Legal-BERT mencapai kinerja terbaik dalam 8 dari 10 lipatan .
ingkat konsistensi 80%) dan mempertahankan posisi 2 teratas dalam semua 10 lipatan.
Gambar 5 menyajikan distribusi kinerja melalui box plot yang menunjukkan Legal-BERT memiliki distribusi yang paling kompak dan konsisten.
Visualisasi dalam Gambar 5 mengkonfirmasi bahwa Legal-BERT tidak hanya unggul dalam hal kinerja rata-rata, tetapi juga menunjukkan stabilitas tertinggi dengan varians terendah .
,2%) dibandingkan model lainAnalisis Robustness dan Validasi Statistik Validasi statistik komprehensif menunjukkan tingkat reliabilitas yang tinggi di mana Legal-BERT mencapai kinerja terbaik dalam 8 dari 10 lipatan .
ingkat konsistensi 80%) dan mempertahankan posisi 2 teratas dalam semua 10 Gambar 5 menyajikan distribusi kinerja melalui box plot yang menunjukkan Legal-BERT memiliki distribusi yang paling kompak dan konsisten.
Visualisasi dalam Gambar 5 mengkonfirmasi bahwa Legal-BERT tidak hanya unggul dalam hal kinerja rata-rata, tetapi juga menunjukkan stabilitas tertinggi dengan varians terendah .
,2%) dibandingkan model lain.
Gambar 5.
Distribusi Kinerja Model Across 10-Fold Cross-Validation Pada Gambar 5 distribusi Kinerja Model Across 10-Fold Cross-Validation - Box plot menunjukkan Legal-BERT memiliki distribusi kinrja yang paling kompak dan konsisten dengan varians terendah .
,2%) dibandingkan model lain, mengkonfirmasi stabilitas dan reliabilitas temuan.
Tabel 5 menyajikan hasil analisis signifikansi statistik komprehensif yang mendukung temuan visual dalam Gambar 5.
Data dalam Tabel 5 menunjukkan bahwa perbandingan Legal-BERT vs BERT-base menghasilkan t-statistic 4,87 dengan p-value < 0,001 dan Cohen's d = 1,23, mengkonfirmasi large effect Tabel 5 juga menunjukkan bahwa meskipun perbandingan Legal-BERT vs RoBERTa masih signifikan .
= 0,.
, ukuran efeknya lebih kecil (Cohen's d = 0,.
, mengindikasikan bahwa optimisasi arsitektur dapat mengurangi sebagian keunggulan spesialisasi domain.
Copyright A 2025 The Author.
Page 16 This Journal is licensed under a Creative Commons Attribution 4.
0 International License Journal of Informatics.
Electrical and Electronics Engineering ISSN 2807-9507 (Media Onlin.
Vol 5 No 1.
September 2025.
Page: 9 -20 https://djournals.
com/jie DOI: 10.
47065/jie.
Tabel 5.
Analisis Statistical Significance Comprehensive 95% CI
Lower
95% CI
Upper
Interpretasi
<0,001
CohenAos d's d 1,23 2,34 0,043 0,31 3,91 <0,001 0,87 Small-medium
Large effect
8,92
<0,001
2,87
Very large effect
Perbandingan t-statistic p-value Legal-BERT
BERT-base
Legal-BERT
RoBERTa
RoBERTa vs BERTbase
Legal-BERT
BiLSTM
4,87
Large effect Nilai Kendall's E sebesar 0,91 mengonfirmasi urutan peringkat yang sangat konsisten di seluruh lipatan validasi.
Kendall's tau adalah ukuran korelasi peringkat non-parametrik yang tahan terhadap outlier dan asumsi distribusi, membuatnya ideal untuk menilai konsistensi peringkat model.
Nilai 0,91 menunjukkan konsistensi yang hampir sempurna dalam peringkat kinerja relatif, memberikan bukti kuat bahwa hierarki kinerja yang diamati adalah pola yang stabil dan dapat diandalkan.
6 Analisis Efisiensi Komputasi dan Praktikalitas Meskipun fokus utama penelitian ini adalah pada akurasi kinerja, analisis efisiensi komputasi memberikan wawasan penting untuk implementasi praktis dalam lingkungan produksi.
Evaluasi dilakukan terhadap waktu pelatihan, waktu inferensi, dan kebutuhan memori untuk setiap model pada perangkat keras yang konsisten.
Tabel 6.
Analisis Efisiensi Komputasi Model Training Time Inference Time * .
s/sampe.
BiLSTM
BERT-base
RoBERTa
Legal-BERT
*Training time pada GPU Tesla V100 dengan batch size 16
Memory Usage
(GB)
Parameters (M) Legal-BERT menunjukkan profil efisiensi yang sebanding dengan BERT-base, dengan sedikit overhead dalam waktu pelatihan .
,9 vs 8,7 ja.
namun waktu inferensi yang hampir identik .
,7 vs 45,2 ms per sampe.
Hal ini mengindikasikan bahwa keunggulan kinerja Legal-BERT dapat diperoleh tanpa penalti komputasi yang signifikan, menjadikannya menarik untuk penerapan produksi.
Kebutuhan memori juga sebanding .
,9 vs 4,8 GB), menunjukkan bahwa spesialisasi domain tidak memerlukan overhead sumber daya yang substansial.
7 Analisis Error dan Failure Cases Analisis mendalam terhadap kasus-kasus di mana Legal-BERT gagal memberikan prediksi yang benar mengungkapkan pola yang informatif untuk pengembangan model masa depan.
Dari 530 instansi yang salah diprediksi pada set uji, kategorisasi error menunjukkan distribusi yang menarik dan memberikan wawasan tentang batas-batas kemampuan model saat ini.
Tabel 7.
Kategorisasi Error Analysis Legal-BERT Kategori Error Ambiguous Holdings Complex Citation Patterns Rare Legal Domains Factual vs Legal Distinction Insufficient Context Jumlah Persentase 27,7% 21,1% 18,5% 16,8% 15,9% Deskripsi Multiple interpretations possible Nested citations dan cross-references Specialized areas (Maritime.
Ta.
Confusion between facts dan holdings Limited information available Kategorisasi error menunjukkan bahwa mayoritas kesalahan .
,7%) terjadi pada kasus ambiguous holdings yang mewakili situasi di mana beberapa interpretasi secara hukum valid, mengindikasikan bahwa kinerja model mendekati batas teoretis untuk kompleksitas tugas ini.
Kesalahan pada pola kutipan yang kompleks .
,1%) dan domain hukum yang langka .
,5%) menunjukkan area di mana peningkatan lebih lanjut dapat dicapai melalui perluasan korpus pelatihan atau teknik augmentasi data yang lebih canggih.
Copyright A 2025 The Author.
Page 17 This Journal is licensed under a Creative Commons Attribution 4.
0 International License Journal of Informatics.
Electrical and Electronics Engineering ISSN 2807-9507 (Media Onlin.
Vol 5 No 1.
September 2025.
Page: 9 -20 https://djournals.
com/jie DOI: 10.
47065/jie.
8 Perbandingan dengan Kinerja Pakar Manusia Untuk memberikan konteks yang lebih komprehensif terhadap kinerja model, dilakukan evaluasi perbandingan dengan kinerja pakar manusia pada subset 100 instansi yang dipilih secara acak dari set uji.
Tiga pakar hukum dengan pengalaman minimal 5 tahun dalam penelitian hukum diminta untuk melakukan tugas yang sama dengan metodologi evaluasi yang Tabel 8.
Perbandingan Performance dengan Human Experts Evaluator Legal Expert 1 Legal Expert 2 Legal Expert 3 Average Human Legal-BERT Gap Accuracy (%) -7,7 F1-Score (%) -8,5 Inter-rater Agreement () 0,73 0,69 0,71 Perbandingan dengan kinerja pakar manusia menunjukkan bahwa Legal-BERT mencapai sekitar 90% dari kinerja tingkat manusia .
,1% vs 79,8% akuras.
Gap sebesar 7,7% poin akurasi mengindikasikan bahwa masih terdapat ruang untuk peningkatan, namun pencapaian saat ini sudah substansial mengingat kompleksitas tugas penalaran hukum.
Perjanjian antarpenilai yang moderat ( = 0,.
di antara pakar manusia juga menunjukkan bahwa tugas ini menantang bahkan untuk profesional berpengalaman.
2 Pembahasan 1 Validasi dan Perluasan Temuan Seminal Temuan penelitian ini mengkonfirmasi dan memperluas hasil seminal Zheng et al.
dengan rigor statistik yang ditingkatkan dan cakupan analitis yang lebih luas.
Keberhasilan komprehensif dalam mereplikasi temuan asli tidak hanya memberikan validasi empiris yang kuat untuk efektivitas pelatihan awal berbasis domain spesifik tetapi juga memperkaya pemahaman melalui dimensi analitis tambahan yang sebelumnya belum dieksplorasi.
Peningkatan Macro F1-scoresebesar 7,2% yang didokumentasikan sangat selaras dengan peningkatan yang dilaporkan asli, bahkan sedikit melampaui mereka, kemungkinan mencerminkan perbaikan dalam prosedur prapemrosesan dan metodologi eksperimental.
Konsistensi ini di berbagai tim peneliti dan pendekatan analitis memberikan bukti yang meyakinkan untuk robustness dan generalizability dari fenomena yang mendasari.
2 Implikasi Teoretis untuk Pembelajaran Berbasis Domain Spesifik Keunggulan konsisten Legal-BERT di berbagai kondisi eksperimental yang beragam menunjukkan bahwa model telah mengembangkan struktur representasi internal yang secara fundamental lebih selaras dengan arsitektur kognitif dan pola linguistik yang melekat dalam proses penalaran hukum.
Berdasarkan hasil analisis komprehensif, dapat diusulkan bahwa Legal-BERT telah mengembangkan representasi pengetahuan hierarkis yang canggih yang mencerminkan struktur alami penalaran hukum.
Hierarki ini beroperasi di beberapa tingkat abstraksi: tingkat leksikal .
erminologi dan fraseologi hukum terspesialisas.
, tingkat sintaksis .
ola penulisan hukum forma.
, tingkat semantik .
ubungan kompleks antara konsep huku.
, dan tingkat pragmatis .
truktur argumentatif dan pola penalara.
Sifat terintegrasi dari representasi multilevel memungkinkan Legal-BERT untuk memproses teks hukum dengan efisiensi dan akurasi yang tidak dapat ditandingi oleh model tujuan umum.
3 Implikasi Praktis untuk Implementasi AI Hukum Temuan memberikan blueprint rinci untuk organisasi yang mempertimbangkan implementasi solusi AI dalam konteks Kerangka DS-score memungkinkan penilaian manfaat yang dapat diprediksi dan dikuantifikasi, memungkinkan analisis ROI yang lebih canggih dan perencanaan strategis untuk investasi teknologi hukum.
Organisasi dapat melakukan penilaian sistematis portofolio konten mereka untuk mengidentifikasi peluang implementasi dengan nilai tertinggi.
Pola efisiensi data yang didemonstrasikan memiliki implikasi yang sangat mendalam untuk industri teknologi Kemampuan Legal-BERT untuk mencapai peningkatan kinerja yang signifikan dengan investasi minimal dalam data spesifik tugas memungkinkan penerapan kemampuan AI yang cepat dalam aplikasi yang sebelumnya tidak praktis.
Dalam konteks di mana data berlabel langka dan mahal untuk diperoleh.
Legal-BERT berfungsi sebagai pengali efisiensi yang kuat.
KESIMPULAN
Penelitian ini berhasil mereplikasi dan memperluas studi seminal CaseHOLD dengan memberikan bukti empiris robust untuk efektivitas Legal-BERT dalam NLP hukum.
Legal-BERT secara konsisten mengungguli model umum dengan Copyright A 2025 The Author.
Page 18 This Journal is licensed under a Creative Commons Attribution 4.
0 International License Journal of Informatics.
Electrical and Electronics Engineering ISSN 2807-9507 (Media Onlin.
Vol 5 No 1.
September 2025.
Page: 9 -20 https://djournals.
com/jie DOI: 10.
47065/jie.
peningkatan signifikan (Macro F1-score 69,5% vs 62,3% BERT-base, p < 0,001.
Cohen's d = 1,.
, mengkonfirmasi hipotesis bahwa spesialisasi domain memberikan keuntungan substansial untuk pemrosesan teks hukum yang kompleks.
Validasi statistik komprehensif melalui cross-validation 10-lipat dengan koreksi Bonferroni memberikan kepercayaan tinggi terhadap reliabilitas dan generalizability hasil.
Temuan kunci mengungkapkan dua pola optimal yang signifikan untuk implementasi Legal-BERT.
Keunggulan Legal-BERT paling menonjol pada kondisi data terbatas dengan peningkatan 16,6% pada 1% data pelatihan, memberikan solusi praktis untuk implementasi AI hukum dengan keterbatasan anggaran.
Analisis kompleksitas konteks mengungkapkan pola inverted-U dengan kinerja optimal pada teks 41-60 kata, mengindikasikan sweet spot antara kekayaan informasi dan kemampuan pemrosesan kognitif yang memberikan panduan praktis untuk optimisasi berdasarkan karakteristik konten hukum.
Kontribusi metodologis utama adalah pengembangan Skor Spesifisitas Domain (DS-scor.
yang berfungsi sebagai prediktor reliable .
= 0,73, p < 0,.
untuk efektivitas implementasi, menjelaskan 53,3% varians dalam peningkatan kinerja.
Kerangka prediktif ini memungkinkan analisis cost-benefit sebelum investasi dan membantu organisasi mengidentifikasi aplikasi dengan nilai Hasil penelitian memberikan landasan berbasis bukti untuk pengambilan keputusan dalam adopsi teknologi AI hukum dan mendukung investasi berkelanjutan dalam sistem AI hukum terspesialisasi, dengan temuan yang berkontribusi pada pemahaman yang lebih luas tentang transfer learning dalam domain khusus.
Meskipun penelitian ini memberikan bukti yang kuat untuk efektivitas Legal-BERT, keterbatasan yang perlu diakui meliputi fokus pada dataset tunggal CaseHOLD dan bahasa Inggris yang membatasi generalizability untuk tugas hukum lain, bahasa, dan yurisdiksi yang Penelitian masa depan harus memprioritaskan ekspansi ke aplikasi hukum beragam seperti contract analysis dan legal document summarization, pengembangan kemampuan multibahasa untuk sistem hukum internasional, dan validasi lintas-yurisdiksi untuk memahami transferabilitas across different legal systems serta integrasi dengan teknologi emerging seperti large language models.
REFERENCES