Santoso.
Azhar.
Suryati.
Rosanensi.
Dharma.
Husain.
Adil.
Azwar dan Haryadi Ai Analisis Sentiment Keuangan Menggunakan Fine-Tuned Finbert
ANALISIS SENTIMENT KEUANGAN MENGGUNAKAN
FINE-TUNED FINBERT
(FINANCIAL SENTIMENT ANALYSIS USING FINBERT FINE-TUNED)
Heroe Santoso1.
Raisul Azhar2.
Suriyati3.
Melati Rosanensi4.
I Made Yadi Dharma5.
Husain6.
Ahmat Adil7.
Muhamad Azwar8.
I Putu Hariyadi9
1,2,3,4,5,6,7,8
Universitas Bumigora e-mail : heroe.
santoso@universitasbumigora.
id1 , raisulazhar@universitasbumigora.
suriyati@universitasbumigora.
id3, melati.
rn@universitasbumigora.
id4, yadi_dharma@universitasbumigora.
husain@universitasbumigora.
id6, ahmat.
adil@universitasbumigora.
id7, muha.
azwar@gmail.
hariyadi@universitasbumigora.
ABSTRAK
Informasi keuangan merupakan salah satu jenis informasi yang penting untuk dianalisis.
Namun, karena banyak informasi teks keuangan yang bersifat tidak terstruktur dan tersebar luas, diperlukan suatu metode analisis yang tepat, salah satunya adalah melalui analisis sentimen.
Dalam konteks keuangan, analisis sentimen digunakan industri keuangan untuk menilai persepsi publik tentang perusahaan atau kondisi pasar.
Maka penelitian ini menggunakan model FinBERT yang telah dilakukan fine-tuning untuk melakukan analisis sentimen di bidang keuangan.
Dataset yang digunakan yaitu gabungan dari FiQA (Financial Question Answerin.
dan The Financial Phrase Bank, terdiri dari kalimat berbahasa Inggris dengan label sentimen negative, neutral, dan Proses penelitian meliputi pengumpulan data, tahapan pra-pemrosesan data, pelatihan model, dan evaluasi menggunakan metrik accuracy, precision, recall.
F1-score, serta confusion matrix.
Hasil penelitian menghasilkan model mampu mencapai akurasi 82%, dengan performa terbaik pada kelas positive yaitu F1-score 88 dan neutral F1-score 0.
85, namun masih lemah dalam mendeteksi kelas negativeF1-score 0.
Temuan ini menunjukkan bahwa fine-tuned FinBERT efektif digunakan untuk analisis sentimen keuangan, khususnya pada sentimen positive dan neutral, diperlukan peningkatan pada deteksi sentimen negative, dengan menambah variasi data latih atau teknik data augmentation.
Kata Kunci: Analisis Sentimen.
FinBERTFine-Tuning.
Teks Keuangan ABSTRACT Financial information is a critical type of data for analysis.
However, because much of it is unstructured and widely dispersed, an appropriate analytical method is required, one of which is sentiment analysis.
In the financial context, sentiment analysis is employed by the industry to assess public perceptions of companies or market conditions.
This study implements a fine-tuned FinBERT model to perform sentiment analysis in the financial sector.
The dataset used is a combination of FiQA (Financial Question Answerin.
and The Financial PhraseBank, consisting of English sentences labeled with negative, neutral, and positive sentiments.
The research process involved data preprocessing, tokenization, data splitting, model training, and evaluation utilizing criteria such as F1-score, confusion matrix, recall, accuracy, and precision.
The findings demonstrate that the model accomplished 82% accuracy, with its best performance in the positive class (F1-score 0.
and the neutral class (F1-score 0.
, but weaker performance in detecting the negative class (F1-score 0.
These findings indicate that the fine-tuned FinBERT is effective for financial sentiment analysis, particularly for positive and neutral sentiments, though improvements are needed in negative sentiment detection, potentially through expanding training data diversity or applying data augmentation techniques Keywords:Sentiment Analysis.
FinBERT Fine-Tuning.
Financial Text
PENDAHULUAN
nformasi tentang keuangan tersebar luas dalam bentuk teks tidak terstruktur seperti berita, ulasan, dan media sosial yang dapat digunakan oleh investor, analis, dan lembaga keuangan untuk pengambilan keputusan.
Salah satu pendekatan yang digunakan untuk menggali informasi ini yakni sentiment analysis atau analisis sentimen.
Analisis sentimen adalah metode dalam pemrosesan bahasa alami (Natural Language Processin.
dimaksudkan untuk mengidentifikasi dan mengklasifikasikan opini seseorang tentang suatu subjek atau entitas .
Dalam konteks TEKNIMEDIA - Volume 6.
Nomor 2.
Desember 2025: 232 Ae 237 keuangan, analisis sentimen digunakan industri keuangan untuk menilai persepsi publik tentang perusahaan atau kondisi pasar.
Meskipun pendekatan konvensional cukup efektif dalam tugas dasar klasifikasi, pendekatan tersebut masih memiliki keterbatasan dalam memahami konteks semantik yang kompleks pada teks keuangan.
Seiring kemajuan teknologi NLP, model berbasis transformer seperti BERT (Bidirectional Encoder Representations from Transformer.
telah terbukti meningkatkan pemahaman dan pemrosesan bahasa .
Salah satu varian dari model ini adalah FinBERT, yaitu sebuah model bahasa yang telah dilatihkhususuntuk keuangan, sehingga lebih relevan untuk tugas analisis sentimen dalam sektor tersebut.
Dalam penelitian ini, dilakukan proses finetuning terhadap model FinBERT menggunakan data dari dua sumber utama, yaitu FiQA (Financial Question Answerin.
dan The Financial PhraseBank.
Kalimat-kalimat berbahasa Inggris dari sumber keuangan di kedua dataset ini telah dilabeli dengan sentimen negatif, netral, dan positif.
Tujuan dari penggunaan kombinasi kedua dataset ini untuk meningkatkan keragaman dan tampilan data dalam pelatihan Dengan menggunakan FinBERT yang telah disesuaikan dengan data keuangan ini, diharapkan model akan menghasilkan akurasi dan kinerja yang lebih baik dalam mengklasifikasikan sentimen kategori negatif, netral, dan positif.
Selain itu, penelitian ini membantu pembangunan sistem analisis sentimen di bidang keuangandalam hal pengolahan data teks berbasis domain.
II.
STUDI PUSTAKA
Penelitian yang oleh A.
Priyatno and F.
Firmanand .
membandingkan beberapa metode machine learning seperti Nayve Bayes.
Logistic Regression.
SVM.
MLP, dan Decision Treedalam analisis sentimen judul berita keuangan menggunakan fitur n-gram.
Fitur n-gram digunakan untuk mengekstraksi informasi dari teks dengan membagi kalimat menjadi satuan kata, yang kemudian diberi bobot berdasarkan Hasil penelitian menunjukkan bahwa Logistic Regression merupakan metode terbaik dengan nilai f1-measure sekitar 74%.
Penggunaan fitur n-gram dan machine learning terbukti efektif dalam analisis sentimen untuk memahami pengaruh berita keuangan terhadap reputasi perusahaan Lain halnya dengan J.
Hutagalung and Rasiban .
membahas pengembangan model analisis sentimen keuangan dengan dataset gabungan dari FiQA dan Financial PhraseBank, dianalisis dengan Logistic Regressiondan SVM.
Hasil menunjukkan model SVM tanpa teknik Smote mencapai akurasi tertinggi sebesar 70,70%.
Penelitian ini bertujuan untuk membantu pengambilan kebijakan di sektor keuangan, dengan menekankan pentingnya teknik prapemrosesan data, tuning hyperparameter, dan evaluasi model untuk mendapatkan hasil yang Selanjutnya pada penelitian J.
Huang.
Tung, and W.
Lin .
menganalisis sentimen di media sosial terkait TSMC dengan 2.
177 ulasan dan sekitar 30.
000 balasan di PTT.
Menggunakan metode kombinasi algoritma genetik (HGA) dan model, dengan tiga level yaitu over, very, dan Hasil akhirnya menunjukkan bahwa setelah menambahkan indikator sentimen, akurasi
62,22%,
2,22%
dibandingkan model tanpa variabel sentimen, sehingga menunjukkan bahwa penambahan variabel sentimen dapat meningkatkan akurasi Sedangkan L.
Nurina.
Hairuddin.
Bakri, and A.
Pilua .
melakukan tinjauan bibliometrik mengenai tren perkembangan pajak menggunakan Big Data, analisis sentimen, dan kriptokurensi dari tahun 1903 - 2023.
Temuan utama menunjukkan pertumbuhan signifikan dalam penelitian terkait teknologi canggih, serta kesenjangan penelitian kolaborasi interdisipliner dan dampak etika.
Penelitian ini menekankan perlunya eksplorasi lebih lanjut mengenai pengaruh kriptokurensi terhadap perpajakan untuk meningkatkan pemahaman dan efektivitas sistem Penelitian berikutnya E.
Marwa and A.
Kristanto .
memeriksa kesan dari laporan tahunan perusahaan yang terdaftar di Bursa Efek Indonesia dari tahun 2016 hingga 2020.
Metode VADER (Dictionary and Sentiment Aware Reasone.
dan aplikasi Orange Data Mining.
Metode VADER digunakan untuk menempatkan sentimen dalam kategori positif, negatif, dan Hasil akhir menunjukkan bahwa rata-rata sentimen positif berkisar antara 11,20% - 12,65%, sementara sentimen negatif berkisar antara 3% 4%.
Dimana menunjukkan sentimen positif lebih Santoso.
Azhar.
Suryati.
Rosanensi.
Dharma.
Husain.
Adil.
Azwar dan Haryadi Ai Analisis Sentiment Keuangan Menggunakan Fine-Tuned Finbert dominan dibandingkan sentimen negatif, dan karakteristik perusahaan tidak mempengaruhi pilihan kata sentimen, sehingga investor perlu pengungkapan informasi.
Berbeda dengan penelitian sebelumnya yang masih menggunakan metode machine learning klasik seperti Nayve Bayes.
Logistic Regression, atau SVM, penelitian ini menggunakan pendekatan berbasis transformer FinBERT fine tuned yang secara khusus megolah teks keuangan.
Pendekatan ini memberikan kemampuan yang lebih baik dalam memahami konteks semantik keuangan, sehingga menghasilkan performa klasifikasi yang lebih tinggi dan relevan.
METODE PENELITIAN
Penelitian ini menggunakan penelitian kuantitatif dengan metode eksperimental.
Tujuan utama penelitian ini adalah untuk mengetahui seberapa baik model FinBERT melakukan klasifikasi tiga kategori sentimen teks keuangan:
negatif, netral, dan positif.
Pendekatan eksperimen dilakukan dengan melatih model menggunakan data berlabel, kemudian mengukur performanya menggunakan metrik evaluasi.
Metode penelitian yang dilakukan yaitu, pengumpulan data, pra- pemrosesan, impelemtasi model hingga tahap evaluasi model, yang ditampilkan pada Gambar 1.
polaritas sentimen.
Label pada data terdiri dari tiga kelas, yaitunegatif .
, netral .
, dan positif .
Pra-pemrosesan Metode pra-pemrosesan digunakanuntuk menyiapkan datadan mendapatkan hasil yang terbaik berdasarkan matriks evaluasi yang digunakan .
Proses pra-pemrosesan dilakukan beberapatahapan yaitu, pembersihan teks .
ext cleanin.
dengan menghapus karakter khusus, tanda baca, angka, dan elemen lain yang tidak diperlukan dalam proses analisis sentimen.
Tokenisasi dilakukan untuk mengubah kalimat menjadi token yang sesuai dengan arsitektur FinBERT.
Kemudian dikonversi ke bentuk numerik .
, 1, .
sesuai kebutuhan klasifikasi multi-kelas.
Dilanjutan dengan pembagian data dengan persentase 80% training dan 20% testing.
Implementasi Model Menggunakan model FinBERT, yaitu model BERT-base yang telah dilatih khusus pada korpus Trainer API digunakan untuk menyempurnakan proses dengan menyesuaikan jumlah label 3 kelas.
Batch training dilakukan pada data latih dengan ukuran tertentu yang disesuaikan dengan kapasitas perangkat.
Model menggunakan representasi semantik kalimat keuangan untuk mempelajari pola distribusi Evaluasi Gambar 1.
Metode penelitian Pengumpulan Data Menggunakan data gabungan dari dua datasetopen-sourceyang berasal dari situs Kaggle.
com, yaituFiQA (Financial Question Answerin.
adalahdataset berisi kutipan teks dari berita atau konten keuangan yang bertujuan untuk investasipengembangan analisis NLP yang terus berkembang .
The Financial PhraseBank merupakan dataset analisis sentimen di bidang keuangan yang telah dikategorikan berdasarkan Dalam proses evaluasi, data uji digunakan untuk mengevaluasi keakuratan dan keefektifan model dalam klasifikasi sentimen keuangan dengan membandingkan hasil prediksi dengan label sebenarnya .
Untuk menilai kinerja model menggunakan metrik accuracy, precision, recall, f1-score dan confusion matrix.
Evaluasi ini memberikan gambaran menyeluruh mengenai kemampuan model dalam mengklasifikasikan sentimen negatif, netral, dan positif dalam teks IV.
HASIL DAN PEMBAHASAN
Setelah melalui tahapan metode penelitian yang telah dijelaskan, diperolah hasil dan pembahasan sebagai berikut.
TEKNIMEDIA - Volume 6.
Nomor 2.
Desember 2025: 232 Ae 237 Pengumpulan Data Dataset yang digunakan hasil penggabungan data FiQA (Financial Question Answerin.
dan Financial PhraseBank.
Terdiri dari 5.
843 kalimat berbahasa Inggris yang diambil dari berbagai sumber keuangan, seperti berita pasar, laporan analisis, dan pernyataan publik.
Setiap kalimat telah diberi label sentimen dalam tiga kelas:
, netral .
, dan positif .
AuPelabelan data tidak dilakukan manual, melainkan menggunakan label yang sudah tersedia pada dataset FiQA dan Financial PhraseBank, yang sebelumnya telah dianotasi oleh para ahli di bidang keuangan.
Dengan demikian, penelitian ini langsung menggunakan label yang ada untuk proses pelatihan dan evaluasi model Tabel 1.
Dataset.
Kalimat The GeoSolutions technology will leverage Bene.
$ESI on lows, down $1.
50 to $2.
50 BK a real po.
For the last quarter of 2010.
Componenta 's n.
According to the Finnish-Russian Chamber of Co.
The Swedish buyout firm has sold its Sentiment Dengan menggunakan dua epoch, model FinBERT melakukan proses fine-tune dengan validation loss, dan accuracy.
Pada epoch 1, training loss bernilai 0.
3108, validation loss 4024 dan accuracy81,27%.
Pada epoch 2, training loss menurun menjadi 0.
2842, yang menunjukkan bahwa kemampuan model semakin efektif dalam mempelajari pola data latih.
Namun, validation loss sedikit meningkat menjadi 0.
yang dapat mengindikasikan adanya gejala Sementara itu, akurasi pada data validasi meningkat menjadi 81,52%, menandakan performa model relatif stabil Secara keseluruhan, nilai akurasi di atas 80% menunjukkan bahwa model memiliki kemampuan klasifikasi yang baik, tetapi peningkatan kehilangan validasi menunjukkan potensi overfitting dan kemungkinan perbaikan kinerja melalui penyesuaian hyperparameter.
Tabel 2.
Hasil Pelatihan Model FinBERT.
Pra-pemrosesan Tahap pra-pemrosesan dilakukan untuk meningkatkan kualitas teks sebelum diproses oleh model FinBERT.
Ini mencakup proses pembersihan teks dengan menghapus simbol.
URL, karakter non-alfabet, dan mengubah semua huruf menjadi huruf kecil, yang ditunjukkan pada Gambar 2.
Setelah itu, kalimat diubah menjadi token, yang sesuai dengan arsitektur FinBERT.
Data tersebut dilakukan pembagian dengan komposisi 80% data latih dan 20% data uji.
Epoch Training Loss Validation Loss Accuracy Pelatihan tidak dilanjutkan ke epoch berikutnya karena pada epoch ke-2 sudah terlihat indikasi overfitting yaitu validation loss meningkat meskipun training loss menurun.
Jika dilanjutkan ke epoch berikutnya, besar kemungkinan model akan semakin menghafal data latih dan menurunkan generalisasi terhadap data Selain itu, akurasi pada epoch kedua sudah mencapai 81,52%, yang relatif stabil dan cukup tinggi untuk dataset yang digunakan.
Oleh karena itu, penelitian ini memilih menggunakan hasil terbaik sampai epoch ke-2 untuk menghindari kompleksitas tambahan tanpa peningkatan signifikan pada performa.
Evaluasi Gambar 2.
Pembersihan data Implementasi Model Hasil fine-tuning FinBERT menunjukkan hasil bervariasi pada setiap kelas Dalam kelas negative, model menghasilkan nilai precision sebesar 0.
58, recall 43, dan nilai F1-score 0.
49, yang dianggap rendah dan menunjukkan bahwa model mengalami kesulitan untuk mendeteksi sentimen negative, mungkin dikarenakan jumlah data negative yang relatif sedikit atau variasi bahasa Santoso.
Azhar.
Suryati.
Rosanensi.
Dharma.
Husain.
Adil.
Azwar dan Haryadi Ai Analisis Sentiment Keuangan Menggunakan Fine-Tuned Finbert yang lebih kompleks.
Sebaliknya, pada kelas neutral, model menunjukkan akurasi dan keseimbangan yang tinggi denganprecision 83, recall 0.
87 dan F1-score 0.
Kinerja terbaik ditunjukkan pada kelas positive dengan precision 0.
87, recall 0.
90, dan F1-score 88, menandakan kemampuan model yang sangat baik dalam mengidentifikasi sentimen positif.
Secara keseluruhan, akurasi model mencapai 82%, dengan nilai macro average F1-score sebesar 0,74 dan weighted average F1-score sebesar 0,81.
Pada Gambar 3 telah ditampilkan hasil yang memuat classification report dari model FinBERT.
Hasil mengklasifikasikan sentimen keuangan dengan cukup baik, terutama pada sentimen neutral dan positive, namun masih perlu peningkatan pada deteksi sentimen negative melalui penambahan data latih atau penerapan teknik data 90, yang menunjukkan bahwa model mendeteksi sentimen positive dengan sangat baik.
Sebaliknya, kelas negative memiliki kinerja yang lebih rendah, dengan nilai recall sekitar 0.
43, yang menunjukkan bahwa banyak sampel yang salah Matrix kelas neutral stabil dengan nilai precision, recall, dan F1-scoreantara 83 - 0.
Secara keseluruhan, hasil ini menunjukkan bahwa model mendeteksi sentimen neutral dan positive dengan baik, tetapi perlu ada peningkatan untuk mendeteksi sentimen negative.
Gambar 4.
Confusion matrix Gambar 3.
Hasil evaluasi model FinBERT Hasil confusion matrix fine-tuning FinBERT, terlihat pada Gambar 4 menujukkan model mampu mengklasifikasikan kelas neutral dan positive dengan baik.
Dari 622 data neutral, sebanyak 543 diprediksi benar, sedangkan 44 diklasifikasikan sebagai negative atau positive 35.
Pada kelas positive, dari 372 data, sebanyak 335 diprediksi benar dan hanya 26 salah diklasifikasikan sebagai neutral atau negative 11 Namun, pada kelas negative, dari 175 data, hanya 75yang diprediksi benar, sementara 83 salah diklasifikasikan sebagai neutral dan 17 sebagai positive.
Hal ini memperkuat temuan sebelumnya bahwa model masih mengalami kesulitan dalam mendeteksi sentimen negatif, sedangkan performa pada kelas neutral dan positive tergolong sangat baik.
Hasil dari confusion matrix semakin jelas pada grafik diagram batang yang ditampilan pada Gambar 5.
Untuk kelas positive, nilai precision, recall, dan F1-scoreberada di antara nilai 0.
Gambar 5.
Grafik Batang Confusion matrix
KESIMPULAN
Dengan menggunakan kombinasi dataset FiQA dan The Financial PhraseBank, penelitian ini berhasil menerapkan FinBERT untuk analisis sentimen teks keuangan.
Hasil evaluasi menunjukkan bahwa model memiliki akurasi sebesar 82% dengan formasi terbaik untuk sentimen positive dan neutral, dengan nilai F1score masing-masing 0.
88 dan 0.
Namun, kinerja model untuk kelas negative masih rendah.
TEKNIMEDIA - Volume 6.
Nomor 2.
Desember 2025: 232 Ae 237 dengan nilai F1-score 0.
Ini menunjukkan bahwa ada upaya untuk meningkatkan kinerja melalui penambahan data latihan, penerapan teknik peningkatan data, atau penyesuaian Secara keseluruhan, temuan ini menunjukkan bahwa FinBERT yang disesuaikan dengan baik berhasil mengklasifikasikan sentimen keuangan, serta menunjukkan bahwa model dapat digunakan dalam aplikasi analisis sentimen di Penelitian peningkatan kinerja pada kelas minoritas dan membandingkan performa FinBERT dengan model transformer-based lainnya.
DAFTAR PUSTAKA