STUDI KOMPARATIF PEMBOBOTAN KRITERIA AUDIT KINERJA AUDITOR BADAN PEMERIKSA KEUANGAN DENGAN PEMBOBOTAN MENGGUNAKAN METODE ANALYTICAL HIERARCY PROCESS (STUDI KASUS PADA INSPEKTORAT KABUPATEN KEPULAUAN TALAUD) Iwan Bin Lawitan. Herman Karamoy. Agus Tony Poputra (Email : ilawitan@gmail. ABSTRACT This study aimed to recalculate the weighting of performance audit criteria by using Anlytical Hierarchy Process Method and comparing its results with the weighting of performance audit of Indonesian Supreme Audit InstitutionAos Auditor (BPK). Research conducted on Supervisory Apparatus Capability Model Government (APIP) at the Office of Inspectorate of Talaud Regency. This research is a descriptive qualitative-quantitative Method of data collection with interviews, documentation and questionnaire. The results showed that in weighting of performance audit criteria. BPKAos auditor still use direct weighting and judgment, and there is a difference of percentage between performance audit criteria of BPK auditor and using AHP method. Keywords : Weighting. Performance Audit Criteria. AHP PENDAHULUAN Teori keagenan menyatakan bahwa hubungan keagenan merupakan sebuah kontrak dimana satu atau lebih prinsipal . melimpahkan wewenang kepada orang lain/agen . untuk kepentingan mereka. Hubungan keagenan ini mengakibatkan terjadinya informasi asimetris . ssymetric informatio. dan konflik kepentingan . onflict of interes. (Jensen dan Meckling, 1. Informasi asimetris terjadi karena agen mempunyai lebih banyak informasi dan memiliki akses yang lebih besar atas informasi tersebut sedangkan konflik kepentingan terjadi karena agen tidak selalu bertindak sesuai kepentingan prinsipal. Hubungan keagenan yang terjadi pada sektor publik adalah ketika adanya pelimpahan wewenang oleh pemerintah pusat ke pemerintah daerah dalam bentuk desentralisasi dan otonomi daerah. Pihak pemerintah pusat bertindak sebagai prinsipal dan pemerintah daerah sebagai agen. Sesuai Undang-Undang Nomor 23 Tahun 2014 tentang Pemerintahan Daerah. Pemerintah Daerah adalah kepala daerah sebagai unsur penyelenggara Pemerintahan Daerah yang memimpin pelaksanaan urusan pemerintahan yang menjadi kewenangan daerah otonom sedangkan Dewan Perwakilan Rakyat (DPRD) berkedudukan sebagai unsur penyelenggara Pemerintahan Daerah. Dalam hubungan keagenan. Kepala Daerah selaku kepala pemerintahan di daerah bertindak selaku agen sedangkan DPRD adalah sebagai prinsipal. Salah satu hubungan keagenan antara Kepala Daerah dan DPRD adalah ketika Kepala Daerah menyampaikan Rancangan Peraturan Daerah (Ranperd. tentang pelaksanaan Anggaran Pendapatan dan Belanja Daerah (APBD) kepada DPRD dengan dilampiri Laporan Keuangan Pemerintah Daerah (LKPD) yang telah diperiksa oleh Badan Pemeriksa Keuangan (BPK). Ranperda tersebut dibahas oleh kepala daerah bersama DPRD untuk mendapat persetujuan bersama. Untuk menjamin bahwa pertanggungjawaban APBD dan laporan keuangan sudah sesuai dengan ketentuan maka dibutuhkan peran Aparat Pengawas Intern Pemerintah (APIP). APIP dalam organisasi Pemerintah Daerah menjalankan fungsi katalisator dan fungsi penjamin mutu . uality assuranc. (KEPMENPAN 2. Dalam melakukan fungsinya APIP memiliki peran strategis, sebagai katalisator dan dinamisator dalam menyukseskan pembangunan daerah. APIP dibutuhkan oleh Kepala Daerah untuk membantunya dalam segala hal yang berkaitan dengan pemerintahan daerah. Bahkan lebih jauh lagi APIP bisa menjadi konsultan bagi Satuan Kerja Pemerintah Daerah (SKPD) yang lain serta pimpinan daerah yang berkaitan dengan administrasi dan aturan yang ada, fungsi APIP di daerah dilaksanakan oleh Inspektorat Daerah. Salah satu hal yang harus dilakukan oleh Pemeriksa dalam merencanakan pemeriksaan kinerja adalah mengidentifikasi kriteria yang diperlukan untuk mengevaluasi hal-hal yang diperiksa. Penetapan kriteria dalam pemeriksaan kinerja sangat penting, karena hal tersebut merupakan salah satu unsur temuan pemeriksaan yang berisi data/informasi yang menggambarkan keadaan yang diharapkan atau seharusnya terjadi dan merupakan ukuran yang digunakan untuk menilai tingkat keberhasilan kinerja objek yang diperiksa, serta dapat memberikan gambaran komprehensif dalam memahami temuan pemeriksaan (Juknis Penetapan Kriteria Pemeriksaan Kinerja, 2011:. Kriteria pemeriksaan kinerja diperlukan untuk menilai objek yang diperiksa. Kriteria pemeriksaan adalah standar atau ukuran yang masuk akal dan dapat dicapai untuk menilai aspek ekonomi, efisiensi, dan efektivitas dari objek yang diperiksa. Kriteria menggambarkan praktik-praktik yang baik, yaitu harapan mengenai yang seharusnya dilakukan atau dihasilkan oleh objek yang diperiksa. Pemeriksaan kinerja menentukan apakah suatu program dan kegiatan telah sesuai atau tidak sesuai dengan kriteria dan memberikan rekomendasi atau Rekomendasi diberikan dengan tujuan untuk memperbaiki kinerja entitas yang Kriteria digunakan untuk menilai dan mengukur apakah suatu program dan kegiatan ekonomis, efisien dan efektif. Untuk menilai dan mengukur maka kriteria pemeriksaan kinerja harus di kuantitatifkan. Mengingat kriteria penilaian lebih dari satu sehingga menghasilkan lebih satu nilai, dan untuk mendapatkan Ausatu nilaiAy maka dibutuhkan pembobotan terhadap tiap kriteria berdasarkan derajat pentingnya kriteria tersebut. Pembobotan kriteria dengan menggunakan metode direct weight memiliki kelemahan yaitu satu kriteria dapat berbeda derajat pentingnya dengan kriteria yang lain sehingga tidak bisa disamakan. Selanjutnya, metode judgement auditor bersifat subjektif sehingga pembobotan tidak dapat digeneralisasikan. Hal ini dapat mengakibatkan kesalahan dalam simpulan dan rekomendasi hasil pemeriksaan kinerja. Informasi yang dikumpulkan membantu dalam memahami kejadian-kejadian agar dapat mengembangkan judgment yang lebih baik dalam pengambilan keputusan atas kejadian-kejadian tersebut. Tidak semua informasi berguna untuk memperbaiki pemahaman dan judgment. Metode Analytical Hierarchy Process (AHP) adalah salah satu metode pembobotan dilakukan dengan membandingkan antar kriteria dengan menggunakan metode berpasangan, dengan cara setiap kriteria akan dibandingkan tingkat kepentingannya dengan kriteria-kriteria yang lain dengan membuat tabel konversi dari pernyataan prioritas/kepentingan ke dalam angka-angka sehingga pada akhirnya bisa diketahui bobot untuk masing-masing kriteria. Selain itu. AHP mempunyai kemampuan memecahkan masalah yang multi obyektif dan multi kriteria yang berdasarkan pada perbandingan preferensi dari setiap elemen dalam Sehingga dapat dikatakan bahwa AHP merupakan suatu metode pengambilan keputusan yang komprehensif. Pembobotan kriteria audit kinerja yang akan dibandingkan adalah pembobotan kriteria pemeriksaan kinerja atas efektivitas kegiatan APIP pada Inspektorat Kabupaten Kepulauan Talaud Tahun Anggaran (TA) 2013 dan Semester I TA. Sesuai Ikhtisar Hasil Pemeriksaan Semester II Tahun 2014 BPK, 1 diantara 7 inspektorat daerah kabupaten/kota yang diperiksa kinerja atas efektivitas kegiatan aparat pengawas intern pemerintah adalah Inspektorat Kabupaten Kepulauan Talaud Provinsi Sulawesi Utara. Standar Pemeriksaan Keuangan Negara (SPKN) Pernyataan Nomor 04 mengenai Standar Pelaksanaan Pemeriksaan Kinerja, menyatakan bahwa salah satu yang harus dilakukan oleh pemeriksa dalam merencanakan suatu pemeriksaan kinerja adalah mengidentifikasi kriteria yang diperlukan untuk mengevaluasi hal-hal yang harus diperiksa. Penetapan kriteria dalam pemeriksaan kinerja sangat penting, karena: . Kriteria merupakan salah satu unsur temuan pemeriksaan yang berisi data/informasi yang menggambarkan keadaan yang diharapkan atau seharusnya terjadi. Kriteria akan memberikan gambaran komprehensif dalam memahami temuan pemeriksaan. Kriteria merupakan ukuran yang digunakan untuk menilai tingkat keberhasilan kienerja objek yang diperiksa, baik penilaian terhadap aspek ekonomi, efisiensi, maupun efektivitas. Kriteria pemeriksaan kinerja dapat meliputi ukuran kuantitatif dan/atau kualitatif. Bentuk Kriteria terkait erat dengan pendekatan pemeriksaan yang digunakan. Pada pendekatan berorientasi hasil, pemeriksa mengembangkan krieria untuk melakukan pengukuran langsung atas kuantitas dan/atau kualitas dari input, output, outcome, atau dampak dari suatu program/kegiatan. Sementara itu, pada pendekatan berorientasi proses, pemeriksa dapat mengembangkan kriteria dalam suatu kerangka sistematis berupa praktik pengelolaan yang lebih baik . etter management practic. Berdasarkan uraian diatas, pembobotan merupakan suatu faktor penting dalam penilaian kinerja secara lebih objektif, maka rumusan masalah untuk penelitian ini dikemukakan dalam pertanyaan penelitian adalah : Bagaimana perhitungan bobot kriteria audit kinerja dengan menggunakan metode Analytic Hierarchy Process (AHP) ? Bagaimana perbedaan hasil audit kinerja pada Inspektorat Kabupaten Kepulauan Talaud dengan menggunakan pembobotan berdasarkan metode Analytic Hierarchy Process (AHP) dengan hasil audit kinerja berdasarkan pembobotan kriteria audit kinerja auditor Badan Pemeriksa Keuangan (BPK)? TINJAUAN PUSTAKA Teori Keagenan (Agency Theor. Konsep agency theory menurut Anthony dan Govindarajan . dikutip oleh MaAoruf . adalah hubungan atau kontrak antara principal dan agent. Prinsipal mempekerjakan agen untuk melakukan tugas bagi kepentingan prinsipal, termasuk pendelegasian otorisasi pengambilan keputusan dari prinsipal kepada agen. Berkaitan dengan masalah keagenan. Mitrick . Lupia . , dan Shapiro . , berpendapat bahwa masalah keagenan muncul pada teori keagenan konvensional, karena adanya perbedaan kepentingan antara prinsipal dan agen, yang membawa konsekuensi pada biaya keagenan. Maknanya adalah semakin besar konflik prinsipal dan agen akan berdampak pada semakin besar biaya keagenan yang harus dikeluarkan untuk mengurangi terjadinya perbedaan kepentingan tersebut. Menurut Lane . teori keagenan dapat diterapkan dalam organisasi publik. menyatakan bahwa negara demokrasi moderen didasarkan pada serangkaian hubungan principal-agent. Hal senada dikemukakan oleh Moe . yang menjelaskan konsep ekonomika organisasi sektor publik dengan menggunakan teori keagenan. Bergman dan Lane . menyatakan bahwa kerangka hubungan prinsip agen merupakan suatu pendekatan yang sangat penting untuk menganalisis komitmen-komitmen kebijakan publik. Pembuatan penerapan kebijakan publik berkaitan dengan masalah-masalah kontraktual, yakni informasi yang tidak simetris . symmetric informatio. , moral hazard, dan adverse selection. Informasi yang tidak simetris adalah informasi yang tidak seimbang yang disebabkan karena adanya distribusi informasi yang tidak sama antara prinsipal dan agen. Menurut Eisenhardt . , teori keagenan dilandasi oleh 3 . Asumsi tentang sifat manusia : asumsi tentang sifat manusia menekankan bahwa manusia memiliki sifat untuk mementingkan diri sendiri . elf interes. , memiliki keterbatasan rasional . ounded rationalit. , dan tidak menyukai risiko . isk aversio. Asumsi tentang keorganisasian : asumsi keorganisasian adalah adanya konflik antar anggota organisasi, efisiensi sebagai kriteria produktivitas, dan adanya Asymetric Information (AI) antara prinsipal dan agen. Asumsi tentang informasi : asumsi tentang informasi adalah bahwa informasi dipandang sebagai barang komoditi yang bisa diperjual belikan. Keagenan pada Sektor Publik Dalam hubungan keagenan, terdapat dua pihak melakukan kesepakatan atau kontrak, yakni yang memberikan kewenangan atau kekuasaan yang disebut prinsipal dan yang menerima kewenangan yang disebut agen (Halim. Abdullah 2. Dalam suatu organisasi hubungan ini berbetuk vertikal, yakni antara pihak atasan . ebagai prinsipa. dan pihak bawahan . Masalah keagenan sering timbul antara eksekutif sebagai agen dan legislatif sebagai prinsipal. Masalah keagenan di eksekutif : eksekutif memiliki keunggulan dalam hal penguasaan informasi dibandingkan legislatif . simetri informas. Keunggulan ini bersumber dari kondisi faktual bahwa eksekutif adalah pelaksana semua fungsi pemerintah daerah dan berhubungan langsung dengan masyarakat dalam waktu yang sangat lama. Eksekutif memiliki pemahaman yang baik tentang birokrasi dan administrasi serta peraturan perundang-undangan yang mendasari seluruh aspek pemerintahan. Oleh karena itu, anggaran untuk pelaksanaan pelayanan pulik diusulkan untuk dialokasikan dengan didasarkan pada asumsi-asumsi sehingga memudahkan eksekutif memberikan pelayanan dengan baik. Eksekutif akan memiliki kecenderungan mengusulkan anggaran belanja yang lebih besar dari yang aktual terjadi saat ini . sas maksima. Masalah keagenan di legislatif : perilaku oportunistik legislatif dapat terjadi pada dua posisi, yakni sebagai prinsipal dan juga sebagai agen. Sebagai prinsipal bagi eksekutif, legislatif dapat merealisasikan kepentingannya dengan membuat kebijakan seolah-olah merupakan kesepakatan di antara kedua belah pihak, tetapi menguntungkan legislatif dalam jangka panjang, baik secara individual maupun institusional. Melalui discretionary power yang dimilikinya, legislatif dapat mengusulkan kebijakan yang sulit untuk ditolak oleh eksekutif, meskipun usulan tersebut tidak berhubungan langsung dengan pelayanan publik dan fungsi legislatif. Sebagai agen bagi publik . , perilaku oportunistik legislatif lebih kelihatan Dalam penganggaran, legislatif semestinya membela kepentingan pemilihnya dengan mengakomodasi kebutuhan publik dan anggaran. Usulan kegiatan yang akan dibiayai dengan anggaran seharusnya didasarkan pada permasalahan dan kebutuhan masyarakat yang teridentifikasi ketika legislatif turun ke lapangan melakukan penjaringan aspirasi rakyat. Ada dua kondisi dimanfaatkan oleh eksekutif untuk merealisasi perilaku oportunistiknya dalam proses penyusunan anggaran. Pertama, secara eksplisit berhubungan dengan anggaran legislatif dan kedua, melalui anggaran untuk pelayanan publik dalam bentuk AutitipanAy. Pada kondisi pertama, legislatif mengusulkan anggaran yang meningkatkan penghasilannya sehingga memenuhi self-interestnya dalam jangka pendek. Hal ini memunculkan political corruption atas anggaran (Garamfalvi, 1. Sementara pada kondisi kedua, self-interest dalam jangka panjang ingin dicapai. Usulan anggaran yang diperjuangkan adalah yang mengharumkan nama politisi di wilayah tertentu, sehingga cenderung pada usulan yang targetable atau hasilnya kelihatan jelas oleh masyarakat. Akibatnya pembangunan cenderung di daerah yang merupakan wilayah pemilihan politisi yang powerful di legislatif. Masyarakat melihat dan memahami kecenderungan ini. Audit Secara etimologi, pemeriksaan . berasal dari bahasa latin dengan kata AuaudereeAy yang berarti mendengar. Mendengar yang efektif adalah sebuah aktivitas menyerap informasi dalam suatu media dengan menggunakan alat pendengaran yang diikuti dengan respon yang terprogram (Murwanto. Budiarso, dan Ramadhana, 2012:. Selanjutnya menurut Elder. Beasley, dan Arens . Auauditing adalah akumulasi dan evaluasi bukti tentang informasi untuk menentukan dan melaporkan tingkat kesesuaian antara informasi dan kriteria yang telah ditetapkan. Audit harus dilakukan oleh seorang yang kompeten dan independenAy. Kriteria Pengertian Kriteria Kriteria menggambarkan hal ideal untuk kinerja aktual yang akan diukur. Kriteria mencakup harapan, standar, peraturan, kebijakan, program pembanding, tujuan program, atau kinerja rata-rata pada program atau institusi yang sama (Waring dan Morgan, 2007:. Tujuan Penetapan Kriteria Tujuan Penetapan Kriteria Pemeriksaan adalah untuk: . memberikan dasar yang baik sebagai alat komunikasi dalam tim pemeriksaan dan dengan manajemen pemeriksa mengenai sifat pemeriksaan. memberikan dasar yang baik sebagai alat komunikasi dengan entitas yang diperiksa. menghubungkan tujuan pemeriksaan dengan program pemeriksaan yang dilaksanakan selama tahap pelaksanaan pemeriksaan. memberikan dasar pada tahap pengumpulan data dan penyusunan prosedur pemeriksaan. memberikan dasar dalam menyusun temuan pemeriksaan (Juklak Pemeriksaan BPK. Arianto 2010:. Langkah-langkah yang harus ditempuh auditor dalam proses penentuan kriteria adalah: . teliti apakah entitas telah memiliki kriteria sesuai dengan tujuan . bila ada apakah kriteria tersebut telah memenuhi karakteristik dapat dipercaya, obyektif, bermanfaat, bisa dimengerti, bisa diperbandingkan, lengkap, bisa . bila kriteria dimaksud tidak ada atau tidak memenuhi tujuan pemeriksaan maka auditor harus mengembangkan kriteria. komunikasikan kriteria yang akan dipakai kepada entitas sebelum pemeriksaan dilaksanakan untuk mendapatkan kesepakatan bersama. Manfaat Kriteria Audit Sebagai patokan dalam melakukan penilaian, suatu kriteria audit dapat memberikan manfaat auditor sebagai berikut (Rai 2008:115-. Sebagai dasar komunikasi antara tim audit dengan manajamen entitas yang diaudit mengenai sifat audit. Tim audit akan membuat kesepakatan dengan auditee mengenai kriteria serta diterima atau tidaknya temuan yang didasarkan pada kriteria tersebut. Sebagai alat untuk mengaitkan tujuan dengan program audit selama tahap pengujian Sebagai dasar dalam pengumpulan data dan menyediakan dasar penetapan prosedur pengumpulan data. Sebagai dasar penetapan temuan serta menambah struktur dan bentuk observasi audit. Karakteristik Kriteria Audit Dapat dipercaya. kriteria yang dapat dipercaya akan menghasilkan simpulan yang sama ketika kriteria tersebut digunakan oleh auditor lainnya dalam keadaan dan lingkungan yang sama. Objektif. kriteria yang objektif berarti bebas dari segala bias, baik dari auditor maupun manajamen. Berguna. kriteria yang berguna artinya kriteria tersebut akan menghasilkan temuan dan simpulan yang berguna bagi pengguna informasi . Dapat dimengerti. kriteria yang dapat dimengerti berarti kriteria tersebut secara jelas dinyatakan dan tidak menimbulkan interpretasi yang berbeda secara signifikan. Dapat kriteria yang dapat diperbandingkan berarti konsisten dengan kriteria yang telah digunakan dalam audit kinerja maupun kegiatan audit yang telah dilakukan Kelengkapan. kelengkapan kriteria mengacu pada pengembangan yang signifikan atas kriteria-kriteria tertentu yang sesuai untuk menilai suatu kinerja. Dapat diterima. kriteria yang dapat diterima berarti kriteria tersebut dapat diterima oleh semua pihak baik lembaga yang diaudit, pemerintah, maupun masyarakat umum lainnya. Semakin tingkat diterimanya suatu kriteria, maka semakin efektif audit kinerja yang Langkah-langkah dalam menentukan kriteria audit Menilai ketepatan karakteristik kriteria audit : kriteria audit haruslah tepat sesuai dengan entitas yang diaudit. Untuk menilai ketepatan kriteria audit, auditor perlu mempertimbangkan karakteristik kriteria audit. Menentukan sumber kriteria : dalam audit yang mencakup aspek ekonomi, efisiensi dan efektivitas, kriteria audit kemungkinan tidak tersedia dan tidak terkodifikasi pada Dengan demikian, auditor menghadapi kesulitan dalam menetapkan kriteria yang akan digunakan sebagai dasar penilaiannya. Apabila auditee belum mempunyai kriteria audit, auditor perlu menentukan kriteria audit. Kriteria audit dapat diperoleh dari undang-undang, peraturan, dan standar yang dikembangkan oleh asosiasi profesi atau lembaga ahli. Jika sumber tersebut tidak tersedia, auditor dapat mengandalkan pada data kinerja organisasi lain, baik di dalam maupun di luar sektor pemerintahan, yang mempunyai aktivitas operasi serupa, best practice yang ditentukan melalui benchmarking atau konsultasi, dan standar yang dikembangkan oleh auditor melalui analisis atas tugas atau aktivitas. Apabila standar sudah tersedia untuk auditee, auditor perlu terlebih dahulu menguji apakah standar itu wajar danada kaitannya dengan tujuan audit, sebelum standar tersebut digunakan sebagai kriteria audit. Apabila auditor menggunakan kriteria yang bersumber dari auditee, sebaiknya mereka lebih berhati-hati. Ada kemungkinan informasi tersebut kurang objektif karena auditee mempunyai kepentingan pribadi dalam penilaian. Mungkin juga auditee akan mempengaruhi auditor agar mereka menentukan kriteria yang hanya dapat menghasilkan temuan positif. Namun demikian, harus diakui bahwa auditee mempunyai pengetahuan yang luas di bidangnya, baik dalam melaksanakan pekerjaan maupun dalam menentukan hasil yang ingin dicapai. Oleh karena itu, informasi dari auditee akan sangat bermanfaat sebagai bahan kriteria audit. Auditor sebaiknya lebih menaruh perhatian pada auditee sebagai sumber informasi dibandingkan dengan sumber-sumber lainnya karena dari auditee akan diperoleh banyak informasi yang berkaitan dengan standar pelaksanaan pekerjaan, termasuk standar input dan standar hasil kegiatan yang ingin dicapai. Informasi ini sangat baik untuk digunakan sebagai kriteria audit. Mengembangkan kriteria audit : untuk mengembangkan kriteria yang memenuhi syarat-syarat di atas, auditor harus mengembangkan kriteria audit. Auditor dapat memulai dari pernyataan kriteria yang bersifat umum atau luas sampai dengan pernyataan kriteria yang lebih khusus/spesifik, yang dapat menuntun auditor untuk menilai tercapainya ekonomi, efisiensi, atau efektivitas pelaksanaan dan hasil pekerjaan auditee. Semakin umum kriteria yang digunakan oleh auditor, maka hasil penilaiannya akan semakin bersifat kualitatif dan subjektif. Pengembangan kriteria yang lebih spesifik mempunyai manfaat yang besar karena terdapat kepastian bahwa semua kriteria yang dipakai akan berkaitan dengan tujuan audit. Mengkomunikasikan Kriteria dengan Auditee : Kriteria yang akan digunakan sebagai alat penilaian harus didiskusikan secara langsung dan sedini mungkin dengan auditee. Hal ini bertujuan agar auditee dapat mengetahui, bahkan bila perlu menyetujui, pengunaannya sebagai tolok ukur dan untuk menghindarkan penolakan atas hasil penilaian di kemudian hari. Hubungan Antara Auditor dan Auditee dalam Menentukan Kriteria Hubungan antara auditor dan auditee dalam menentukan dan mengembangkan kriteria audit cukup penting, namun auditor harus menyadari pengaruh negatifnya (Rai 2008:. Berdiskusi dengan auditee memberikan kesempatan bagi auditor untuk menguji objektivitas kriteria yang akan dipakai. Oleh karena itu, auditor harus memperhatikan kepentingan auditee, sepanjang kepentingan tersebut tidak mengarah pada kepentingan pribadi yang mempengaruhi penilaian hasil audit. Auditor harus dapat meyakinkan auditee tentang objektivitas kriteria yang digunakan dalam penilaian dan menunjuk sumber. Kriteria yang akan digunakan sebagai alat penilaian harus didiskusikan secara langsung dan sedini mungkin dengan auditee. Hal ini bertujuan agar auditee dapat mengetahui, bahkan bila perlu menyetujui, penggunaannya sebagai tolok ukur dan untuk menghindarkan penolakan atas hasil penilaian di kemudian hari. Analiytic Hierarchy Process (AHP) Secara umum langkah-langkah penentuan pembobotan dengan metode AHP adalah sebagai berikut : Menentukan nilai prioritas : berdasarkan kriteria yang sudah ditetapkan, dilakukan penilian prioritas kepentingan antara kriteria dengan tabel konversi dari pernyataan prioritas ke dalam angka-angka sebagaimana diperlihatkan pada Tabel 1. Tabel 1. Skala dasar perbandingan berpasangan Tingkat Kepentingan Definisi Sama pentingnya Sedikit lebih penting Lebih penting Sangat Penting Mutlak lebih penting 2,4,6,8 Nilai tengah Keterangan Kedua elemen mempunyai pengaruh yang sama Pengalaman dan penilaian sangat memihak satu elemen dibandingkan dengan pasangannya Satu elemen sangat disukai dan secara praktis dominasinya sangat nyata, dibandingkan dengan elemen pasangannya. Satu elemen terbukti sangat disukai dan secara praktis dominasinya sangat nyata, dibandingkan dengan elemen pasangannya. Satu elemen terbukti mutlak lebih disukai dibandingkan dengan pasangannya, pada keyakinan Diberikan bila terdapat keraguan penilaian di antara dua tingkat kepentingan yang berdekatan. Sumber: Saaty, 1986 Selanjutnya adalah membuat tabel perbandingan prioritas setiap Kriteria dengan membandingkan masing-masing kriteria. Dalam menentukan kepentingan kriteria, pemeriksa dapat melakukan dengan berbagai teknik, misalkan penyesuaian kriteria dengan tujuan entitas auditee, dengan tujuan pemeriksaan dan lain-lain sebagaimana diperlihatkan pada tabel 2. Tabel 2. Tabel prioritas Uraian Kriteria 1 Kriteria 2 Kriteria 3 DstA Sumber: Saaty, 1986 Kriteria 1 Kritera 2 Kriteria 3 DstA Perhitungan Faktor Pembobotan Hirarki : selanjutnya adalah menentukan bobot pada tiap kriteria, nilai bobot ini berkisar antara 0-1 dan total bobot untuk setiap kolom adalah 1. Cara menghitung bobot adalah angka pada setiap kotak dibagi dengan penjumlahan semua angka dalam kolom yang sama. Sesuai kaidah pembobotan, semua jumlah total bobot semua kriteria=1 . %). Uji Konsistensi Indeks dan Rasio : salah satu hal yang utama dari model Analytic Hierarchy Process (AHP) yang membedakannya dengan model-model pengambilan keputusan yang lainnya adalah tidak adanya konsistensi mutlak. Pengumpulan pendapat antara satu faktor dengan faktor yang lain adalah bebas satu sama lain, dan hal ini dapat mengarah pada ketidakkonsistenan jawaban yang diberikan responden. Pengulangan wawancara pada sejumlah responden yang sama kadang diperlukan apabila derajat tidak konsistensinya besar. Langkah-langkah dalam penentuan uji konsistensi adalah sebagai Menentukan nilai eigen maksimum . didapat dengan menjumlahkan hasil perkalian jumlah kolom pada tabel prioritas dengan bobot . ector eige. Menentukan Consistency Index (CI) dengan rumus : dimana n merupakan ordo matriks atau jumlah kriteria. Menentukan Consistency Ratio (CR) Consistency Ratio (CR) merupakan rasio yang menentukan apakah pembobotan yang telah dilakukan konsisten atau tidak jika nilai CR lebih kecil dari 0,100 maka ketidakkonsistenan pendapat dari decision maker masih dapat diterima, jika tidak maka peniaian perlu diulang, dengan rumus : dimana: CI = Consitency Index RI = Random Index . idapatkan dari suatu eksperimen oleh Oak Ridge National Laboratory kemudian dikembangkan oleh Wharton Schoo. sebagaimana diperlihatkan pada tabel 3. Tabel 3. Random index Ordo Ordo Matrik Ordo Matrik 1,24 1,51 1,32 1,48 0,58 1,41 1,56 1,57 1,12 1,59 Sumber: Saaty. Thomas L. , and Luis G. Vargas, 1994. The Analytical Hierarchy Process vol. VII: AuDecision Making in Economic. Political. Social. Techonlogical Environments, 1 st Edition. RWS Publikations. Pittsburgh. KERANGKA KONSEPTUAL LAPORAN HASIL PEMERIKSAAN (LHP) ATAS EFEKTIVITAS KEGIATAN APARAT PENGAWAS INTERN PEMERINTAH (APIP) PADA INSPEKTORAT KABUPATEN KEPL. TALAUD TA. 2013 DAN SEMESTER I TA 2014 (S. BULAN JUNI) Menghitung kembali pembobotan kriteria, sub kriteria, sub-sub kriteria dan sub-sub-sub kriteria audit kinerja dengan menggunakan AHP Hasil pembobotan kriteria, sub kriteria, sub-sub kriteria dan sub-sub-sub kriteria audit kinerja dengan menggunakan AHP Hasil pembobotan kriteria, sub kriteria, sub-sub kriteria dan sub-sub-sub kriteria audit kinerja dalam LHP BPK Persamaan dan Perbedaan Pembobotan Kriteria Audit Kinerja Hasil audit atas efektivitas Kegiatan APIP Gambar 1. Kerangka pemikiran METODE PENELITIAN Pengumpulan data diperoleh dengan cara baik informasi numerik . elalui instrume. maupun informasi teks . elalui intervi. sehingga database akhir mempresentasikan baik informasi kuantitatif maupun kualitatif (Emzir 2015:. Data yang dikumpulkan adalah bersumber dari dokumen Badan Pemeriksa Keuangan dalam bentuk Laporan Hasil Pemeriksaan (LHP) atas Efektivitas Kegiatan APIP Pada Inspektorat Kabupaten Kepulauan Talaud di Melonguane TA 2013 dan Semester I TA 2014 (S. Bulan Jun. Menurut Nawawi . dalam Susilowati . , angket atau kuesioner merupakan alat pengumpulan data yang paling efektif untuk memperoleh informasi dari responden tentang dirinya atau keadaan di luar dirinya dengan jenis. Kuesioner dengan jawaban terbuka. Kuesioner tertutup dengan ditambahkan lembar tambahan . ang menyatu dengan kuesione. untuk hambatan/permasalahan dan saran/masukan. Dalam metode AHP data dikumpulkan dari para ahli atau pengambil keputusan (Bhushan. dan Rai. K 2004:. Ahli atau pengambil keputusan dapat membandingkan sama pentingnya, sedikit lebih penting, lebih penting, sangat penting dan mutlak lebih penting dengan rancangan format sebagaimana diperlihatkan pada gambar 2. Gambar 2 Format derajat kepentingan perbandingan berpasangan Mutlak Sangat Lebih Sedikit Sama penting -nya Sedikit Lebih Sangat Mutlak penting penting lebih HASIL PENELITIAN Pembobotan Kriteria Audit Kinerja atas Efektivitas APIP pada Inspektorat Kabupaten Kepulauan Talaud Berdasarkan LHP atas efektivitas kegiatan APIP pada Inspektorat Kabupaten Kepulauan Talaud TA 2013 dan Semester I TA 2014 (S. D Bulan Jun. di Melonguane penarikan simpulan pemeriksaan dilakukan dengan metode kuantitatif . Unsurunsur penilaian yang digunakan dalam penilaian dengan metode kuantitatif serta bobot dari masing-masing unsur penilaian tersebut adalah sebagai berikut: Efektivitas kegiatan pemeriksaan reguler, reviu laporan keuangan dan monitoring tindak lanjut hasil pemeriksaan menurut pemberi tugas dan pimpinan organisasi yang diperiksa. Unsur ini diukur berdasarkan hasil wawancara yang dilakukan kepada pemberi tugas dan pimpinan organisasi yang diperiksa. Bobot nilai untuk efektivitas kegiatan pemeriksaan reguler, reviu laporan keuangan dan monitoring tindak lanjut menurut pemberi tugas dan pimpinan organisasi yang diperiksa adalah 25% dari jumlah nilai yang diperoleh. Efektivitas kegiatan pemeriksaan reguler, reviu laporan keuangan dan monitoring tindak lanjut hasil pemeriksaan berdasarkan kesesuaian dengan kriteria yang telah disepakati. Unsur ini diukur berdasarkan pembobotan kesesuaian masing-masing temuan pemeriksaan terhadap kriteria yang telah disepakati. Bobot nilai untuk efektivitas kegiatan pemeriksaan reguler, reviu laporan keuangan dan monitoring tindak lanjut berdasarkan kesesuaian dengan kriteria adalah 75% dari jumlah nilai yang diperoleh. Pembobotan Kriteria Audit Kinerja menggunakan Metode AHP Berdasarkan kriteria yang telah disepakati antara auditor BPK dan Inspektorat Kabupaten Kepulauan Talaud, maka pembobotan kriteria dilakukan dengan langkah-langkah sebagai berikut: Menentukan nilai prioritas Berdasarkan kriteria yang sudah ditetapkan, dilakukan penilian prioritas kepentingan antara kriteria dengan tabel konversi dari pernyataan prioritas ke dalam angka-angka sebagaimana diperlihatkan pada tabel 4. Tabel 4. Skala Dasar Perbandingan Berpasangan Tingkat Kepentingan Definisi Sama pentingnya Sedikit lebih penting Lebih penting Sangat Penting Mutlak lebih penting 2,4,6,8 Nilai tengah Keterangan Kedua elemen mempunyai pengaruh yang sama Pengalaman dan penilaian sangat memihak satu elemen dibandingkan dengan pasangannya Satu elemen sangat disukai dan secara praktis dominasinya sangat nyata, dibandingkan dengan elemen Satu elemen terbukti sangat disukai dan secara praktis dominasinya sangat nyata, dibandingkan dengan elemen Satu elemen terbukti mutlak lebih disukai dibandingkan dengan pasangannya, pada keyakinan tertinggi. Diberikan bila terdapat keraguan penilaian di antara dua tingkat kepentingan yang berdekatan. Untuk melakukan perbandingan antar kriteria maka dibagikan kuesioner kepada responden pada Insepektorat Kabupaten Kepulauan Talaud yang dianggap mempunyai pemahaman yang memadai tentang kegiatan APIP pada Inspektorat Kabupaten Kepulauan Talaud. Kuesioner yang telah diisi oleh 5 . orang responden yang terdiri atas: seorang Sekretaris sebagai pengendali teknis (Dalni. dan 4 orang Inspektur Pembantu (Irba. pada Inspektorat Kabupaten Kepulauan Talaud diolah dengan metode AHP secara manual menggunakan Microsoft Excell. responden ini dianggap berkompeten . untuk memberikan perbandingan atas kriteria, sub kriteria, sub-sub kriteria dan sub-sub-sub kriteria audit kinerja atas efektivitas APIP. Penghitungan didasarkan atas rata-rata tertinggi perbandingan yang di isi oleh responden. Dari 5 kuesioner yang dibagikan, 3 orang responden memberikan penilaian yang sama atas perbandingan kriteria, sub kriteria, sub-sub kriteria, dan sub-sub-sub kriteria. Dengan demikian penghitungan kembali bobot kriteria audit kinerja menggunakan AHP mengacu pada 3 kuesioner tersebut. Perbandingan prioritas setiap kriteria sebagaimana diperlihatkan pada tabel 5. Kriteria Jumlah 0,33 0,33 0,33 0,33 5,33 Tabel 5 Perbandingan prioritas setiap kriteria 0,33 0,33 0,33 0,33 0,33 0,33 0,33 0,33 2,67 Keterangan: Kriteria 1 : Kriteria 2 : Kriteria 3 : Kriteria 4 : Kriteria 5 : Kriteria 6 : Inspektorat Kabupaten Kepulauan Talaud telah memiliki struktur organisasi dan sumber daya pendukung yang memadai untuk mendukung kegiatan pemeriksaan reguler, reviu laporan keuangan dan monitoring tindak lanjut hasil pemeriksaan. Insepktorat Kabupaten Kepulauan Talaud telah melakukan perencanaan yang memadai dalam melaksanakan kegiatan pemeriksaan reguler, reviu laporana keuangan dan monitoring tindak lanjut hasil pemeriksaan. Inspektorat Kabupaten Kepulauan Talaud telah melakukan kegiatan pemeriksaan reguler dan reviu laporan keuangan secara memadai. Pelaporan kegiatan pemeriksaan reguler dan reviu laporan keuangan telah dilakuan secara Pelaksanaan tindak lanjut pemeriksaan reguler dan reviu laporan keuangan telah dilaksanakan secara memadai. Monitoring dan evaluasi atas pemeriksaan kegiatan pemeriksaan reguler, reviu laporan keuangan serta monitoring tindak lanjut hasil pemeriksaan telah dilaksanakan secara Perhitungan Faktor Pembobotan Selanjutnya adalah menentukan bobot pada tiap kriteria audit kinerja, nilai bobot ini berkisar antara 0 Ae 1 dan total bobot untuk setiap kolom adalah 1. Cara menghitung bobot adalah angka pada setiap kotak dibagi dengan penjumlahan semua angka dalam kolom yang sama sebagaimana diperlihatkan pada tabel 6. Sesuai kaidah pembobotan, semua jumlah total bobot semua kriteria=1 . %) Kriteria Jumlah Tabel 6. Perhitungan faktor pembobotan hirarki 0,1875 0,375 0,125 0,25 0,0625 0,125 0,125 0,25 0,5625 0,375 0,375 0,25 0,0625 0,04167 0,125 0,08333 0,0625 0,04167 0,125 0,08333 0,0625 0,04167 0,125 0,08333 0,25 0,25 0,25 0,08333 0,08333 0,08333 0,25 0,25 0,25 0,08333 0,08333 0,08333 Selanjutnya adalah mencari nilai bobot untuk masing-masing kriteria dengan melakukan penjumlahan setiap nilai bobot prioritias pada setiap baris tabel dibagi dengan jumlah kriteria . erujuk pada tabel 5. sehingga diperoleh bobot masing-masing kriteria sebagai berikut : Kriteria 1 = . ,1875 0,125 0,125 0,25 0,25 0,. / 6 = 0,23958 . %) . Kriteria 2 = . ,0625 0,125 0,125 0,25 0,25 0,. / 6 = 0,17708 . %) . Kriteria 3 = . ,5625 0,375 0,375 0,25 0,25 0,. / 6 = 0,34375 . %) . Kriteria 4 = . ,0625 0,04167 0,125 0,08333 0,08333 0,08. / 6 = 0,0798 . %) . Kriteria 5 = . ,0625 0,04167 0,125 0,08333 0,08333 0,08. / 6 = 0,0798 . %) . Kriteria 6 . ,0625 0,04167 0,125 0,08333 0,08333 0,08. / 6 = 0,0798 . %) Berdasarkan Bobot nilai untuk efektivitas kegiatan pemeriksaan reguler, reviu laporan keuangan dan monitoring tindak lanjut berdasarkan kesesuaian dengan kriteria adalah 75% . ujuh puluh lima perse. dari jumlah yang diperoleh maka bobot masing-masing kriteria dihitung sebagaimana diperlihatkan pada tabel 7. Kriteria Tabel 7 Bobot kriteria berdasarkan penghitungan menggunakan AHP Hasil Pembobotan dengan AHP Bobot nilai Auditor Total bobot kriteria (%) (%) . Total BPK Uji Konsistensi Indeks dan Rasio. Langkah-langkah dalam penentuan uji konsistensi adalah sebagai berikut: Menentukan nilai eigen maksimum . didapat dengan menjumlahkan hasil perkalian jumlah kolom pada tabel prioritas dengan bobot . ector eige. sebagaimana diperlihatkan pada tabel 8. Tabel 8. Nilai Eigen Maksimum tiap kriteria Nilai Eigen maksimum ( ma. 1,27778 1,41667 0,91667 0,95833 0,95833 0,95833 6,48611 Kriteria Total Menentukan Consistency Index (CI) dengan rumus : Dimana n merupakan ordo matriks atau jumlah kriteria. = 0,09722 Menentukan Consistency Ratio (CR) Consistency Ratio (CR) merupakan rasio yang menentukan apakah pembobotan yang telah dilakukan konsisten atau tidak jika nilai CR lebih kecil dari 0,100 maka ketidakkonsistenan pendapat dari responden masih dapat diterima, jika tidak maka penilaian perlu diulang, dengan rumus : CI = Consitency Index RI = Random Index (Lihat tabel 5. idapatkan dari suatu eksperimen oleh Oak Ridge National Laboratory kemudian dikembangkan oleh Wharton Schoo. Ordo 0,58 1,12 Tabel 9 Random Index Ordo Matrik 1,24 1,32 1,41 Ordo Matrik 1,51 1,48 1,56 1,57 1,59 Dengan demikian setelah CInya diketahui CRnya dihitung sebagai berikut: = 0,07841. Dari nilai CR yang diperoleh sebesar 0,07841 maka dapat disimpulkan bahwa pendapat responden dalam membandingkan kriteria konsisten. Efektivitas APIP Pada Inspektorat Kabupaten Kepulauan Talaud Dari hasil pemeriksaan kinerja atas efektivitas kegiatan APIP pada Inspektorat Kabupaten Kepulauan Talaud TA. 2013 dan semester I TA. 2014 (S. Bulan Jun. nilai ratarata untuk kegiatan pemeriksaan reguler, reviu laporan keuangan dan monitoring tindak lanjut hasil pemeriksaan adalah sebesar 62,17% . ebesar 20,67% berasal dari pembobotan hasil wawancara pemberi tugas dan pimpinan organisasi yang diperiksa 41,50% berasal dari pembobotan kesesuaian masing-masing temuan pemeriksaan terhadap kriteria yang telah Dengan megacu pada klasifikasi Simpulan sebagaimana diperlihatkan pada tabel , maka kategori kegiatan belum efektif. Sumber: LHP BPK Tabel 10 Klasifikasi Simpulan Hasil Pemeriksaan Nilai (%) Simpulan 0,00 - 40,00 Tidak Efektif 40,01 - 55,00 Kurang Efektif 55,01 - 65,00 Belum Efektif 65,01 - 80,00 Cukup Efektif 80,01 - 100,00 Efektif Berdasarkan perhitungan kembali bobot kriteria, sub kriteria, sub-sub kriteria, dan sub-sub-sub kriteria audit kinerja atas efektivitas APIP pada Inspektorat Kabupaten Kepulauan Talaud TA. 2013 dan semester I TA. 2014 (S. Bulan Jun. berasal dari pembobotan kesesuaian masing-masing temuan pemeriksaan terhadap kriteria yang disepakati adalah 43,53% 20,67% maka nilai rata-rata kegiatan pemeriksaan reguler, reviu laporan keuangan dan monitoring tindak lanjut hasil pemeriksaan adalah 64,2%. Dengan menggunakan kaidah klasifikasi simpulan hasil pemeriksaan yang sama maka kategori kegiatan belum efektif. Pembobotan Kriteria Audit Kinerja atas efektivitas kegiatan APIP pada Inspektorat Kabupaten Kepulauan Talaud TA 2013 dan Semester I TA 2014 (S. Bulan Jun. oleh Auditor BPK menggunakan metode pembobotan tertentu. Dari hasil perbandingan dengan metode AHP tidak terdapat perbedaan yang signifikan. Pembobotan kriteria secara langsung . irect weightin. cenderung subjektif karena derajat kepentingan masing-masing kriteria audit kinerja yang berbeda. Sedangkan pembobotan berdasarkan judgment dari auditor BPK akan sangat bergantung pada latar belakang pendidikan, pengalaman dan tingkat pemahaman atas entitas yang di audit. Pembobotan Kriteria Audit Kinerja menggunakan metode AHP oleh Auditor BPK masih terbatas pada pelaksanaan audit kinerja pada Bank Pembangunan Daerah (BPD). Metode AHP belum digunakan secara menyeluruh dalam pelaksanaan audit kinerja oleh BPK. Dari simpulan hasil pemeriksaan kinerja atas efektivitas kegiatan APIP pada Inspektorat Kabupaten Kepulauan Talaud belum efektif. Dari simpulan ini terlihat bahwa Inspektorat selaku APIP belum bisa menjadi penjamin mutu . uality assuranc. yang handal dalam pelaksanaan program/kegiatan di daerah. Pertanggunjawaban pelaksanaan APBD oleh Kepala Daerah selaku agen kepada Dewan Perwakilan Rakyat Daerah (DPRD) selaku prinsipal sangat dipengaruhi oleh kinerja APIP. Kinerja APIP yang kurang baik menyebabkan kualitas pertanggunjawaban yang kurang baik juga, dengan demikian akan menimbulkan masalah keagenan ketika Bupati memberikan pertanggungjawaban kepada DPRD. Kelemahan ini menimbulkan ketidakpercayaan DPRD/legislatif bahwa pemerintah/eksekutif tidak melakukan program/kegiatan dengan baik. Legislatif bisa menggunakan kelemahan ini untuk menjadi peluang tawar-menawar . dengan Eksekutif bagi kepentingan dewan itu sendiri. Pembobotan kriteria yang dilakukan dengan metode yang tepat akan menghasilkan simpulan yang akurat dan objektif. APIP yang melakukan tugas dan fungsinya secara efektif akan sangat membantu Kepala Daerah dalam membuat kebijakan dan dalam membuat pertanggungjawaban dengan demikian akan mengurangi masalah keagenan. Pembobotan kriteria dengan menggunakan pembobotan secara langsung . irect weigh. dan judgment auditor cenderung subjektif dan mengakibatkan kesalahan dalam pengambilan simpulan hasil pemeriksaan kinerja. Dengan metode AHP pembobotan kriteria audit kinerja relatif lebih objektif, namun demikian sepanjang tidak ada ketentuan tentang penggunaan metode ini, maka auditor BPK tetap menggunakan pembobotan secara langsung dan berdasarkan judgmentsesuai SPKN. SIMPULAN DAN SARAN Berdasarkan pembahasan dan uraian di atas, maka bisa ditarik beberapa kesimpulan sebagai berikut. Dari hasil pembobotan kriteria audit kinerja atas efektivitas kegiatan APIP pada Inspektorat Kabupaten Kepulauan Talaud terlihat adanya perbedaan persentase hasil pembobotan kriteria, sub kriteria, sub-sub kriteria dan sub-sub-sub kriteria audit kinerja atas efektivitas kegiatan APIP pada Inspektorat Kabupaten Kepulauan Talaud dengan persentase hasil pembobotan oleh auditor BPK. Dengan menggunakan kaidah klasifikasi simpulan hasil pemeriksaan yang sama dengan BPK, nilai rata-rata kegiatan pemeriksaan reguler, reviu laporan keuangan dan monitoring tindak lanjut hasil pemeriksaan menggunakan metode AHP adalah 64,2% tidak berbeda jauh dengan hasil pembobotan auditor BPK sebesar 62,17% dan keduanya di kategorikan belum efektif. Berdasarkan Juknis Pemeriksaan Kinerja BPK, pembobotan kriteria audit kinerja bisa dilakukan secara langsung . irect weigh. dan berdasarkan judgment auditor. Kesalahan dalam pembobotan kriteria audit kinerja akan menyebabkan kesalahan dalam pengambilan simpulan dan rekomendasi. BPK sudah menggunakan AHP namun masih terbatas pada pelaksanaan pemeriksaan kinerja di beberapa Bank Pembangunan Daerah. (BPD). Berdasarkan beberapa kesimpulan dalam penelitian ini maka saran yang bisa di sampaikan adalah sebagai berikut. Dalam melakukan pemeriksaan kinerja atas efektivitas kegiatan APIP. BPK bisa menggunakan metode AHP agar pembobotan kriteria audit kinerja lebih obyektif dan mampu menghasilkan simpulan dan rekomendasi yang lebih akurat. BPK bisa menggunakan AHP pada setiap pelaksanaan audit kinerja pada semua jenis BPK perlu menetapkan standar baku pembobotan kriteria audit kinerja dan tidak hanya berdasarkan atas pembobotan secara langsung . irect weigh. atau judgement auditor. Dalam melakukan penelitian ini terdapat beberapa keterbatasan, antara lain: - Penghitungan bobot audit kinerja dengan metode AHP masih dilakukan secara manual. - Tidak berhasil mewawancarai ketua tim pemeriksa yang melakukan pemeriksaan kinerja atas efektivitas kegiatan APIP pada Inspektorat Kabupaten Kepulauan Talaud. DAFTAR PUSTAKA