Menilai Kualitas Peer Review dengan NLP: Rancangan Rubrik dan Model Evaluasi Otomatis Berbahasa Indonesia

Posted on by admin
0

Abstrak

Kualitas peer review berperan penting dalam menjaga integritas dan kredibilitas publikasi ilmiah. Namun, proses evaluasi kualitas peer review masih jarang dilakukan secara sistematis, terutama di Indonesia, di mana sebagian besar jurnal menggunakan Open Journal Systems (OJS) dan mengandalkan penilaian subjektif editor. Penelitian ini mengusulkan rancangan rubrik penilaian kualitas peer review dan pengembangan model evaluasi otomatis berbasis Natural Language Processing (NLP) untuk teks berbahasa Indonesia. Metodologi meliputi analisis konten ulasan peer review, konstruksi rubrik yang mencakup dimensi kelengkapan, kejelasan, objektivitas, dan kebermanfaatan, serta pengembangan model klasifikasi berbasis transformer (IndoBERT) untuk mendeteksi kualitas ulasan. Hasil awal menunjukkan akurasi model sebesar 85% dalam membedakan peer review berkualitas tinggi dan rendah berdasarkan rubrik yang dirancang. Implementasi sistem ini di OJS dapat membantu editor memonitor kualitas peer review secara berkelanjutan dan memberikan umpan balik kepada reviewer.

Kata kunci: peer review, NLP, IndoBERT, evaluasi otomatis, rubrik penilaian, Indonesia.

1. Pendahuluan

Peer review merupakan pilar utama dalam proses publikasi ilmiah, berfungsi sebagai mekanisme kontrol kualitas terhadap naskah sebelum diterbitkan. Kualitas peer review yang rendah dapat mengakibatkan terbitnya artikel dengan kesalahan metodologis atau interpretasi yang keliru. Meskipun peran peer review sangat krusial, sebagian besar jurnal di Indonesia belum memiliki sistem penilaian yang terstruktur terhadap kualitas umpan balik reviewer.

Kemajuan teknologi Natural Language Processing (NLP), khususnya model transformer seperti IndoBERT, membuka peluang untuk mengotomatisasi evaluasi kualitas peer review. Dengan pendekatan ini, proses penilaian dapat menjadi lebih konsisten, cepat, dan transparan, sehingga meningkatkan profesionalisme dalam publikasi ilmiah.

2. Tinjauan Pustaka

2.1. Evaluasi Kualitas Peer Review

Penelitian internasional (Nicholas et al., 2015; Bravo et al., 2019) mengusulkan berbagai rubrik penilaian yang meliputi aspek kelengkapan, kejelasan, konstruktivitas, dan kedalaman analisis. Namun, adaptasi untuk bahasa dan konteks Indonesia masih terbatas.

2.2. NLP untuk Analisis Teks Akademik

Teknologi NLP telah digunakan untuk menganalisis abstrak, mendeteksi plagiarisme, dan menilai kualitas teks akademik. Model berbasis transformer seperti IndoBERT, IndoBART, dan IndoRoBERTa telah terbukti unggul dalam memahami konteks bahasa Indonesia.

2.3. Kesenjangan Penelitian

Hingga kini, belum ada penelitian yang secara khusus mengembangkan model NLP untuk menilai kualitas peer review berbahasa Indonesia dengan integrasi langsung ke OJS.

3. Metodologi

  1. Pengumpulan Data

    • Mengambil 1.000 sampel teks peer review dari 15 jurnal OJS terindeks SINTA (dengan izin pengelola).

    • Anonimisasi identitas penulis dan reviewer.

  2. Perancangan Rubrik

    • Dimensi penilaian:
      a) Kelengkapan (cakupan seluruh aspek naskah)
      b) Kejelasan (struktur dan keterbacaan)
      c) Objektivitas (minim bias pribadi)
      d) Kebermanfaatan (rekomendasi yang konstruktif)

    • Skor 1–5 untuk tiap dimensi.

  3. Pelabelan Data

    • Tim ahli editorial menilai setiap peer review berdasarkan rubrik.

    • Label akhir: high quality (≥ 16 poin) dan low quality (< 16 poin).

  4. Pengembangan Model NLP

    • Model: IndoBERT dengan fine-tuning pada data berlabel.

    • Preprocessing: tokenisasi, lowercasing, penghapusan karakter non-alfabet, stopword removal.

    • Training dengan cross-entropy loss.

  5. Evaluasi Model

    • Metrik: Akurasi, F1-Score, Precision, Recall.

    • Validasi silang (k-fold).

4. Hasil dan Pembahasan

4.1. Hasil

  • Akurasi model: 85%.

  • Macro F1-Score: 0.83.

  • Dimensi yang paling mudah terdeteksi: Kelengkapan & Kejelasan.

  • Dimensi yang sulit: Objektivitas, karena memerlukan interpretasi mendalam.

4.2. Pembahasan

Model NLP mampu memprediksi kualitas peer review dengan performa yang menjanjikan. Namun, tantangan utama adalah memahami nuansa subjektif seperti bias atau ketidaktepatan konteks ilmiah. Integrasi ke OJS dimungkinkan dengan membuat plugin yang menganalisis peer review secara otomatis setelah diunggah.

5. Kesimpulan

Penelitian ini berhasil merancang rubrik penilaian peer review berbahasa Indonesia dan mengembangkan model NLP berbasis IndoBERT untuk mengevaluasi kualitasnya. Implementasi di OJS dapat membantu editor memonitor kualitas review secara efisien. Penelitian lanjutan dapat memperluas dimensi penilaian dengan semantic analysis yang lebih dalam dan active learning untuk meningkatkan akurasi model.