Cara Mengukur Kualitas Output AI: Evaluasi, Rubrik, dan LLM-as-Judge

Oleh Darus S Alfatah · 2026-10-31 · Teknis · 12 menit

Cara Mengukur Kualitas Output AI: Evaluasi, Rubrik, dan LLM-as-Judge

Catatan penulis: Kami menilai keluaran dengan rubrik, bukan selera. Skor yang konsisten mengalahkan kesan.

Masalah: Semua Terasa Lebih Baik Setelah Prompt Diubah

Tim yang membangun fitur AI sering mengubah prompt berdasarkan kesan. Setelah diubah, beberapa contoh terasa lebih baik, lalu perubahan dianggap berhasil. Masalahnya, contoh yang dilihat biasanya hanya lima sampai sepuluh, dan dipilih sendiri. Regresi pada kasus lain tidak terdeteksi.

Evaluasi mengubah proses ini dari kesan menjadi bukti. Tidak perlu alat mahal; satu set pertanyaan tetap dan rubrik sederhana sudah cukup untuk sebagian besar tim.

Langkah 1: Kumpulkan Set Uji

Ambil 30–50 kasus nyata yang mewakili pemakaian sehari-hari, termasuk kasus sulit dan kasus tepi. Untuk setiap kasus, tulis jawaban ideal atau kriteria kelulusan. Simpan dalam file yang mudah dibaca, misalnya JSON atau spreadsheet.

{
  "id": "faq-01",
  "input": "Berapa lama proses top up via QRIS?",
  "harus_memuat": ["otomatis", "beberapa menit"],
  "dilarang": ["kartu kredit"],
  "format": "maksimal 3 kalimat"
}

Langkah 2: Tentukan Rubrik

Rubrik yang baik punya sedikit dimensi dan definisi jelas. Contoh untuk jawaban: benar (fakta tidak salah), lengkap (menjawab pertanyaan), patuh format, dan aman (tidak membocorkan data). Beri skor 0–2 per dimensi, lalu jumlahkan.

  • 0 — salah atau melanggar aturan.
  • 1 — sebagian benar, perlu perbaikan.
  • 2 — memenuhi seluruh kriteria.

Langkah 3: Jalankan Uji Otomatis

Bagian yang bisa diperiksa aturan sebaiknya diperiksa mesin: keberadaan kata kunci wajib, larangan kata, panjang maksimum, dan format JSON valid. Ini murah, cepat, dan tidak bias.

function cek(hasil, kasus) {
  const gagal = [];
  for (const kata of kasus.harus_memuat || [])
    if (!hasil.toLowerCase().includes(kata.toLowerCase())) gagal.push('tidak memuat: ' + kata);
  for (const kata of kasus.dilarang || [])
    if (hasil.toLowerCase().includes(kata.toLowerCase())) gagal.push('memuat larangan: ' + kata);
  if (kasus.format === 'maksimal 3 kalimat' && hasil.split('.').length > 4) gagal.push('terlalu panjang');
  return gagal;
}

Langkah 4: LLM-as-Judge untuk Aspek Subjektif

Untuk penilaian yang tidak bisa diatur lewat aturan — nada, kejelasan, kelengkapan — model lain bisa dipakai sebagai penilai. Berikan rubrik yang sama dan minta keluaran terstruktur.

Nilai jawaban berikut pada skala 0-2 untuk: benar, lengkap, jelas.
Kembalikan JSON: {"benar":0-2,"lengkap":0-2,"jelas":0-2,"alasan":"..."}
Jangan menilai gaya bahasa di luar rubrik.

Batasi penilaian model pada aspek yang didefinisikan. Tanpa rubrik ketat, penilai cenderung memberi skor tinggi pada jawaban yang panjang.

Langkah 5: Lihat Angka, Bukan Cerita

Jalankan set uji setiap kali prompt atau model berubah. Simpan hasilnya agar bisa dibandingkan. Jika skor turun pada dimensi tertentu, Anda tahu persis bagian mana yang perlu diperbaiki — bukan mengubah semuanya sekaligus.

Kesalahan Umum

  • Set uji terlalu mudah — semua lulus, tidak memberi informasi.
  • Terlalu banyak dimensi — sulit diinterpretasi dan tidak konsisten.
  • Tidak menyimpan versi prompt — hasil tidak bisa direproduksi.
  • Mengandalkan penilai model tanpa sampel manual — bias tidak terdeteksi.

Kesimpulan

Evaluasi bukan pekerjaan mewah untuk tim besar. Dengan 40 kasus, rubrik empat dimensi, dan pemeriksaan otomatis sederhana, tim kecil sudah bisa membuat keputusan berbasis bukti dan menghindari regresi diam-diam.

Sumber & Referensi

Menjalankan Evaluasi Secara Berkala

Evaluasi bukan kegiatan sekali jalan. Jadwalkan setiap kali ada perubahan prompt, model, atau data sumber. Otomatiskan di pipeline agar hasilnya tersimpan dan bisa dibandingkan antar versi.

Tinjau juga 10 sampel secara manual setiap bulan. Angka bisa stabil sementara kualitas terasa menurun — hanya pembacaan manusia yang menangkap perubahan nada atau keanehan yang tidak tertangkap rubrik.

Rubrik empat kriteria

Agar penilaian konsisten, nilai setiap keluaran pada empat hal: benar (tidak ada kesalahan fakta), lengkap (menjawab seluruh permintaan), sesuai format (panjang dan struktur seperti yang diminta), dan layak biaya (tidak bertele-tele).

Gunakan skala 1–5 untuk tiap kriteria, lalu jumlahkan. Rubrik ini membuat dua orang penilai sampai pada kesimpulan yang mirip, dan memudahkan membandingkan model.

Menjalankan evaluasi berkala

  • Simpan 20–30 tugas nyata sebagai set uji tetap.
  • Jalankan set yang sama setiap kali ganti model atau prompt.
  • Catat tanggal evaluasi; model di belakang layar bisa berubah tanpa pemberitahuan.

Menghindari Evaluasi yang Menipu Diri

Jangan menilai dengan kasus yang sudah dipakai untuk menyusun prompt. Siapkan set uji terpisah yang tidak pernah dilihat saat pengembangan. Jika skor pada set baru jauh lebih rendah, berarti prompt terlalu disesuaikan pada contoh dan belum siap untuk pemakaian luas.

Contoh rubrik tiga aspek: Beri skor satu sampai lima untuk akurasi, kelengkapan, dan kejelasan. Skor konsisten dari waktu ke waktu lebih berguna daripada penilaian rasa.

Pertanyaan yang Sering Diajukan

Apakah BankAI mendukung streaming respons?

Ya, endpoint BankAI mendukung streaming (Server-Sent Events) dan non-streaming sesuai standar OpenAI.

Apakah ada batas RPM/TPM?

Selama kuota token Anda masih ada, pemakaian tidak dibatasi TPM/TPD/RPM secara ketat, tetapi ada pengaman agar layanan tetap stabil bagi semua pengguna.

Bagaimana cara memilih ukuran konteks (context window) yang tepat?

Sesuaikan dengan panjang prompt + riwayat + jawaban yang Anda butuhkan; model dengan konteks lebih besar berguna untuk dokumen panjang.

Sumber & Referensi

Tentang penulis

Darus S Alfatah — Founder & Penulis

Darus S Alfatah adalah pendiri BankAI. Ia membangun dan mengoperasikan gateway API LLM yang melayani developer Indonesia, dan menulis tentang integrasi LLM, arsitektur gateway, serta cara memakai AI secara praktis dan hemat biaya. Setiap panduan diuji di lingkungan nyata — termasuk kode, konfigurasi, dan perhitungan token — sebelum diterbitkan, dan diperbarui ketika dokumentasi penyedia atau harga berubah.

Kebijakan editorial

Artikel terkait

🚀 Siap Pakai All in One API Key?

Daftar sekarang, top-up pakai QRIS, dan langsung ngoding pake ChatGPT, Claude, DeepSeek & semua AI dalam satu API Key!

🔑 DAFTAR SEKARANG · Harga