Cara Mengukur Kualitas Output AI: Evaluasi, Rubrik, dan LLM-as-Judge
Oleh Darus S Alfatah · 2026-10-31 · Teknis · 12 menit
Catatan penulis: Kami menilai keluaran dengan rubrik, bukan selera. Skor yang konsisten mengalahkan kesan.
Masalah: Semua Terasa Lebih Baik Setelah Prompt Diubah
Tim yang membangun fitur AI sering mengubah prompt berdasarkan kesan. Setelah diubah, beberapa contoh terasa lebih baik, lalu perubahan dianggap berhasil. Masalahnya, contoh yang dilihat biasanya hanya lima sampai sepuluh, dan dipilih sendiri. Regresi pada kasus lain tidak terdeteksi.
Evaluasi mengubah proses ini dari kesan menjadi bukti. Tidak perlu alat mahal; satu set pertanyaan tetap dan rubrik sederhana sudah cukup untuk sebagian besar tim.
Langkah 1: Kumpulkan Set Uji
Ambil 30–50 kasus nyata yang mewakili pemakaian sehari-hari, termasuk kasus sulit dan kasus tepi. Untuk setiap kasus, tulis jawaban ideal atau kriteria kelulusan. Simpan dalam file yang mudah dibaca, misalnya JSON atau spreadsheet.
{
"id": "faq-01",
"input": "Berapa lama proses top up via QRIS?",
"harus_memuat": ["otomatis", "beberapa menit"],
"dilarang": ["kartu kredit"],
"format": "maksimal 3 kalimat"
}
Langkah 2: Tentukan Rubrik
Rubrik yang baik punya sedikit dimensi dan definisi jelas. Contoh untuk jawaban: benar (fakta tidak salah), lengkap (menjawab pertanyaan), patuh format, dan aman (tidak membocorkan data). Beri skor 0–2 per dimensi, lalu jumlahkan.
- 0 — salah atau melanggar aturan.
- 1 — sebagian benar, perlu perbaikan.
- 2 — memenuhi seluruh kriteria.
Langkah 3: Jalankan Uji Otomatis
Bagian yang bisa diperiksa aturan sebaiknya diperiksa mesin: keberadaan kata kunci wajib, larangan kata, panjang maksimum, dan format JSON valid. Ini murah, cepat, dan tidak bias.
function cek(hasil, kasus) {
const gagal = [];
for (const kata of kasus.harus_memuat || [])
if (!hasil.toLowerCase().includes(kata.toLowerCase())) gagal.push('tidak memuat: ' + kata);
for (const kata of kasus.dilarang || [])
if (hasil.toLowerCase().includes(kata.toLowerCase())) gagal.push('memuat larangan: ' + kata);
if (kasus.format === 'maksimal 3 kalimat' && hasil.split('.').length > 4) gagal.push('terlalu panjang');
return gagal;
}
Langkah 4: LLM-as-Judge untuk Aspek Subjektif
Untuk penilaian yang tidak bisa diatur lewat aturan — nada, kejelasan, kelengkapan — model lain bisa dipakai sebagai penilai. Berikan rubrik yang sama dan minta keluaran terstruktur.
Nilai jawaban berikut pada skala 0-2 untuk: benar, lengkap, jelas.
Kembalikan JSON: {"benar":0-2,"lengkap":0-2,"jelas":0-2,"alasan":"..."}
Jangan menilai gaya bahasa di luar rubrik.
Batasi penilaian model pada aspek yang didefinisikan. Tanpa rubrik ketat, penilai cenderung memberi skor tinggi pada jawaban yang panjang.
Langkah 5: Lihat Angka, Bukan Cerita
Jalankan set uji setiap kali prompt atau model berubah. Simpan hasilnya agar bisa dibandingkan. Jika skor turun pada dimensi tertentu, Anda tahu persis bagian mana yang perlu diperbaiki — bukan mengubah semuanya sekaligus.
Kesalahan Umum
- Set uji terlalu mudah — semua lulus, tidak memberi informasi.
- Terlalu banyak dimensi — sulit diinterpretasi dan tidak konsisten.
- Tidak menyimpan versi prompt — hasil tidak bisa direproduksi.
- Mengandalkan penilai model tanpa sampel manual — bias tidak terdeteksi.
Kesimpulan
Evaluasi bukan pekerjaan mewah untuk tim besar. Dengan 40 kasus, rubrik empat dimensi, dan pemeriksaan otomatis sederhana, tim kecil sudah bisa membuat keputusan berbasis bukti dan menghindari regresi diam-diam.
Sumber & Referensi
- Anthropic Engineering — praktik evaluasi sistem AI.
- OpenAI — Evals — panduan evaluasi.
- arXiv — LLM-as-a-Judge — dasar akademik penilaian oleh model.
Menjalankan Evaluasi Secara Berkala
Evaluasi bukan kegiatan sekali jalan. Jadwalkan setiap kali ada perubahan prompt, model, atau data sumber. Otomatiskan di pipeline agar hasilnya tersimpan dan bisa dibandingkan antar versi.
Tinjau juga 10 sampel secara manual setiap bulan. Angka bisa stabil sementara kualitas terasa menurun — hanya pembacaan manusia yang menangkap perubahan nada atau keanehan yang tidak tertangkap rubrik.
Rubrik empat kriteria
Agar penilaian konsisten, nilai setiap keluaran pada empat hal: benar (tidak ada kesalahan fakta), lengkap (menjawab seluruh permintaan), sesuai format (panjang dan struktur seperti yang diminta), dan layak biaya (tidak bertele-tele).
Gunakan skala 1–5 untuk tiap kriteria, lalu jumlahkan. Rubrik ini membuat dua orang penilai sampai pada kesimpulan yang mirip, dan memudahkan membandingkan model.
Menjalankan evaluasi berkala
- Simpan 20–30 tugas nyata sebagai set uji tetap.
- Jalankan set yang sama setiap kali ganti model atau prompt.
- Catat tanggal evaluasi; model di belakang layar bisa berubah tanpa pemberitahuan.
Menghindari Evaluasi yang Menipu Diri
Jangan menilai dengan kasus yang sudah dipakai untuk menyusun prompt. Siapkan set uji terpisah yang tidak pernah dilihat saat pengembangan. Jika skor pada set baru jauh lebih rendah, berarti prompt terlalu disesuaikan pada contoh dan belum siap untuk pemakaian luas.
Contoh rubrik tiga aspek: Beri skor satu sampai lima untuk akurasi, kelengkapan, dan kejelasan. Skor konsisten dari waktu ke waktu lebih berguna daripada penilaian rasa.
Pertanyaan yang Sering Diajukan
Apakah BankAI mendukung streaming respons?
Ya, endpoint BankAI mendukung streaming (Server-Sent Events) dan non-streaming sesuai standar OpenAI.
Apakah ada batas RPM/TPM?
Selama kuota token Anda masih ada, pemakaian tidak dibatasi TPM/TPD/RPM secara ketat, tetapi ada pengaman agar layanan tetap stabil bagi semua pengguna.
Bagaimana cara memilih ukuran konteks (context window) yang tepat?
Sesuaikan dengan panjang prompt + riwayat + jawaban yang Anda butuhkan; model dengan konteks lebih besar berguna untuk dokumen panjang.