Cara Benchmark Model AI Sendiri Sebelum Produksi
Oleh Darus S Alfatah · 2026-11-08 · Optimasi · 9 menit
Catatan penulis: Papan peringkat publik pernah menuntun kami memilih model yang ternyata kalah di domain kami sendiri. Sejak itu, test set sendiri jadi wajib.
Kenapa Benchmark Publik Tidak Cukup
Papan peringkat model AI memikat, tetapi sering menyesatkan. Skor tinggi pada ujian matematika umum tidak berarti model bagus untuk mengekstrak faktur atau menjawab pelanggan Anda. Perbedaan domain, bahasa, dan format membuat hasil benchmark publik tidak mewakili kasus nyata. Karena itu, benchmark sendiri adalah cara paling andal memilih model.
Langkah 1: Kumpulkan Tugas Nyata
Ambil 30–100 contoh dari kasus sesungguhnya, termasuk yang sulit dan yang mudah. Untuk setiap contoh, tentukan jawaban benar atau kriteria keberhasilan yang jelas. Kumpulan ini disebut test set dan menjadi acuan tetap untuk semua perbandingan.
Langkah 2: Pilih Metrik yang Sesuai
- Akurasi/deterministik — untuk klasifikasi dan ekstraksi (benar/salah).
- Skor rubrik — untuk jawaban terbuka (1–5 pada beberapa aspek).
- Kesetiaan format — apakah keluaran mematuhi skema.
- Latensi — waktu ke respons pertama dan total.
- Biaya — token per tugas selesai.
Langkah 3: Jalankan secara Adil
Gunakan prompt yang sama untuk semua model. Jangan menyetel prompt khusus demi satu model tanpa menerapkannya ke semua. Jalankan beberapa kali karena keluaran bisa bervariasi, lalu ambil rata-rata. Catat biaya dan latensi bersamaan dengan kualitas.
untuk tiap model:
untuk tiap contoh di test_set:
jawaban = model(prompt_sama)
nilai = rubrik(jawaban, acuan)
hitung rata-rata nilai, latensi, token
Langkah 4: Pilih Berdasarkan Tugas Selesai
Model termurah per token belum tentu termurah per tugas bila butuh banyak percobaan. Hitung biaya untuk menyelesaikan satu tugas dengan benar. Sering kali model sedang lebih menguntungkan daripada model termurah.
Evaluasi dengan Model sebagai Juri
Untuk jawaban terbuka, model lain bisa menilai kualitas dengan rubrik. Praktis, tetapi bias — model cenderung menyukai keluarannya sendiri. Kalibrasi dengan penilaian manusia pada sebagian contoh, dan jangan menggantikan manusia sepenuhnya untuk keputusan penting.
Uji Kasus Tepi
Masukkan contoh yang tidak biasa: input kosong, bahasa campuran, permintaan panjang, dan upaya menyesatkan. Ketahanan pada kasus tepi sering lebih penting daripada skor rata-rata.
Kesalahan Umum
- Menguji pada contoh yang juga dipakai menyusun prompt (bocor).
- Metrik kabur tanpa kriteria keberhasilan.
- Mengabaikan biaya dan latensi.
- Terlalu sedikit contoh sehingga hasil tidak stabil.
Menjaga Test Set Tetap Relevan
Dunia berubah; kasus yang relevan setahun lalu mungkin sudah usang. Tinjau test set setiap kuartal, tambahkan contoh baru dari produksi, dan buang yang tidak lagi mewakili. Jaga agar test set terpisah dari data yang dipakai menyetel prompt agar tidak bocor.
Mengotomatiskan Evaluasi
Jadikan evaluasi bagian dari pipeline rilis. Setiap kali integrasi berubah, jalankan test set dan bandingkan dengan baseline. Regresi kualitas pun akan tertangkap sebelum sampai ke pengguna.
FAQ
Berapa contoh ideal untuk test set?
Minimal 30; 100 atau lebih memberi hasil yang lebih stabil.
Apakah boleh memakai benchmark publik?
Boleh sebagai gambaran awal, tetapi keputusan akhir pakai data Anda sendiri.
Apakah model sebagai juri cukup?
Praktis tetapi bias. Kalibrasi dengan penilaian manusia pada sebagian contoh.
Seberapa sering evaluasi dijalankan?
Setiap perubahan integrasi dan tinjauan test set per kuartal.
Apa yang diukur selain kualitas?
Biaya per tugas selesai dan latensi, karena keduanya menentukan kelayakan produksi.
Apakah perlu alat khusus?
Tidak harus; spreadsheet dan skrip sederhana sudah cukup untuk memulai.
Bagaimana bila hasil imbang?
Pilih yang lebih murah atau lebih cepat sesuai prioritas produk Anda.
Apakah hasil bisa berubah?
Ya, model diperbarui berkala, jadi evaluasi ulang setelah pembaruan besar.
Poin Penting
- Benchmark publik tidak mewakili domain Anda.
- Bangun test set dari kasus nyata dengan acuan jelas.
- Jalankan semua model dengan prompt yang sama.
- Bandingkan biaya per tugas selesai, bukan per token.
- Uji kasus tepi dan kalibrasi penilaian manusia.
Kesimpulan
Benchmark sendiri adalah investasi kecil dengan hasil besar: keputusan model yang berbasis data, bukan tren. Mulai dari 30 contoh, ukur dengan jujur, dan tinjau berkala. Dengan satu API key di BankAI, Anda bisa membandingkan banyak model dari kode yang sama tanpa mengganti integrasi.
Contoh: 30 tugas, empat kriteria: Misalkan Anda memilih antara tiga model. Ambil 30 tugas nyata dari pekerjaan Anda, jalankan pada ketiganya, lalu nilai 1–5 untuk: benar, lengkap, sesuai format, dan wajar secara biaya. Model terbaik adalah yang menang di tugas Anda — bukan yang paling baru di berita.
Pertanyaan yang Sering Diajukan
Apa tujuan optimasi yang dibahas di sini?
Artikel ini membahas cara menekan pemborosan token dan biaya tanpa mengorbankan kualitas hasil, sehingga pemakaian API lebih efisien.
Apakah optimasi ini menurunkan kualitas jawaban AI?
Tidak, jika diterapkan dengan benar. Optimasi diarahkan pada efisiensi prompt dan pemakaian token, bukan mengurangi kualitas.
Di mana saya bisa melihat pemakaian token saya?
Di dashboard BankAI, tersedia rincian pemakaian per model dan per periode.