Max Tokens: Panduan Setting yang Benar agar Tidak Boros
Oleh Darus S Alfatah · 2025-09-25 · Optimasi · 6 menit
Catatan penulis: Nilai terbaik kami dapat dari persentil ke-90 panjang jawaban nyata, ditambah margin kecil.
Fokus artikel ini
Artikel ini khusus tentang menyetel parameter max_tokens dengan benar, termasuk pengaruh token penalaran pada model reasoning.
Baca juga: Prompt Token vs Completion Token: Apa Bedanya dan Kenapa Penting? · 10 Cara Menghemat Token API AI agar Biaya Tidak Membengkak
Pendahuluan: Parameter Kecil, Dampak Besar
max_tokens adalah salah satu parameter paling penting dalam API AI, namun sering diabaikan oleh developer. Parameter ini membatasi jumlah token maksimal yang boleh dihasilkan oleh model dalam satu respons. Setting yang salah bisa berakibat fatal: terlalu kecil membuat jawaban terpotong di tengah jalan, sementara terlalu besar membuat biaya API membengkak tanpa perlu.
Artikel ini menjelaskan apa itu max_tokens, dampaknya, dan cara menentukan nilai yang tepat untuk berbagai jenis tugas.
Apa Itu Max Tokens?
Secara teknis, max_tokens adalah batas atas jumlah token output yang boleh dihasilkan model. Perlu dicatat bahwa parameter ini membatasi token output (jawaban), bukan token input (prompt). Jadi jika Anda set max_tokens=500, model boleh menghasilkan jawaban hingga 500 token.
Karena output token dihargai lebih mahal daripada input token, mengatur max_tokens dengan benar adalah salah satu cara paling efektif untuk menghemat biaya.
Dampak Max Tokens Terlalu Besar
- Jawaban bertele-tele — model bisa menghasilkan teks panjang yang sebenarnya tidak dibutuhkan pengguna.
- Biaya output membengkak — setiap token output ekstra adalah biaya tambahan.
- Respons lebih lambat — semakin panjang jawaban, semakin lama waktu yang dibutuhkan untuk menyelesaikannya.
Dampak Max Tokens Terlalu Kecil
- Jawaban terpotong — model berhenti di tengah kalimat karena batas token tercapai.
- Tugas tidak selesai — untuk tugas kompleks seperti menulis artikel atau menganalisis kode, jawaban yang terpotong membuat hasil tidak berguna.
- Pengalaman pengguna buruk — pengguna harus mengulang request untuk mendapatkan jawaban lengkap.
Rekomendasi Setting Max Tokens
Berikut panduan umum berdasarkan jenis tugas:
| Jenis Tugas | Max Tokens |
|---|---|
| Jawaban singkat / klasifikasi | 100 - 300 |
| Jawaban normal (chatbot, FAQ) | 500 - 1.000 |
| Artikel / konten panjang | 2.000 - 4.000 |
| Kode / analisis kompleks | 4.000 - 8.000 |
Angka ini bukan aturan baku — sesuaikan dengan hasil pengamatan di aplikasi Anda sendiri.
Contoh Implementasi
response = client.chat.completions.create(
model="auto",
messages=[{"role": "user", "content": "Jelaskan apa itu AI!"}],
max_tokens=500 # cukup untuk jawaban normal
)
Tips Tambahan
- Pantau jawaban aktual — lihat di dashboard berapa panjang jawaban rata-rata, lalu sesuaikan max_tokens.
- Gunakan streaming — dengan
stream: true, Anda bisa menghentikan respons lebih awal bila jawaban sudah cukup. - Kombinasikan dengan instruksi — selain max_tokens, tambahkan instruksi di prompt agar AI menjawab secara ringkas.
Mengatur max_tokens dengan benar bisa menghemat biaya hingga 50%. Mulai optimalkan aplikasi Anda dengan BankAI — transparan dan mulai Rp 2.000!
Kesalahan Umum dan Cara Menghindarinya
Kesalahan pertama adalah menganggap max_tokens sebagai target panjang. Model tidak akan mengisi sampai batas jika jawaban sudah selesai, tetapi sebagian model cenderung bertele-tele jika batasnya longgar. Kesalahan kedua adalah menyetel nilai terlalu kecil sehingga jawaban terpotong di tengah kalimat atau JSON menjadi tidak valid.
Kesalahan ketiga: lupa bahwa token penalaran ikut dihitung pada model reasoning. Jika Anda menyetel max_tokens rendah dan model memakai banyak token untuk berpikir, jawaban akhir bisa kosong atau terpotong. Untuk model seperti ini, gunakan parameter anggaran penalaran terpisah jika tersedia, atau naikkan batas dengan hati-hati.
Cara Menemukan Nilai yang Tepat
Kumpulkan 30 jawaban ideal dari kasus nyata, ukur panjang token masing-masing, lalu ambil persentil ke-90 sebagai batas. Tambahkan margin 20% untuk variasi. Tinjau setiap kuartal, karena kebutuhan pengguna dan panjang jawaban cenderung berubah seiring waktu.
Menyusun Anggaran Token per Fitur
const ANGGARAN = {
faq: { model: 'murah', maxTokens: 300 },
ringkasan:{ model: 'murah', maxTokens: 500 },
analisis: { model: 'besar', maxTokens: 1200 },
agen: { model: 'reasoning', maxTokens: 2000 }
};
Konfigurasi eksplisit seperti ini mencegah satu fitur memakai model mahal dengan output panjang tanpa alasan. Tinjau tabel ini setiap kuartal bersama data pemakaian nyata.
Mengenali Output Terpotong
Model biasanya memberi sinyal akhir jawaban (finish reason) yang menandakan apakah jawaban selesai atau mentok batas. Simpan informasi ini; jika banyak jawaban terpotong, naikkan batas atau minta model menjawab lebih ringkas. Jangan langsung menaikkan batas tanpa memperbaiki instruksi, karena biaya akan naik permanen.
Streaming dan Batas yang Sama
Streaming tidak menghapus batas token. Pastikan klien menghentikan pembacaan ketika pengguna menekan tombol berhenti, agar penyedia tidak terus menghasilkan token yang tetap ditagih.
Contoh jawaban terpotong: Jika keluaran berhenti di tengah kalimat atau JSON tidak lengkap, kemungkinan max_tokens terlalu kecil untuk tugas itu.
Pertanyaan yang Sering Diajukan
Apa tujuan optimasi yang dibahas di sini?
Artikel ini membahas cara menekan pemborosan token dan biaya tanpa mengorbankan kualitas hasil, sehingga pemakaian API lebih efisien.
Apakah optimasi ini menurunkan kualitas jawaban AI?
Tidak, jika diterapkan dengan benar. Optimasi diarahkan pada efisiensi prompt dan pemakaian token, bukan mengurangi kualitas.
Di mana saya bisa melihat pemakaian token saya?
Di dashboard BankAI, tersedia rincian pemakaian per model dan per periode.