Max Tokens: Panduan Setting yang Benar agar Tidak Boros

Oleh Darus S Alfatah · 2025-09-25 · Optimasi · 6 menit

Max Tokens: Panduan Setting yang Benar agar Tidak Boros

Catatan penulis: Nilai terbaik kami dapat dari persentil ke-90 panjang jawaban nyata, ditambah margin kecil.

Fokus artikel ini

Artikel ini khusus tentang menyetel parameter max_tokens dengan benar, termasuk pengaruh token penalaran pada model reasoning.

Baca juga: Prompt Token vs Completion Token: Apa Bedanya dan Kenapa Penting? · 10 Cara Menghemat Token API AI agar Biaya Tidak Membengkak

Pendahuluan: Parameter Kecil, Dampak Besar

max_tokens adalah salah satu parameter paling penting dalam API AI, namun sering diabaikan oleh developer. Parameter ini membatasi jumlah token maksimal yang boleh dihasilkan oleh model dalam satu respons. Setting yang salah bisa berakibat fatal: terlalu kecil membuat jawaban terpotong di tengah jalan, sementara terlalu besar membuat biaya API membengkak tanpa perlu.

Artikel ini menjelaskan apa itu max_tokens, dampaknya, dan cara menentukan nilai yang tepat untuk berbagai jenis tugas.

Apa Itu Max Tokens?

Secara teknis, max_tokens adalah batas atas jumlah token output yang boleh dihasilkan model. Perlu dicatat bahwa parameter ini membatasi token output (jawaban), bukan token input (prompt). Jadi jika Anda set max_tokens=500, model boleh menghasilkan jawaban hingga 500 token.

Karena output token dihargai lebih mahal daripada input token, mengatur max_tokens dengan benar adalah salah satu cara paling efektif untuk menghemat biaya.

Dampak Max Tokens Terlalu Besar

  • Jawaban bertele-tele — model bisa menghasilkan teks panjang yang sebenarnya tidak dibutuhkan pengguna.
  • Biaya output membengkak — setiap token output ekstra adalah biaya tambahan.
  • Respons lebih lambat — semakin panjang jawaban, semakin lama waktu yang dibutuhkan untuk menyelesaikannya.

Dampak Max Tokens Terlalu Kecil

  • Jawaban terpotong — model berhenti di tengah kalimat karena batas token tercapai.
  • Tugas tidak selesai — untuk tugas kompleks seperti menulis artikel atau menganalisis kode, jawaban yang terpotong membuat hasil tidak berguna.
  • Pengalaman pengguna buruk — pengguna harus mengulang request untuk mendapatkan jawaban lengkap.

Rekomendasi Setting Max Tokens

Berikut panduan umum berdasarkan jenis tugas:

Jenis TugasMax Tokens
Jawaban singkat / klasifikasi100 - 300
Jawaban normal (chatbot, FAQ)500 - 1.000
Artikel / konten panjang2.000 - 4.000
Kode / analisis kompleks4.000 - 8.000

Angka ini bukan aturan baku — sesuaikan dengan hasil pengamatan di aplikasi Anda sendiri.

Contoh Implementasi

response = client.chat.completions.create(
    model="auto",
    messages=[{"role": "user", "content": "Jelaskan apa itu AI!"}],
    max_tokens=500  # cukup untuk jawaban normal
)

Tips Tambahan

  • Pantau jawaban aktual — lihat di dashboard berapa panjang jawaban rata-rata, lalu sesuaikan max_tokens.
  • Gunakan streaming — dengan stream: true, Anda bisa menghentikan respons lebih awal bila jawaban sudah cukup.
  • Kombinasikan dengan instruksi — selain max_tokens, tambahkan instruksi di prompt agar AI menjawab secara ringkas.

Mengatur max_tokens dengan benar bisa menghemat biaya hingga 50%. Mulai optimalkan aplikasi Anda dengan BankAI — transparan dan mulai Rp 2.000!

Kesalahan Umum dan Cara Menghindarinya

Kesalahan pertama adalah menganggap max_tokens sebagai target panjang. Model tidak akan mengisi sampai batas jika jawaban sudah selesai, tetapi sebagian model cenderung bertele-tele jika batasnya longgar. Kesalahan kedua adalah menyetel nilai terlalu kecil sehingga jawaban terpotong di tengah kalimat atau JSON menjadi tidak valid.

Kesalahan ketiga: lupa bahwa token penalaran ikut dihitung pada model reasoning. Jika Anda menyetel max_tokens rendah dan model memakai banyak token untuk berpikir, jawaban akhir bisa kosong atau terpotong. Untuk model seperti ini, gunakan parameter anggaran penalaran terpisah jika tersedia, atau naikkan batas dengan hati-hati.

Cara Menemukan Nilai yang Tepat

Kumpulkan 30 jawaban ideal dari kasus nyata, ukur panjang token masing-masing, lalu ambil persentil ke-90 sebagai batas. Tambahkan margin 20% untuk variasi. Tinjau setiap kuartal, karena kebutuhan pengguna dan panjang jawaban cenderung berubah seiring waktu.

Menyusun Anggaran Token per Fitur

const ANGGARAN = {
  faq:      { model: 'murah', maxTokens: 300 },
  ringkasan:{ model: 'murah', maxTokens: 500 },
  analisis: { model: 'besar', maxTokens: 1200 },
  agen:     { model: 'reasoning', maxTokens: 2000 }
};

Konfigurasi eksplisit seperti ini mencegah satu fitur memakai model mahal dengan output panjang tanpa alasan. Tinjau tabel ini setiap kuartal bersama data pemakaian nyata.

Mengenali Output Terpotong

Model biasanya memberi sinyal akhir jawaban (finish reason) yang menandakan apakah jawaban selesai atau mentok batas. Simpan informasi ini; jika banyak jawaban terpotong, naikkan batas atau minta model menjawab lebih ringkas. Jangan langsung menaikkan batas tanpa memperbaiki instruksi, karena biaya akan naik permanen.

Streaming dan Batas yang Sama

Streaming tidak menghapus batas token. Pastikan klien menghentikan pembacaan ketika pengguna menekan tombol berhenti, agar penyedia tidak terus menghasilkan token yang tetap ditagih.

Contoh jawaban terpotong: Jika keluaran berhenti di tengah kalimat atau JSON tidak lengkap, kemungkinan max_tokens terlalu kecil untuk tugas itu.

Pertanyaan yang Sering Diajukan

Apa tujuan optimasi yang dibahas di sini?

Artikel ini membahas cara menekan pemborosan token dan biaya tanpa mengorbankan kualitas hasil, sehingga pemakaian API lebih efisien.

Apakah optimasi ini menurunkan kualitas jawaban AI?

Tidak, jika diterapkan dengan benar. Optimasi diarahkan pada efisiensi prompt dan pemakaian token, bukan mengurangi kualitas.

Di mana saya bisa melihat pemakaian token saya?

Di dashboard BankAI, tersedia rincian pemakaian per model dan per periode.

Sumber & Referensi

Tentang penulis

Darus S Alfatah — Founder & Penulis

Darus S Alfatah adalah pendiri BankAI. Ia membangun dan mengoperasikan gateway API LLM yang melayani developer Indonesia, dan menulis tentang integrasi LLM, arsitektur gateway, serta cara memakai AI secara praktis dan hemat biaya. Setiap panduan diuji di lingkungan nyata — termasuk kode, konfigurasi, dan perhitungan token — sebelum diterbitkan, dan diperbarui ketika dokumentasi penyedia atau harga berubah.

Kebijakan editorial

Artikel terkait

🚀 Siap Pakai All in One API Key?

Daftar sekarang, top-up pakai QRIS, dan langsung ngoding pake ChatGPT, Claude, DeepSeek & semua AI dalam satu API Key!

🔑 DAFTAR SEKARANG · Harga