Prompt Token vs Completion Token: Apa Bedanya dan Kenapa Penting?
Oleh Darus S Alfatah · 2025-09-24 · Edukasi · 6 menit
Catatan penulis: Kami selalu menyisakan ruang output. Prompt yang mengisi seluruh konteks memotong jawaban.
Fokus artikel ini
Artikel ini fokus pada perbedaan prompt token (input) dan completion token (output), serta mengapa keduanya ditagih berbeda.
Baca juga: Apa Itu Token dalam API AI? Cara Kerja dan Cara Menghitungnya · Max Tokens: Panduan Setting yang Benar agar Tidak Boros
Pendahuluan: Dua Sisi dari Setiap Request
Setiap kali aplikasi Anda memanggil API AI, sebenarnya ada dua jenis token yang terlibat: prompt token (input) dan completion token (output). Keduanya punya peran berbeda dan — yang lebih penting — harga yang berbeda. Banyak developer tidak menyadari hal ini, sehingga biaya API mereka membengkak tanpa sebab yang jelas.
Artikel ini menjelaskan perbedaan prompt token dan completion token, kenapa harganya berbeda, dan bagaimana cara mengoptimalkan keduanya agar biaya tetap terkendali.
Apa Itu Prompt Token (Input)?
Prompt token adalah semua teks yang Anda kirim ke model AI. Ini mencakup tiga hal utama: system prompt (instruksi awal yang menentukan perilaku AI), riwayat percakapan (jika aplikasi Anda menyimpan konteks), dan pertanyaan pengguna itu sendiri.
Semakin panjang prompt yang Anda kirim, semakin banyak token input yang terpakai. Inilah mengapa system prompt yang bertele-tele dan riwayat percakapan yang tidak dipotong bisa membuat biaya membengkak — karena semua itu dihitung sebagai input token di setiap request.
Apa Itu Completion Token (Output)?
Completion token adalah teks yang dihasilkan oleh model AI sebagai jawaban. Semakin panjang jawaban yang dihasilkan, semakin banyak token output yang terpakai. Jika Anda pernah melihat jawaban AI yang panjang dan bertele-tele, itulah completion token yang sedang "membakar" saldo Anda.
Karena itu, mengatur max_tokens dengan benar sangat penting. Jawaban yang terlalu panjang tidak hanya boros biaya, tetapi juga memperlambat respons.
Kenapa Output Token Lebih Mahal?
Anda mungkin bertanya: kenapa output token dihargai 2-5 kali lebih mahal daripada input token? Jawabannya terletak pada beban komputasi. Saat memproses input, model bisa membaca banyak token sekaligus secara paralel. Namun saat menghasilkan output, model harus "menulis" teks token demi token secara berurutan — proses yang jauh lebih berat secara komputasi.
Itulah sebabnya hampir semua penyedia API AI memasang harga output lebih tinggi daripada input.
Strategi Mengoptimalkan Keduanya
- Batasi output — set
max_tokenssesuai kebutuhan, jangan berlebihan. - Ringkas input — potong riwayat percakapan yang sudah tidak relevan.
- Minta jawaban padat — instruksikan AI untuk menjawab singkat dan langsung ke inti.
- Manfaatkan cache — jaga urutan prompt agar cache token tetap valid dan lebih murah.
Contoh Perhitungan Nyata
Misalkan Anda mengirim prompt sepanjang 1.000 token dan model menghasilkan jawaban 500 token, dengan harga input Rp 4.000 per 1 juta token dan output Rp 20.000 per 1 juta token:
Input = 1.000 / 1.000.000 × 4.000 = Rp 4
Output = 500 / 1.000.000 × 20.000 = Rp 10
Total = Rp 14
Perhatikan bahwa meskipun output hanya setengah dari input, biayanya justru lebih besar. Ini menunjukkan betapa pentingnya mengendalikan panjang jawaban.
Optimalkan pemakaian token Anda dengan BankAI — transparan, murah, dan mudah dipantau!
Mengapa Prompt Sering Mendominasi Biaya
Pada aplikasi dengan prompt sistem panjang — misalnya 1.500 token berisi aturan, katalog, dan contoh — prompt bisa menjadi 80% dari total token meskipun jawaban hanya 200 token. Setiap percakapan baru membayar ulang prompt tersebut. Di sinilah caching prompt sistem sangat berperan: penyedia yang mendukung prompt caching menagih jauh lebih murah untuk bagian yang tidak berubah.
Cara Menyeimbangkan
Pangkas prompt sistem menjadi aturan inti, dan pindahkan detail ke konteks yang diambil hanya saat relevan (pendekatan RAG). Batasi output dengan instruksi panjang jawaban dan parameter maksimum. Setelah itu, ukur ulang rasio input terhadap output setiap bulan — perubahan kecil pada prompt bisa menggeser biaya secara signifikan.
Contoh Perhitungan dengan Cache
tanpa cache : 1.500 prompt + 300 completion = 1.800 token
dengan cache: 300 prompt baru + 1.200 cache + 300 completion
(bagian cache ditagih lebih murah)
Menata Prompt agar Bisa Di-cache
Letakkan bagian statis di awal: aturan, definisi, dan contoh. Letakkan bagian dinamis di akhir: pertanyaan pengguna dan konteks hasil retrieval. Urutan ini memaksimalkan peluang cache karena awalan prompt tidak berubah antar permintaan.
Kesalahan yang Membuat Cache Tidak Berguna
- Menyisipkan timestamp atau ID acak di awal prompt.
- Mengubah urutan aturan setiap permintaan.
- Menggabungkan aturan dengan data pengguna dalam satu blok.
Mengukur Efeknya
Catat token input biasa dan token cache setiap permintaan. Jika proporsi cache rendah, periksa urutan prompt — biasanya ada bagian dinamis yang bocor ke awal.
Contoh biaya asimetris: Prompt seratus token dan jawaban seratus token tidak berbiaya sama. Bagian keluaran biasanya jauh lebih mahal.
Pertanyaan yang Sering Diajukan
Apa inti pembahasan artikel ini?
Artikel ini menjelaskan konsep dasar seputar API AI dan gateway-nya dengan bahasa yang mudah dipahami developer Indonesia, lengkap dengan contoh pemakaian.
Apakah perlu latar belakang teknis untuk memahaminya?
Tidak. Materi disusun bertahap dari dasar, jadi pemula bisa mengikuti; developer berpengalaman bisa langsung ke bagian yang relevan.
Bagaimana cara memulai pakai API AI setelah membaca ini?
Cukup daftar akun BankAI, ambil API key, lalu ganti Base URL di aplikasi Anda ke endpoint BankAI yang kompatibel dengan standar OpenAI.