Apa Itu Token dalam API AI? Cara Kerja dan Cara Menghitungnya
Oleh Darus S Alfatah · 2025-09-23 · Edukasi · 7 menit
Catatan penulis: Aturan cepat kami: satu token kira-kira empat karakter bahasa Inggris, tiga sampai empat untuk Indonesia.
Fokus artikel ini
Artikel ini menjelaskan definisi token dan cara menghitungnya. Untuk dampaknya terhadap biaya per proyek, lihat artikel pelengkap.
Baca juga: Prompt Token vs Completion Token: Apa Bedanya dan Kenapa Penting? · Cara Menghitung Biaya AI per Proyek (Studi Kasus Nyata)
Pendahuluan: Token sebagai Satuan Dasar
Setiap kali Anda menggunakan API AI, ada satu istilah yang selalu muncul: token. Token adalah satuan dasar yang dipakai untuk mengukur pemakaian dan menghitung biaya API AI. Memahami apa itu token sangat penting bagi developer, karena hampir semua keputusan biaya — mulai dari panjang prompt, batas jawaban, hingga pemilihan model — berputar di sekitar token.
Artikel ini menjelaskan pengertian token, cara kerjanya, jenis-jenisnya, dan cara menghitung biaya berdasarkan token dengan bahasa yang mudah dipahami.
Apa Itu Token?
Token adalah potongan teks yang menjadi unit pemrosesan model AI. Secara sederhana, model AI tidak membaca teks per huruf atau per kata, melainkan memecah teks menjadi potongan-potongan kecil yang disebut token. Satu token kira-kira setara dengan 4 karakter dalam bahasa Inggris. Dalam bahasa Indonesia, satu kata pendek seperti "makan" biasanya dihitung satu token, sedangkan kata panjang atau frasa bisa menjadi dua sampai tiga token.
Penting dipahami bahwa token tidak sama persis dengan kata. Kata yang sama bisa dipecah berbeda tergantung tokenizer yang dipakai masing-masing model.
Bagaimana Cara Kerja Token?
Saat Anda mengirim request ke API AI, sistem akan menjalankan proses yang disebut tokenization. Teks Anda dipecah menjadi token oleh komponen bernama tokenizer, lalu token-token tersebut diproses oleh model. Model kemudian menghasilkan jawaban dalam bentuk token output, yang akhirnya dirangkai kembali menjadi teks yang bisa dibaca manusia.
Seluruh proses ini terjadi dalam hitungan milidetik hingga detik, tergantung panjang teks dan model yang dipakai.
Contoh Perhitungan Token
Sebagai gambaran, kalimat pendek berikut ini kira-kira menghasilkan lima token:
Kalimat: "Halo, apa kabar?"
Perkiraan token: 5 token
Semakin panjang teks yang Anda kirim, semakin banyak token yang terpakai. Itulah sebabnya prompt yang bertele-tele akan langsung berdampak pada biaya.
Jenis-Jenis Token: Input, Output, dan Cache
- Input token — seluruh teks yang Anda kirim ke model, termasuk system prompt, riwayat percakapan, dan pertanyaan pengguna.
- Output token — teks yang dihasilkan oleh model sebagai jawaban.
- Cache token — input yang sudah pernah diproses dan disimpan sementara, sehingga pada request berikutnya harganya lebih murah.
Ketiga jenis token ini biasanya dihargai berbeda. Output token umumnya 3-5 kali lebih mahal daripada input token, sedangkan cache token paling murah.
Cara Menghitung Biaya Berdasarkan Token
Biaya API AI dihitung dengan rumus sederhana berikut:
Biaya = (input_token × harga_input) + (output_token × harga_output)
Harga biasanya dinyatakan dalam satuan "per 1 juta token" supaya mudah dibandingkan antar model. Misalnya, jika harga input Rp 4.000 per 1 juta token dan Anda mengirim 500.000 token input, maka biaya inputnya adalah Rp 2.000.
Tips Menghemat Token
- Persingkat prompt — buang kata-kata yang tidak perlu.
- Batasi max_tokens — jangan biarkan model menghasilkan jawaban lebih panjang dari yang dibutuhkan.
- Manfaatkan cache — jaga urutan system prompt agar cache tetap valid pada percakapan panjang.
- Pantau dashboard — lihat model mana yang paling banyak memakai token, lalu optimalkan.
Dengan memahami token, Anda bisa mengendalikan biaya API AI dengan lebih baik. Mulai gunakan AI dengan BankAI — transparan, murah, dan mulai dari Rp 2.000!
Token, Kata, dan Biaya: Contoh Konkret
Kalimat "Saya ingin membuat aplikasi chatbot untuk toko online" sekitar 10 kata dan bisa menjadi 13–16 token tergantung tokenizer. Untuk bahasa Indonesia, rasio token terhadap kata sering lebih tinggi daripada bahasa Inggris karena pola kata berimbuhan dipecah menjadi beberapa bagian. Karena itu, estimasi biaya untuk aplikasi berbahasa Indonesia sebaiknya memakai pengukuran nyata, bukan aturan kasar "1 kata = 1 token".
Mengukur Token di Praktik
Gunakan endpoint atau library tokenizer yang disediakan penyedia sebelum meluncurkan fitur. Ukur rata-rata token input dan output dari 50 percakapan nyata, lalu jadikan angka itu dasar perhitungan anggaran. Perbarui pengukuran setelah prompt berubah, karena penambahan instruksi panjang bisa menaikkan biaya secara signifikan.
Mengukur Token dengan Akurat
from tiktoken import encoding_for_model
enc = encoding_for_model('gpt-4o')
print(len(enc.encode('Halo, ini contoh kalimat.'))) # ±6 token
Tokenizer berbeda antar model, jadi ukur dengan tokenizer model yang Anda pakai. Untuk bahasa Indonesia, tambahkan margin 10–20% dibanding perkiraan berbasis kata.
Token dan Batas Konteks
Batas konteks mencakup input dan output sekaligus. Jika Anda mengirim dokumen 100 ribu token pada model dengan batas 128 ribu, ruang untuk jawaban hanya 28 ribu. Rencanakan pembagian ini sebelum memilih model.
Dampak ke Anggaran
Ketika token membengkak, biaya naik linear. Karena itu, pemantauan token per fitur adalah kontrol biaya paling dasar yang bisa dilakukan tim kecil tanpa alat khusus.
Contoh menghitung cepat: Paragraf sekitar empat ratus karakter kira-kira seratus token. Untuk perkiraan kasar, bagi jumlah karakter dengan empat.
Pertanyaan yang Sering Diajukan
Apa inti pembahasan artikel ini?
Artikel ini menjelaskan konsep dasar seputar API AI dan gateway-nya dengan bahasa yang mudah dipahami developer Indonesia, lengkap dengan contoh pemakaian.
Apakah perlu latar belakang teknis untuk memahaminya?
Tidak. Materi disusun bertahap dari dasar, jadi pemula bisa mengikuti; developer berpengalaman bisa langsung ke bagian yang relevan.
Bagaimana cara memulai pakai API AI setelah membaca ini?
Cukup daftar akun BankAI, ambil API key, lalu ganti Base URL di aplikasi Anda ke endpoint BankAI yang kompatibel dengan standar OpenAI.