Embeddings & Vector Database untuk Pencarian Cerdas

Oleh Darus S Alfatah · 2026-11-04 · Tutorial · 10 menit

Embeddings & Vector Database untuk Pencarian Cerdas

Catatan penulis: Kami sempat membangun infrastruktur vektor berat sebelum ada pengguna. Versi sederhana (satu tabel + cosine) justru lebih cepat memberi umpan balik.

Pencarian Kata Kunci Punya Batas

Pencarian biasa mencocokkan kata persis. Cari "cara bikin kopi" dan dokumen berjudul "panduan menyeduh espresso" tidak muncul karena tidak ada kata yang sama. Embeddings mengatasi ini: ia mengubah teks menjadi vektor angka yang menangkap makna, sehingga teks dengan arti mirip berdekatan meski katanya berbeda.

Apa Itu Embeddings?

Embedding adalah representasi teks sebagai deretan angka (misalnya 1.536 dimensi). Model embedding dilatih agar makna serupa menghasilkan vektor berdekatan. Kedekatan diukur dengan cosine similarity. Dengan ini Anda bisa mencari "mobil listrik murah" dan menemukan dokumen tentang "kendaraan elektrik hemat" tanpa kata yang sama.

# pseudo
v1 = embed("cara menyeduh kopi")
v2 = embed("panduan espresso")
similarity(v1, v2)  # tinggi, meski kata berbeda

Vector Database: Kenapa Perlu

Menghitung kemiripan satu per satu ke jutaan vektor tidak efisien. Vector database menyimpan vektor dan menyediakan pencarian tetangga terdekat yang cepat (ANN — approximate nearest neighbour). Ia juga menangani metadata (filter berdasarkan kategori, tanggal, izin akses) yang penting di produksi.

Membangun Pencarian Semantik Sederhana

  1. Pecah dokumen menjadi potongan kecil (chunk) 200–500 kata.
  2. Embed setiap chunk, simpan vektor + teks + metadata.
  3. Saat ada pertanyaan, embed pertanyaan lalu cari chunk terdekat.
  4. Kirim chunk teratas sebagai konteks ke model bahasa untuk menjawab.

Pola ini disebut RAG (Retrieval-Augmented Generation). Ia membuat model menjawab berdasarkan data Anda tanpa perlu melatih ulang.

Kesalahan yang Sering Terjadi

  • Chunk terlalu besar — konteks jadi kabur; pisahkan dengan logika.
  • Tidak ada metadata — sulit menyaring hasil relevan.
  • Lupa re-embed — saat dokumen berubah, vektor lama harus diperbarui.
  • Mengandalkan satu pencarian — gabungkan pencarian kata kunci dan semantik (hybrid).

Pencarian Hybrid

Kombinasikan skor kata kunci (BM25) dengan skor vektor. Ini menangkap pencarian singkat (nama produk, kode) sekaligus pertanyaan bernuansa. Rata-ratakan atau gabungkan peringkatnya, lalu ambil top-N untuk konteks.

Penggunaan Nyata di Indonesia

  • Basis pengetahuan internal — karyawan bertanya kebijakan perusahaan.
  • Customer support — jawab dari dokumentasi produk.
  • Katalog — cari produk dengan deskripsi bebas.

Tips Produksi

  • Simpan ID dokumen asal agar bisa dikutip.
  • Batasi jumlah chunk ke model untuk mengendalikan biaya token.
  • Ukur kualitas retrieval (apakah chunk benar ditemukan), bukan hanya jawaban.
  • Gunakan model embedding yang konsisten untuk indeks dan kueri.

Memilih Ukuran Chunk yang Tepat

Terlalu kecil, konteks hilang; terlalu besar, pencarian jadi kabur. Mulai dari 200–400 kata dengan tumpang tindih 10–15%. Uji dengan pertanyaan nyata dan lihat apakah potongan relevan muncul di peringkat atas.

Menilai Kualitas Retrieval

Ukur precision@k: dari k potongan teratas, berapa yang relevan. Bila rendah, perbaiki pemecahan, tambahkan metadata, atau ganti model embedding. Jangan hanya menilai jawaban akhir — kesalahan retrieval sering tidak terlihat di keluaran.

Biaya dan Skala

KomponenBiaya utama
EmbeddingSekali per dokumen + per kueri
Penyimpanan vektorBerdasarkan jumlah vektor
GenerasiToken konteks + jawaban

Batasi jumlah potongan yang dikirim ke model; tiga sampai lima biasanya cukup untuk banyak kasus.

Kapan Perlu Re-embedding

Saat dokumen berubah, atau saat Anda berganti model embedding. Jangan mencampur vektor dari dua model berbeda dalam satu indeks — hasil kemiripan menjadi tidak bermakna.

Alternatif Tanpa Vector Database

Untuk skala kecil (ribuan dokumen), pencarian cosine di memori atau ekstensi vektor pada basis data relasional sudah cukup. Vector database khusus baru diperlukan saat data membesar atau ketika butuh filter kompleks dengan latensi rendah.

Praktik Terbaik untuk Tim Kecil

Mulai sederhana: satu skrip yang meng-embed dokumen, satu tabel untuk menyimpan vektor, dan satu fungsi pencarian. Tambahkan kompleksitas hanya saat data menuntut. Banyak proyek gagal karena membangun infrastruktur berat sebelum ada pengguna nyata; sebaliknya, prototipe ringan cepat memberi umpan balik tentang kualitas retrieval yang sesungguhnya.

Kesimpulan

Embeddings dan vector database membuka pencarian cerdas dan RAG yang terjangkau. Kuncinya: chunk yang tepat, metadata, dan evaluasi retrieval. Gabungkan dengan model bahasa lewat satu BankAI — satu API key untuk embedding dan generasi.

Contoh: pencarian FAQ: Misalkan Anda punya 400 pertanyaan bantuan. Pecah tiap pertanyaan menjadi potongan kecil, buat embeddings, lalu simpan di vector database. Saat pengguna bertanya, ambil 5 potongan paling mirip dan sertakan sebagai konteks. Jawaban jadi mengacu ke dokumen Anda, bukan karangan model.

Pertanyaan yang Sering Diajukan

Apakah tutorial ini bisa diikuti pemula?

Ya. Langkah-langkahnya dijelaskan berurutan dan menyertakan contoh kode, jadi bisa diikuti pemula maupun developer berpengalaman.

Apakah endpoint BankAI kompatibel dengan library yang sudah saya pakai?

Ya, BankAI 100% kompatibel dengan standar OpenAI, sehingga library seperti OpenAI SDK, LangChain, dan tools sejenis bisa dipakai tanpa mengubah kode selain Base URL dan API key.

Di mana saya mendapatkan API key untuk mengikuti tutorial ini?

API key (dan Secret Token) didapat setelah daftar dan menyelesaikan pembayaran di dashboard BankAI.

Sumber & Referensi

Tentang penulis

Darus S Alfatah — Founder & Penulis

Darus S Alfatah adalah pendiri BankAI. Ia membangun dan mengoperasikan gateway API LLM yang melayani developer Indonesia, dan menulis tentang integrasi LLM, arsitektur gateway, serta cara memakai AI secara praktis dan hemat biaya. Setiap panduan diuji di lingkungan nyata — termasuk kode, konfigurasi, dan perhitungan token — sebelum diterbitkan, dan diperbarui ketika dokumentasi penyedia atau harga berubah.

Kebijakan editorial

Artikel terkait

🚀 Siap Pakai All in One API Key?

Daftar sekarang, top-up pakai QRIS, dan langsung ngoding pake ChatGPT, Claude, DeepSeek & semua AI dalam satu API Key!

🔑 DAFTAR SEKARANG · Harga