Embeddings & Vector Database untuk Pencarian Cerdas
Oleh Darus S Alfatah · 2026-11-04 · Tutorial · 10 menit
Catatan penulis: Kami sempat membangun infrastruktur vektor berat sebelum ada pengguna. Versi sederhana (satu tabel + cosine) justru lebih cepat memberi umpan balik.
Pencarian Kata Kunci Punya Batas
Pencarian biasa mencocokkan kata persis. Cari "cara bikin kopi" dan dokumen berjudul "panduan menyeduh espresso" tidak muncul karena tidak ada kata yang sama. Embeddings mengatasi ini: ia mengubah teks menjadi vektor angka yang menangkap makna, sehingga teks dengan arti mirip berdekatan meski katanya berbeda.
Apa Itu Embeddings?
Embedding adalah representasi teks sebagai deretan angka (misalnya 1.536 dimensi). Model embedding dilatih agar makna serupa menghasilkan vektor berdekatan. Kedekatan diukur dengan cosine similarity. Dengan ini Anda bisa mencari "mobil listrik murah" dan menemukan dokumen tentang "kendaraan elektrik hemat" tanpa kata yang sama.
# pseudo
v1 = embed("cara menyeduh kopi")
v2 = embed("panduan espresso")
similarity(v1, v2) # tinggi, meski kata berbeda
Vector Database: Kenapa Perlu
Menghitung kemiripan satu per satu ke jutaan vektor tidak efisien. Vector database menyimpan vektor dan menyediakan pencarian tetangga terdekat yang cepat (ANN — approximate nearest neighbour). Ia juga menangani metadata (filter berdasarkan kategori, tanggal, izin akses) yang penting di produksi.
Membangun Pencarian Semantik Sederhana
- Pecah dokumen menjadi potongan kecil (chunk) 200–500 kata.
- Embed setiap chunk, simpan vektor + teks + metadata.
- Saat ada pertanyaan, embed pertanyaan lalu cari chunk terdekat.
- Kirim chunk teratas sebagai konteks ke model bahasa untuk menjawab.
Pola ini disebut RAG (Retrieval-Augmented Generation). Ia membuat model menjawab berdasarkan data Anda tanpa perlu melatih ulang.
Kesalahan yang Sering Terjadi
- Chunk terlalu besar — konteks jadi kabur; pisahkan dengan logika.
- Tidak ada metadata — sulit menyaring hasil relevan.
- Lupa re-embed — saat dokumen berubah, vektor lama harus diperbarui.
- Mengandalkan satu pencarian — gabungkan pencarian kata kunci dan semantik (hybrid).
Pencarian Hybrid
Kombinasikan skor kata kunci (BM25) dengan skor vektor. Ini menangkap pencarian singkat (nama produk, kode) sekaligus pertanyaan bernuansa. Rata-ratakan atau gabungkan peringkatnya, lalu ambil top-N untuk konteks.
Penggunaan Nyata di Indonesia
- Basis pengetahuan internal — karyawan bertanya kebijakan perusahaan.
- Customer support — jawab dari dokumentasi produk.
- Katalog — cari produk dengan deskripsi bebas.
Tips Produksi
- Simpan ID dokumen asal agar bisa dikutip.
- Batasi jumlah chunk ke model untuk mengendalikan biaya token.
- Ukur kualitas retrieval (apakah chunk benar ditemukan), bukan hanya jawaban.
- Gunakan model embedding yang konsisten untuk indeks dan kueri.
Memilih Ukuran Chunk yang Tepat
Terlalu kecil, konteks hilang; terlalu besar, pencarian jadi kabur. Mulai dari 200–400 kata dengan tumpang tindih 10–15%. Uji dengan pertanyaan nyata dan lihat apakah potongan relevan muncul di peringkat atas.
Menilai Kualitas Retrieval
Ukur precision@k: dari k potongan teratas, berapa yang relevan. Bila rendah, perbaiki pemecahan, tambahkan metadata, atau ganti model embedding. Jangan hanya menilai jawaban akhir — kesalahan retrieval sering tidak terlihat di keluaran.
Biaya dan Skala
| Komponen | Biaya utama |
|---|---|
| Embedding | Sekali per dokumen + per kueri |
| Penyimpanan vektor | Berdasarkan jumlah vektor |
| Generasi | Token konteks + jawaban |
Batasi jumlah potongan yang dikirim ke model; tiga sampai lima biasanya cukup untuk banyak kasus.
Kapan Perlu Re-embedding
Saat dokumen berubah, atau saat Anda berganti model embedding. Jangan mencampur vektor dari dua model berbeda dalam satu indeks — hasil kemiripan menjadi tidak bermakna.
Alternatif Tanpa Vector Database
Untuk skala kecil (ribuan dokumen), pencarian cosine di memori atau ekstensi vektor pada basis data relasional sudah cukup. Vector database khusus baru diperlukan saat data membesar atau ketika butuh filter kompleks dengan latensi rendah.
Praktik Terbaik untuk Tim Kecil
Mulai sederhana: satu skrip yang meng-embed dokumen, satu tabel untuk menyimpan vektor, dan satu fungsi pencarian. Tambahkan kompleksitas hanya saat data menuntut. Banyak proyek gagal karena membangun infrastruktur berat sebelum ada pengguna nyata; sebaliknya, prototipe ringan cepat memberi umpan balik tentang kualitas retrieval yang sesungguhnya.
Kesimpulan
Embeddings dan vector database membuka pencarian cerdas dan RAG yang terjangkau. Kuncinya: chunk yang tepat, metadata, dan evaluasi retrieval. Gabungkan dengan model bahasa lewat satu BankAI — satu API key untuk embedding dan generasi.
Contoh: pencarian FAQ: Misalkan Anda punya 400 pertanyaan bantuan. Pecah tiap pertanyaan menjadi potongan kecil, buat embeddings, lalu simpan di vector database. Saat pengguna bertanya, ambil 5 potongan paling mirip dan sertakan sebagai konteks. Jawaban jadi mengacu ke dokumen Anda, bukan karangan model.
Pertanyaan yang Sering Diajukan
Apakah tutorial ini bisa diikuti pemula?
Ya. Langkah-langkahnya dijelaskan berurutan dan menyertakan contoh kode, jadi bisa diikuti pemula maupun developer berpengalaman.
Apakah endpoint BankAI kompatibel dengan library yang sudah saya pakai?
Ya, BankAI 100% kompatibel dengan standar OpenAI, sehingga library seperti OpenAI SDK, LangChain, dan tools sejenis bisa dipakai tanpa mengubah kode selain Base URL dan API key.
Di mana saya mendapatkan API key untuk mengikuti tutorial ini?
API key (dan Secret Token) didapat setelah daftar dan menyelesaikan pembayaran di dashboard BankAI.