RAG dan Memori: Cara Membuat AI Menjawab Berdasarkan Data Perusahaan Anda

Oleh Darus S Alfatah · 2026-10-19 · Teknis · 12 menit

RAG dan Memori: Cara Membuat AI Menjawab Berdasarkan Data Perusahaan Anda

Catatan penulis: Memory tanpa kontrol tumbuh tak terbatas. Kami rutin meringkas dan membuang yang tidak relevan.

Masalah Halusinasi dan Solusi Retrieval

Model bahasa menjawab berdasarkan pola dari data latihnya. Ketika ditanya tentang harga produk Anda, SOP internal, atau kontrak pelanggan, model tidak punya informasi itu — tetapi sering tetap menjawab dengan percaya diri. Fenomena inilah yang membuat AI terasa tidak bisa dipercaya di lingkungan bisnis.

RAG (Retrieval-Augmented Generation) menyelesaikannya dengan pendekatan sederhana: sebelum model menjawab, sistem mencari potongan dokumen yang relevan, lalu menyertakannya sebagai konteks. Jawaban menjadi bertambat pada sumber nyata, dan pengguna bisa memeriksa rujukannya.

Alur RAG Standar

  • Ingest — ambil dokumen dari drive, wiki, database, atau situs internal.
  • Chunking — potong menjadi bagian kecil (300–800 token) dengan overlap.
  • Embedding — ubah setiap potongan menjadi vektor dan simpan di vector database.
  • Retrieve — saat ada pertanyaan, cari potongan paling mirip (biasanya top-k 5–10).
  • Generate — kirim pertanyaan + potongan konteks ke model, minta jawaban dengan sitasi.

Jebakan yang Paling Sering Muncul

Pertama, chunking asal-asalan. Memotong per 1000 karakter memecah tabel dan prosedur di tengah, sehingga konteks yang diambil tidak utuh. Solusinya: potong berdasarkan struktur (heading, paragraf, tabel).

Kedua, hanya mengandalkan pencarian vektor. Pencarian semantik bagus untuk pertanyaan konseptual, tetapi buruk untuk kode produk, nomor invoice, atau nama orang. Kombinasikan dengan pencarian kata kunci (hybrid search) dan filter metadata.

Ketiga, tanpa evaluasi. Banyak tim menganggap RAG "sudah jalan" karena jawaban terlihat masuk akal. Padahal tanpa set pertanyaan uji dan rubrik penilaian, regresi kualitas tidak terdeteksi.

Memori: Melampaui Satu Percakapan

RAG menjawab "apa yang diketahui sistem", sedangkan memori menjawab "apa yang sudah terjadi". Memori percakapan menyimpan preferensi pengguna, keputusan sebelumnya, dan tugas yang belum selesai. Implementasinya bisa berupa ringkasan bergulir (rolling summary), basis data fakta kunci, atau penyimpanan vektor per pengguna.

Risikonya: memori bisa menyimpan informasi salah atau kedaluwarsa. Sediakan mekanisme agar pengguna bisa melihat dan menghapus memori — ini juga membantu kepatuhan UU PDP.

Mengukur Kualitas RAG

Beberapa metrik yang layak dipantau:

  • Recall retrieval — berapa persen pertanyaan uji yang dokumen benarnya berhasil diambil.
  • Faithfulness — apakah jawaban benar-benar didukung konteks, bukan karangan.
  • Answer relevance — apakah jawaban menjawab pertanyaan yang diajukan.
  • Citation accuracy — apakah rujukan yang ditampilkan benar menunjuk sumbernya.

Mulai dari 50 pertanyaan yang mewakili kasus nyata; itu sudah cukup untuk menangkap mayoritas masalah.

Kapan RAG Tidak Cocok

Jika pertanyaan membutuhkan agregasi seluruh database ("berapa total penjualan bulan lalu per kota"), RAG bukan alat yang tepat — gunakan query SQL atau tool analitik. RAG juga kurang cocok untuk data yang berubah setiap detik tanpa mekanisme sinkronisasi.

Kesimpulan

RAG adalah cara paling hemat untuk membuat AI "tahu" tentang bisnis Anda tanpa fine-tuning mahal. Kuncinya bukan model terbaik, melainkan kualitas data, chunking yang rapi, pencarian hibrida, dan evaluasi yang konsisten.

Sumber & Referensi

Perawatan Indeks agar Tetap Akurat

Indeks dokumen bukan proyek sekali jadi. Tetapkan jadwal sinkronisasi: dokumen baru ditambahkan, dokumen berubah diperbarui, dan dokumen kedaluwarsa dihapus. Simpan metadata tanggal dan sumber agar hasil pencarian bisa diurutkan berdasarkan kebaruan. Tanpa perawatan ini, chatbot akan mengutip kebijakan lama dengan percaya diri — kesalahan yang paling sulit dideteksi pengguna.

Pantau juga dokumen yang sering diambil tetapi jarang membantu. Biasanya itu tanda potongan yang terlalu umum, dan perlu dipecah lebih kecil.

Skema Tabel Minimal

documents(id, judul, sumber, versi, diperbarui)
chunks(id, document_id, teks, vektor, urutan)
memory(user_id, fakta, dibuat_pada, kedaluwarsa)

Aturan Penghapusan

Ketika dokumen diperbarui, hapus chunk lama agar tidak dikutip. Ketika pengguna meminta penghapusan data, hapus memory dan log terkait. Uji prosedur ini secara berkala — kepatuhan tidak berguna jika hanya ada di dokumen.

Menilai Jawaban yang Dirujuk

Tampilkan sumber di samping jawaban. Jika pengguna sering membuka sumber dan tidak menemukan klaim yang disebut, berarti model menambahkan informasi di luar konteks. Perketat instruksi.

Pertanyaan yang Sering Ditanyakan

Berapa ukuran potongan ideal? Mulai 400–700 token dengan overlap 15%. Ukur dengan set uji, bukan menebak.

Apakah perlu vector database khusus? Untuk ratusan dokumen, pencarian sederhana sudah cukup. Database khusus diperlukan saat data besar atau perlu filter kompleks.

Bagaimana menangani dokumen yang saling bertentangan? Prioritaskan versi terbaru lewat metadata, dan tampilkan tanggal dokumen agar pengguna bisa menilai.

Contoh menjaga memori: Setiap lima giliran, ringkas percakapan menjadi beberapa poin dan buang detail lama yang tidak lagi relevan.

Pertanyaan yang Sering Diajukan

Apakah BankAI mendukung streaming respons?

Ya, endpoint BankAI mendukung streaming (Server-Sent Events) dan non-streaming sesuai standar OpenAI.

Apakah ada batas RPM/TPM?

Selama kuota token Anda masih ada, pemakaian tidak dibatasi TPM/TPD/RPM secara ketat, tetapi ada pengaman agar layanan tetap stabil bagi semua pengguna.

Bagaimana cara memilih ukuran konteks (context window) yang tepat?

Sesuaikan dengan panjang prompt + riwayat + jawaban yang Anda butuhkan; model dengan konteks lebih besar berguna untuk dokumen panjang.

Sumber & Referensi

Tentang penulis

Darus S Alfatah — Founder & Penulis

Darus S Alfatah adalah pendiri BankAI. Ia membangun dan mengoperasikan gateway API LLM yang melayani developer Indonesia, dan menulis tentang integrasi LLM, arsitektur gateway, serta cara memakai AI secara praktis dan hemat biaya. Setiap panduan diuji di lingkungan nyata — termasuk kode, konfigurasi, dan perhitungan token — sebelum diterbitkan, dan diperbarui ketika dokumentasi penyedia atau harga berubah.

Kebijakan editorial

Artikel terkait

🚀 Siap Pakai All in One API Key?

Daftar sekarang, top-up pakai QRIS, dan langsung ngoding pake ChatGPT, Claude, DeepSeek & semua AI dalam satu API Key!

🔑 DAFTAR SEKARANG · Harga