UNIVERSITAS NUSA MANDIRI Fakultas Teknologi Informasi · Program Studi Informatika (S2)

Sidang Tesis Magister Informatika

Pengembangan Sistem Rekomendasi Venue Hotel Berbasis Retrieval-Augmented Generation untuk Perencanaan Event MICE

PenyusunNuryani Mawar Putri

NIM14240017

Program StudiInformatika (S2) · Peminatan AI

PembimbingProf. Dr. Ir. Dwiza Riana, S.Si, MM, M.Kom, IPU, ASEAN.Eng

1.741

venue hotel pada basis pengetahuan

32 prov

131 kota/kabupaten · 91 grup hotel

320

eksekusi pipeline (8 konfigurasi × 40 kueri)

Constraint Violation Rate konfigurasi terbaik

Panduan Sidang

Peta Presentasi

Sebelas tab di sisi kiri. Alur presentasi mengikuti urutan BAB I sampai BAB V; tiga tab pendukung disiapkan untuk sesi tanya jawab.

I Pendahuluan

Latar belakang industri MICE, empat identifikasi masalah, dua pertanyaan penelitian, tujuan, dan ruang lingkup.

II Tinjauan Pustaka

Teori RAG dan Advanced RAG, empat teknik penyempurnaan retrieval, metrik evaluasi, penelitian terdahulu, tiga proposisi.

III Metodologi

Arsitektur pipeline, dataset 1.741 venue, desain ablasi faktorial 2³, dan desain evaluasi pengguna.

IV Hasil & Pembahasan

Hasil ablasi delapan konfigurasi, uji Wilcoxon, uji ketahanan lintas model, hasil TAM dan SUS, serta implikasi desain.

V Penutup

Kesimpulan atas RQ1 dan RQ2, kontribusi, keterbatasan, serta saran pengembangan dan penelitian lanjutan.

⚑ Tab Pendukung

Demo Vento AI tangkapan layar & alur sistem.
Paper Rujukan 56 referensi, 12 dapat dibaca langsung.
Tanya Jawab 130 pertanyaan penguji beserta jawabannya, dapat dicari.
Tentang Peneliti profil, riwayat, dan publikasi penulis.

Pesan Inti Yang Ingin Disampaikan

Pada retrieval entitas berkonstrain, penyaringan metadata lebih menentukan daripada penumpukan teknik ekspansi kueri dan komposisi teknik tidak bersifat monoton menguntungkan. Hipotesis awal penelitian ini justru ditolak oleh datanya sendiri, dan itulah temuan ilmiahnya.

Ringkasan Penelitian

Abstrak

Pemilihan venue hotel untuk event MICE di Indonesia masih manual, terfragmentasi, dan lambat, sedangkan pencarian berbasis kata kunci belum memahami kueri bahasa alami yang multikriteria. Penelitian pengembangan ini membangun sistem rekomendasi venue berbasis Retrieval-Augmented Generation (RAG) di atas 1.741 venue hotel pada 32 provinsi dan 131 kota/kabupaten.

Pipeline memadukan Multi-Query Retrieval, Metadata Filtering, dan Hypothetical Document Embeddings yang difusikan melalui Reciprocal Rank Fusion, diimplementasikan sebagai chatbot publik Vento AI dengan generator gemini-flash-latest.

Studi ablasi atas delapan konfigurasi pada 40 kueri uji ber-ground truth (320 eksekusi) menunjukkan komposisi penuh bukan yang terbaik: konfigurasi Metadata Filtering saja mencapai Context Precision@8 1,000 dan Constraint Violation Rate 0%, mengungguli baseline (0,181; 37,5%) maupun komposisi penuh (0,241), signifikan pada uji Wilcoxon (p<0,001). Evaluasi Technology Acceptance Model (rerata 4,18–4,42) dan System Usability Scale (69,9; di atas ambang 68) terhadap praktisi MICE menunjukkan penerimaan dan usabilitas yang baik.

Kata Kunci

Retrieval-Augmented Generation Metadata Filtering Sistem Rekomendasi Venue Studi Ablasi MICE

Jenis Penelitian

Penelitian pengembangan (development research) dengan pendekatan kuantitatif, menggabungkan pembangunan artefak perangkat lunak dengan evaluasi empiris terkontrol.

Ringkasan Angka

Temuan Kunci Dalam Satu Layar

Angka-angka yang paling mungkin ditanyakan dewan penguji, dikumpulkan pada satu halaman.

Sisi Mesin: Studi Ablasi

1,000

Context Precision@8 konfigurasi C3 (MF saja) juga sempurna pada Rekom P@5, Hit Rate, MRR

Constraint Violation Rate C3, tidak ada rekomendasi yang melanggar batasan

0,241

Context P@8 komposisi penuh C8. CVR 37,5%, kalah dari C3 dan C7

p<0,001

Uji Wilcoxon: keunggulan C3 & C7 atas C8 signifikan secara statistik

Sisi Manusia: Evaluasi Pengguna

4,39

Perceived Usefulness (skala 5)

4,42

Perceived Ease of Use (skala 5)

4,18

Niat Penggunaan · Sikap 4,24

69,9

Skor SUS (median 70,0), di atas ambang normatif 68

Kualitas Data & Instrumen

0,900

Akurasi Gradient Boosting pada learnability check (baseline mayoritas 51,6%)

100%

Kelengkapan kapasitas & harga fullday pada 1.741 baris

0,966

Cronbach's α instrumen TAM (10/10 butir valid)

83,9%

Responden dengan pengalaman kerja > 5 tahun (26 dari 31)

Yang Perlu Disampaikan Dengan Jujur

Proposisi P1 tidak terdukung hipotesis bahwa komposisi penuh paling baik ditolak oleh data. Margin SUS terhadap ambang tipis (1,9 poin) dan jumlah respons valid (18) masih di bawah target 30. Keduanya dinyatakan terbuka pada Bab IV dan Bab V, bukan disembunyikan.

BAB I · Pendahuluan

Latar Belakang

Industri MICE bernilai tinggi dan sedang bertransformasi digital, tetapi proses paling menentukan di dalamnya (pemilihan venue) masih dikerjakan manual.

Rp11,82 T

perputaran ekonomi MICE hingga September 2025

134

acara MICE tercatat pada periode yang sama

95 rb

pekerja terserap industri MICE

#38

peringkat Bali sebagai destinasi pertemuan internasional (ICCA)

Mengapa Venue Hotel Sentral

Menyediakan ruang pertemuan sekaligus akomodasi menginap dalam satu lokasi, sehingga pemilihannya menjadi tahap paling menentukan.
Keputusannya multikriteria: aksesibilitas, kualitas venue, konteks destinasi, dan ketersediaan akomodasi.
Industri memasuki fase transformasi digital yang ditandai meningkatnya adopsi teknologi dan kecerdasan buatan, kecenderungan yang disebut MICE 5.0.

Kondisi Di Lapangan

Penyelenggara menghubungi hotel satu per satu, meminta penawaran, lalu membandingkan harga, kapasitas, dan fasilitas tanpa sumber data terstandardisasi.
Belum tersedia kanal agregasi untuk pasar Indonesia yang menyajikan data paket meeting dan akomodasi secara terstruktur sesuai skema halfday, fullday, fullboard.
Harga MICE bersifat dinamis dan tidak dipublikasikan; sistem reservasi antar-grup hotel tersilo dan tidak saling terhubung.

Inti Persoalan

Penyelenggara tidak memiliki acuan yang dapat diakses mandiri untuk menyusun estimasi anggaran awal, padahal kebutuhan pada tahap perencanaan sesungguhnya hanyalah kisaran harga indikatif, bukan harga final hasil negosiasi.

BAB I · Pendahuluan

Mengapa Teknologi Yang Ada Belum Menjawab

✕ Pencarian kata kunci & filter kaku

Tidak mampu menjawab kebutuhan yang naratif dan multikriteria. Pengguna menulis kalimat, bukan mengisi kotak filter.

✕ Collaborative filtering

Bergantung pada data rating historis yang padat; rentan sparsity dan cold start yang parah di domain perhotelan, serta tidak dirancang untuk permintaan berbasis batasan.

✕ LLM tanpa penambatan

Membuka kemampuan memahami bahasa alami, tetapi menyimpan risiko halusinasi yang berbahaya pada rekomendasi venue.

Celah Yang Diisi Penelitian Ini

Sejumlah studi telah menerapkan RAG pada domain perhotelan dan pariwisata. Namun sepanjang penelusuran penulis, belum ada yang menerapkannya untuk rekomendasi venue hotel pada konteks business-to-business MICE, berkorpus bahasa Indonesia, berskala ribuan entitas, sekaligus dievaluasi dari sisi kualitas sistem maupun penerimaan pengguna.

RAG pada perhotelanberhenti pada Naive RAG satu properti

Rekomendasi pariwisatasegmen leisure, non-generatif / B2C

LLM untuk RecSysbelum menyentuh domain venue MICE

→

CELAHAdvanced RAG untuk entitas venue MICE B2B Indonesia

BAB I · Subbab 1.2

Empat Identifikasi Masalah

Proses pemilihan venue hotel untuk kebutuhan MICE masih manual dan terfragmentasi, dan belum tersedia kanal agregasi untuk pasar Indonesia yang menyajikan data paket meeting dan akomodasi secara terstruktur sesuai skema paket yang lazim (halfday, fullday, fullboard).
Informasi harga dan ketersediaan paket MICE tidak dapat diakses publik secara langsung, sehingga penyelenggara acara tidak memiliki acuan mandiri untuk menyusun estimasi anggaran dan kuotasi awal pada tahap perencanaan.
Sistem pencarian berbasis kata kunci dan filter kaku serta pendekatan collaborative filtering tidak mampu menangani kueri naratif multikriteria yang mengandung batasan keras (kapasitas, lokasi, anggaran) sebagaimana karakter permintaan venue MICE.
Pemanfaatan LLM secara langsung tanpa penambatan pada basis pengetahuan menyimpan risiko halusinasi, sementara efektivitas komposisi teknik penyempurnaan retrieval dalam kerangka Advanced RAG untuk tugas retrieval entitas venue berbahasa Indonesia belum teruji secara empiris.

BAB I · Subbab 1.2

Dua Pertanyaan Penelitian

RQ1 Pertanyaan Utama

Komposisi teknik penyempurnaan retrieval manakah, dari kombinasi MQR, MF, dan HyDE yang difusikan melalui RRF yang menghasilkan kualitas rekomendasi venue hotel terbaik pada kerangka Advanced RAG, yang diukur dengan metrik objektif berbasis ground truth (Context Precision@8, Rekomendasi Precision@5, Hit Rate, MRR) dan Constraint Violation Rate, melalui studi ablasi delapan konfigurasi?

RQ2 Verifikasi Prototipe

Apakah prototipe Vento AI yang dibangun dengan komposisi terbaik hasil RQ1 terverifikasi layak bagi praktisi MICE, ditinjau dari penerimaan teknologi (konstruk perceived usefulness, perceived ease of use, sikap, dan niat penggunaan pada TAM) serta usabilitas (SUS terhadap rata-rata normatif)?

Hubungan RQ1 dan RQ2: Penting Untuk Ditegaskan

RQ1 adalah pertanyaan utama yang menjadi jantung kontribusi ilmiah; jawabannya diperoleh melalui studi ablasi kuantitatif dan berdiri sendiri sebagai klaim pengetahuan. RQ2 bukan ranah kajian terpisah, melainkan turunan langsung RQ1 fungsinya sebatas memverifikasi apakah pipeline yang komposisinya diuji pada RQ1 juga diterima dan dapat digunakan praktisi sasaran ketika diwujudkan sebagai prototipe. Keduanya membentuk satu rangkaian evaluasi triangulasi yang berpangkal pada RQ1.

Infografis rumusan masalah penelitian — **Ringkasan visual rumusan masalah.** RQ1 memilih pipeline terbaik → diwujudkan menjadi prototipe Vento AI → RQ2 memverifikasi penerimaan dan usabilitasnya.

BAB I · Subbab 1.3

Tujuan Penelitian

Tujuan umum: mengembangkan dan mengevaluasi sistem rekomendasi venue hotel berbasis kueri dengan pendekatan Advanced RAG untuk mendukung perencanaan event MICE di Indonesia.

Tujuan Khusus

1 Membangun

Prototipe sistem rekomendasi venue hotel (Vento AI) di atas basis pengetahuan 1.741 venue dengan pipeline retrieval yang mengomposisikan MQR, Metadata Filtering, dan HyDE melalui fusi RRF.

2 Mengukur (RQ1)

Kontribusi setiap teknik penyempurnaan retrieval terhadap kualitas rekomendasi melalui studi ablasi dengan metrik objektif berbasis ground truth dan CVR.

3 Mengukur (RQ2)

Penerimaan pengguna dan usabilitas sistem pada responden penyelenggara acara dan praktisi terkait menggunakan instrumen TAM dan SUS.

Manfaat Yang Diharapkan

Teoretis

Bukti empiris efektivitas komposisi teknik penyempurnaan retrieval pada tugas retrieval entitas berkonstrain domain B2B MICE berbahasa Indonesia, konfigurasi yang belum diuji pada literatur sebelumnya.

Praktis

Acuan indikatif mandiri bagi penyelenggara acara untuk menyusun estimasi anggaran dan kuotasi awal; bagi hotel, kanal visibilitas tambahan bagi paket MICE.

Akademis

Prototipe beserta perangkat 40 kueri uji ber-ground truth yang dapat menjadi bahan kajian lanjutan pada ranah RAG berbahasa Indonesia.

BAB I · Subbab 1.4

Ruang Lingkup & Batasan Penelitian

Batasan dinyatakan terbuka sejak awal agar klaim penelitian tetap proporsional.

Objek rekomendasi venue hotel dan resort di Indonesia yang menyediakan paket meeting, karena struktur paketnya terpadu dan relatif seragam sehingga dapat distandardisasi.
Basis pengetahuan 1.741 venue pada 32 provinsi dan 131 kota/kabupaten, dibekukan sebagai snapshot; harga diposisikan sebagai acuan indikatif, bukan harga real-time hasil negosiasi.
Bahasa sistem menerima kueri dan menghasilkan rekomendasi beserta justifikasi dalam bahasa Indonesia.

Intervensi dibatasi pada tahap retrieval saat inference (MQR, MF, HyDE, fusi RRF, pembatasan dan pengurutan konteks). Tidak ada fine-tuning maupun pre-training; LLM diakses sebagai layanan black-box.
Evaluasi mencakup (a) studi ablasi kuantitatif dengan metrik objektif dan CVR, serta (b) evaluasi pengguna dengan TAM dan SUS.
Keluaran prototipe chatbot web. Tidak mencakup transaksi, pemesanan, ketersediaan real-time, maupun penetapan harga dinamis yang tetap menjadi ranah pihak hotel.

Asumsi Penelitian

Dataset yang dikelola diasumsikan cukup representatif bagi pasar venue hotel MICE Indonesia pada segmen yang dilayani. Konsekuensinya, klaim hasil penelitian dibatasi pada korpus basis pengetahuan tersebut dan tidak digeneralisasi kepada populasi seluruh hotel di Indonesia.

BAB II · Tinjauan Pustaka

Peta Landasan Teori

Sembilan pokok teori yang menopang penelitian, dari domain industri sampai instrumen evaluasi.

2.1.1 Industri MICE

MICE sebagai bagian event tourism; pemilihan lokasi merupakan keputusan multikriteria. Kerangka penilaian destinasi kontemporer merangkumnya ke dalam empat faktor: aksesibilitas, venue, konteks destinasi, akomodasi.

2.1.2 Sistem Rekomendasi

Dari content-based, collaborative filtering, dan hibrida menuju conversational recommender systems. Penelitian ini berada pada kelas rekomendasi bergaya zero-shot yang digerakkan kueri (query-driven), personalisasi tingkat sesi, bukan profil historis.

2.1.3 Dense Retrieval

Pendekatan sparse (TF-IDF, BM25) gagal ketika kosakata berbeda. Dense retrieval merepresentasikan kueri dan dokumen sebagai vektor padat; relevansi diukur cosine similarity.

2.1.4 Sentence Embeddings

Sentence-BERT melatih jaringan siamese di atas BERT sehingga embedding kalimat dapat dibandingkan langsung, mereduksi biaya komparasi dari orde jam menjadi milidetik.

2.1.5 LLM sebagai Generator

Dua keterbatasan yang relevan: halusinasi (intrinsik/ekstrinsik dalam taksonomi Ji dkk.) dan knowledge cutoff. Keduanya alasan RAG diperlukan.

2.1.6 RAG

Menggabungkan retriever dan generator: p(y | x, d) alih-alih p(y | x). Taksonomi Gao dkk.: Naive → Advanced → Modular RAG.

2.1.7 Teknik Penyempurnaan

MQR, Metadata Filtering, HyDE, RRF, serta pembatasan dan pengurutan konteks berdasar temuan Lost in the Middle.

2.1.8 Basis Data Vektor

Menyimpan embedding dan menyediakan pencarian tetangga terdekat efisien lewat indeks ANN menukar sedikit akurasi demi kecepatan berlipat.

2.1.9 Evaluasi Sistem

Metrik objektif berbasis ground truth + CVR untuk sisi mesin; TAM dan SUS untuk sisi manusia.

BAB II · Subbab 2.1.6

Retrieval-Augmented Generation

RAG menggabungkan komponen retriever dan generator. Ketika menerima kueri x, sistem terlebih dahulu mengambil dokumen relevan d dari basis pengetahuan, kemudian generator membangkitkan jawaban y dengan berkondisi pada keduanya.

p(y | x, d) alih-alih p(y | x)

Mekanisme ini menekan risiko halusinasi karena jawaban tertambat (grounded) pada data faktual yang dapat diperbarui tanpa melatih ulang model.

Taksonomi Gao dkk.

Naive RAG alur ambil-baca secara langsung.
Advanced RAG menambah optimasi pra-retrieval (transformasi kueri, penyaringan metadata) dan pasca-retrieval (fusi, pemeringkatan ulang, pemadatan konteks). ← posisi penelitian ini
Modular RAG menyusun komponen secara fleksibel.

Mengapa Pemisahan Offline–Online Penting

Seluruh intervensi yang diuji berada pada tahap online (saat inference), sedangkan indeks vektor yang dibangun pada tahap pengindeksan offline dijaga identik untuk kedelapan konfigurasi ablasi. Dengan begitu perbedaan hasil tidak mungkin berasal dari perbedaan indeks.

**Gambar II.1** Arsitektur umum RAG dan titik optimasi Advanced RAG. Kotak bergaris putus adalah titik optimasi yang bekerja saat inference tanpa melatih ulang model. *Sumber: diolah penulis (2026)*

BAB II · Subbab 2.1.7

Empat Teknik Yang Dikomposisikan

Setiap teknik telah tervalidasi terpisah pada literatur primernya. Yang diuji penelitian ini adalah komposisinya.

1 Multi-Query Retrieval (MQR)

Membangkitkan beberapa varian dari satu kueri pengguna untuk menangkap keragaman maksud dan istilah, menjalankan pencarian untuk setiap varian, lalu menggabungkan hasilnya sehingga cakupan dokumen relevan meningkat.

Landasan: transformasi kueri berbasis LLM dalam paradigma rewrite-retrieve-read, kueri asli pengguna bukan bentuk optimal bagi retriever. Pola multi-kueri berpadu fusi peringkat dipopulerkan sebagai RAG-Fusion.

2 Metadata Filtering (MF)

Menyaring kandidat venue berdasarkan atribut terstruktur (kota, kelas bintang, kapasitas, rentang harga) sebelum atau bersamaan dengan pencarian semantik.

Perannya menentukan: pencarian semantik bersifat aproksimatif sehingga dapat meloloskan kandidat yang mirip secara makna namun melanggar syarat numerik. MF menutup celah tersebut dan menjaga rekomendasi tetap berada dalam ruang pilihan yang valid.

3 Hypothetical Document Embeddings (HyDE)

Membangkitkan dokumen hipotetis yang merepresentasikan jawaban ideal atas kueri, lalu memakai embedding dokumen tersebut alih-alih embedding kueri, untuk menemukan dokumen nyata yang paling mirip.

Secara teoretis: mengubah masalah pencocokan kueri-dokumen menjadi pencocokan dokumen-dokumen yang distribusi embedding-nya lebih sebanding.

4 Reciprocal Rank Fusion (RRF)

RRF(d) = Σ_r∈R 1 / (k + rank_r(d))

Menggabungkan beberapa daftar peringkat menjadi satu peringkat akhir. Konstanta k = 60 meredam dominasi peringkat teratas tunggal. Contoh: venue peringkat 1 pada dua daftar memperoleh 1/61 + 1/61 = 0,0328, mengungguli venue yang hanya muncul di satu daftar (0,0164), konsensus antarjalur menang tanpa bobot manual.

Pembatasan & Pengurutan Konteks, Lost in the Middle

Liu dkk. menunjukkan kinerja LLM membentuk kurva U terhadap posisi informasi dalam konteks panjang: informasi di awal dan akhir dimanfaatkan dengan baik, sedangkan informasi di tengah cenderung terabaikan. Temuan ini melandasi dua keputusan desain: (1) jumlah konteks hasil fusi dibatasi pada 8 kandidat terbaik, dan (2) kandidat berskor tertinggi ditempatkan pada awal konteks.

BAB II · Subbab 2.1.9

Kerangka Evaluasi: Mesin dan Manusia

Lima Metrik Objektif (Sisi Mesin)

Context Precision@8

Proporsi dokumen relevan di antara delapan konteks teratas yang diambil. Rentang 0–1, makin tinggi makin baik.

Rekomendasi Precision@5

Proporsi rekomendasi akhir yang benar. Rentang 0–1.

Hit Rate & MRR

Hit Rate: proporsi kueri dengan sekurang-kurangnya satu rekomendasi benar. MRR: rata-rata peringkat kebalikan rekomendasi benar pertama.

CVR, dirumuskan penulis

Persentase kueri yang rekomendasinya melanggar sedikitnya satu batasan. Makin rendah makin baik.

CVR = (|Q_langgar| / |Q|) × 100%

dengan Q himpunan seluruh kueri uji dan Q_langgar himpunan kueri yang rekomendasinya melanggar batasan lokasi, kapasitas, kelas bintang, atau anggaran.

Mengapa Metrik Deterministik, Bukan Penilai LLM?

Kerangka evaluasi otomatis berbasis LLM seperti RAGAS memang tersedia untuk pipeline RAG bertopik terbuka. Tetapi pada tugas berkonstrain yang himpunan jawaban benarnya terdefinisi, metrik deterministik lebih objektif, dapat direproduksi persis, serta bebas dari biaya dan variabilitas penilai. RAGAS tetap dipakai, namun sebagai uji ketahanan lintas model (Subbab 4.2.1), bukan metrik utama.

Instrumen Sisi Manusia

Technology Acceptance Model (TAM)

Menjelaskan penerimaan teknologi melalui perceived usefulness dan perceived ease of use yang memengaruhi sikap dan bermuara pada niat penggunaan. Butir diadaptasi dari instrumen asli Davis dengan skala Likert lima poin.

System Usability Scale (SUS)

SUS = 2,5 × [ Σ ganjil (s − 1) + Σ genap (5 − s) ]

Sepuluh butir berskala Likert lima poin, menghasilkan rentang 0–100. Acuan empiris Bangor dkk.: di atas 68 berada di atas rata-rata industri, 80 ke atas tergolong sangat baik.

BAB II · Subbab 2.2

Sintesis Penelitian Terdahulu

Tinjauan dikelompokkan dalam lima kelompok, masing-masing diakhiri dengan posisi penelitian ini terhadap studi tersebut.

Penelitian	Metode	Dataset / Konteks	Hasil & Keterbatasan	Beda dengan Penelitian Ini
Wijaya & Jayadianti [16]	Naive RAG (Qdrant, chunking 1.000/200)	1 hotel Indonesia; 15 kasus uji	RAGAS baik (CP 0,889; F 0,882); tanpa teknik retrieval lanjutan, tanpa evaluasi pengguna	Advanced RAG 4 teknik; 1.741 venue; ablasi + TAM + SUS
Karlović dkk. [17]	RAG + semantic re-ranking; 7 LLM lokal	Brosur wisata Lošinj; profil sintetis	Re-ranking efektif; pilihan LLM berpengaruh; segmen leisure	Domain B2B MICE; pengguna nyata; entitas berkonstraint
Banerjee dkk. [18]	RAG + re-ranking berbasis metrik keberlanjutan	Destinasi wisata (leisure)	Kriteria domain disisipkan saat augmentasi; tanpa constraint numerik keras	Constraint numerik dijamin MF; domain venue MICE B2B
Song dkk. [19]	TravelRAG: knowledge graph multi-lapis	UGC media sosial	Akurasi retrieval naik; konstruksi KG kompleks & mahal	Tanpa KG; komposisi teknik inference-time yang ringan
Shambour dkk. [7]	FBMCCF (CF multikriteria fusi)	TripAdvisor: 28.829 rating, 693 hotel	Ungguli baseline (MAE/RMSE/coverage); butuh matriks rating padat	Tanpa riwayat rating; retrieval berbasis batasan + generatif
Wei dkk. [20]	ER2ALM: RAG + LLM untuk RecSys	2 dataset rekomendasi	Atasi cold start & sparsity; domain e-commerce umum	Domain venue MICE; kueri bahasa alami B2B
Setiyawan & Kenoya [8]	Chatbot FAQ: Random Forest + Word2Vec	FAQ layanan ICT (Telegram)	Akurasi 91,28%; hanya menjawab dari daftar tertutup, perlu latih ulang	Generatif tertambat data; tanpa pelatihan ulang
Putri & Saputra [10]	Rekomendasi vendor event berbasis graf	Vendor event Indonesia	Relasi antarvendor termodelkan; tanpa antarmuka bahasa alami generatif	Kueri naratif + jawaban generatif tertambat; kesinambungan riset
Suryadi dkk. [13]	Dataset QA otomatis (menjaga privasi) untuk penyempurnaan LLM	Dokumen internal; model lokal	Pipeline QA-IR untuk fine-tuning LLM lokal; bukan sistem rekomendasi	LLM black-box tanpa fine-tuning; retrieval entitas venue
Penelitian ini (Putri, 2026)	Advanced RAG: MQR + Metadata Filtering + HyDE, fusi RRF; inference-time	1.741 venue hotel Indonesia (32 provinsi, 131 kota/kab)	Studi ablasi (ground truth + CVR) dan evaluasi pengguna (TAM + SUS)	Kebaruan: komposisi empat teknik retrieval untuk venue B2B MICE Indonesia, dievaluasi ganda

Tabel II.1 Sintesis Penelitian Terdahulu, Sumber: diolah penulis dari [7], [8], [10], [13], [16]–[20]

BAB II · Subbab 2.2 & 2.3

Sintesis Celah dan Kerangka Konsep

Tiga Simpulan Tinjauan

Seluruh teknik penyusun pipeline penelitian ini telah tervalidasi secara terpisah pada literatur primernya, dan sebagian kombinasinya (multi-kueri dengan RRF) telah diakui sebagai praktik yang efektif.
Penerapan RAG pada perhotelan dan pariwisata masih berhenti pada Naive RAG satu properti atau rekomendasi destinasi segmen leisure.
Pendekatan non-generatif terbukti tidak cocok dengan struktur masalah pengadaan venue B2B yang berbasis batasan tanpa riwayat interaksi.

Celah Yang Diisi

Belum ditemukan penelitian yang mengomposisikan MQR, MF, HyDE, dan RRF dalam satu pipeline Advanced RAG untuk retrieval entitas venue berbahasa Indonesia pada skala ribuan entitas, yang diuji melalui studi ablasi dan evaluasi pengguna sekaligus.

Tiga Proposisi Yang Diuji

P1 Diuji lewat ablasi

Komposisi penuh teknik penyempurnaan retrieval (MQR + MF + HyDE + RRF) menghasilkan kualitas rekomendasi yang lebih baik, ketepatan lebih tinggi dan pelanggaran batasan lebih rendah dibanding konfigurasi yang menonaktifkan salah satu tekniknya.

P2 Diuji lewat TAM

Persepsi kemanfaatan dan kemudahan penggunaan berhubungan positif dengan niat pengguna memakai sistem.

P3 Diuji lewat SUS

Skor usabilitas sistem berada di atas ambang rata-rata normatif SUS.

Bocoran Hasil: Untuk Antisipasi Pertanyaan

Pada Bab IV, P1 akan terbukti TIDAK terdukung. P2 dan P3 terdukung, dengan catatan margin SUS yang tipis. Sebuah penelitian yang melaporkan hipotesisnya ditolak justru menunjukkan pengujiannya nyata, bukan konfirmatoris.

BAB III · Metodologi

Tahapan Penelitian

Penelitian pengembangan (development research) dengan pendekatan kuantitatif, menggabungkan pembangunan artefak perangkat lunak dengan evaluasi empiris terkontrol.

Studi literatur dan identifikasi celah penelitian
Penyiapan basis pengetahuan
Pengembangan prototipe
Eksperimen ablasi
Evaluasi pengguna
Analisis data dan pembahasan
Penarikan kesimpulan

Dua Jalur Evaluasi Yang Komplementer

Eksperimen ablasi (3.4) mengukur kontribusi tiap teknik terhadap kualitas mesin secara objektif atas kueri uji ber-ground truth. Evaluasi pengguna (3.5) menilai penerimaan dan usabilitas prototipe yang telah difungsikan dari sisi manusia.

Jalur pertama menjawab 'komposisi teknik mana yang paling tepat secara mesin'; jalur kedua menjawab 'apakah sistem diterima dan mudah digunakan praktisi', sehingga simpulan mesin dan simpulan manusia tidak saling menggantikan.

Kerangka penelitian — **Gambar III.1** Kerangka Penelitian. *Sumber: diolah penulis (2026)*

BAB III · Subbab 3.2

Desain Sistem Vento AI

Aktor utamanya bersifat umum: pengguna sebagai perencana acara (event planner), mencakup praktisi MICE maupun penyelenggara acara pada umumnya, yang memasukkan kebutuhan acara dalam bahasa alami lalu menerima rekomendasi venue beserta justifikasinya.

Perluasan Kasus Penggunaan

«extend» Melihat detail venue (kapasitas, paket, harga indikatif)
«extend» Memperhalus kriteria dan menelusuri ulang
«extend» Membandingkan alternatif venue
«include» Penerimaan rekomendasi selalu bermula dari pemasukan kebutuhan

Diagram use case sistem Vento AI — **Gambar III.2** Diagram Use Case Sistem Vento AI. *Sumber: diolah penulis (2026)*

BAB III · Subbab 3.2

Arsitektur Pipeline Vento AI

Kueri bahasa Indonesia diproses melalui tiga jalur retrieval paralel yang seluruhnya membaca satu indeks vektor yang sama berisi 1.741 venue.

Kueri Penggunabahasa Indonesia, bebas

→

Query Parserbaca kota, kapasitas, anggaran, paket

→

Embedding EncoderMiniLM multilingual, 384 dim

Jalur MQR3 varian kueri

Jalur MFfilter batasan keras

Jalur HyDEdokumen hipotetis

ChromaDBindeks vektor, cosine/ANN

→

RRF (k=60)fusi 3 daftar peringkat

→

Konteks Top-8penataan Lost in the Middle

Generatorgemini-flash-latest · temp 0,2

→

Rekomendasi + Justifikasi5 venue teratas + kartu detail

Titik Keputusan Penting Pada Tahap Keluaran

Apabila hasil memenuhi seluruh batasan keras (kota, kapasitas, anggaran, kelas bintang), sistem menampilkan lima venue teratas beserta kartu detailnya. Apabila tidak ada venue yang memenuhi, sistem tidak memaksakan jawaban maupun mengarang venue melainkan menyampaikan keterbatasan itu secara jujur beserta acuan harga yang wajar dan saran penyesuaian kriteria, sekaligus tetap menampilkan venue terdekat yang tersedia. Perilaku inilah salah satu faktor yang menekan CVR.

Arsitektur pipeline Vento AI — **Gambar III.3** Arsitektur Pipeline Vento AI, dari lapisan presentasi hingga lapisan bisnis. *Sumber: diolah penulis (2026)*

BAB III · Subbab 3.2

Contoh Penelusuran Satu Kueri (Worked Example)

Kueri Uji Q05

"Cari venue hotel di Bandung untuk rapat sehari penuh (full-day), sekitar 300 peserta, anggaran ≤ Rp450.000/pax."

MQR, parafrase kueri

1. "hotel di Bandung dengan ruang rapat untuk 300 orang, sehari penuh, terjangkau"
2. "venue rapat full-day di Bandung untuk 300 peserta di bawah Rp 450rb/orang"
3. "ruang acara korporat di Bandung untuk 300 pax, paket rapat satu hari"

Tiap varian dicari terpisah, lalu difusikan. Temperature 0,7.

MF, filter batasan wajib

kota = "Bandung"
kapasitas ≥ 300
paket = full-day
harga_fullday ≤ 450.000

Hanya venue yang lolos filter ini yang diambil, penjamin batasan.

HyDE, venue hipotetis

LLM menyusun dokumen ideal: "Grand Serela Bandung, hotel bintang 4 di pusat kota, ballroom untuk 350 pax, paket full-day Rp420.000/pax termasuk dua coffee break dan makan siang, AV lengkap, parkir luas…"

Embedding dokumen ini menarik venue serupa. Temperature 0,5, ±80 kata.

Reciprocal Rank Fusiongabungkan tiga daftar peringkat, k = 60

→

Konteks Top-8 → Generatorgemini-flash-latest, berbasis venue hasil retrieval

→

RekomendasiGrand Serela Bandung Rp420rb/pax, 350 pax · Holiday Inn Bandung Rp445rb/pax, 320 pax

Contoh penelusuran kueri pada pipeline Vento AI — **Gambar III.4** Contoh Penelusuran Kueri (Worked Example) pada Pipeline Vento AI. Masing-masing rekomendasi memenuhi batasan kota, kapasitas, paket, dan anggaran. *Sumber: diolah penulis (2026)*

BAB III · Subbab 3.2

Pemilihan Teknologi dan Parameter Operasional

Tiga pertimbangan: kesesuaian dengan desain penelitian (black-box, inference-time), dukungan terhadap bahasa Indonesia, dan keterjangkauan biaya komputasi.

Komponen	Parameter	Nilai
Setiap jalur retrieval	Kandidat diambil	20 teratas
Fusi RRF	Konstanta k	60
Penyusunan konteks	Dokumen ke generator	8 teratas (penataan Lost in the Middle)
MQR	Jumlah varian kueri; temperature	3 varian; 0,7
HyDE	Jumlah dokumen hipotetis; temperature	1 dokumen; 0,5
Generator	Model; temperature	`gemini-flash-latest`; 0,2
Embedding	Model; dimensi	paraphrase-multilingual-MiniLM-L12-v2; 384
Basis data vektor	Produk	ChromaDB (mode embedded)

Mengapa Gemini Flash?

Mendukung bahasa Indonesia dengan baik, latensi dan biaya layak untuk chatbot interaktif, serta merepresentasikan kelas LLM black-box yang menjadi asumsi desain, sejalan dengan posisi metodologis REPLUG.

Mengapa MiniLM 384 dimensi?

Model Sentence-BERT multibahasa yang mendukung bahasa Indonesia, cukup ringan untuk dijalankan tanpa GPU, dan telah luas dipakai lintas bahasa.

Mengapa ChromaDB?

Menyediakan penyaringan metadata bawaan kebutuhan inti bagi komponen MF, dengan mode embedded yang menyederhanakan integrasi. Setara fungsional dengan Qdrant yang dipakai Wijaya & Jayadianti.

Tabel III.1 Parameter Operasional Sistem, seluruhnya dijaga identik antarkonfigurasi ablasi, sehingga perbedaan hasil hanya dapat diatribusikan pada teknik yang diuji. Sumber: diolah penulis (2026)

BAB III · Subbab 3.3

Data Penelitian: 1.741 Venue Hotel

1.741

venue hotel

provinsi

131

kota/kabupaten

grup hotel

Basis pengetahuan disusun penulis dari pengetahuan domain selama lebih dari 14 tahun praktik di industri MICE beserta penelusuran sumber publik. Setiap venue memiliki atribut identitas (nama, grup hotel, kelas bintang), lokasi (provinsi, kota/kabupaten, alamat), kapasitas ruang pertemuan, tujuh atribut harga paket meeting dan akomodasi, atribut fasilitas, serta deskripsi. Dataset dibekukan sebagai snapshot sehingga seluruh eksperimen dan evaluasi membaca data yang identik.

Tujuh Atribut Harga terhadap Skema Layanan MICE

Atribut Dataset	Skema Layanan	Satuan	Keterangan
`halfday_meeting_pax`	Meeting non-residensial	per pax	±4 jam, 1× coffee break
`fullday_meeting_pax`	Meeting non-residensial	per pax	±8 jam, 1× makan + 2× coffee break, dipakai sebagai harga acuan penyaringan anggaran
`fullboard_meeting_pax`	Meeting non-residensial	per pax	±12 jam, 2× makan + 2× coffee break
`single_residential_pax`	Fullboard residential	per pax	menginap + meeting, 1 pax/kamar
`twin_residential_pax`	Fullboard residential	per pax	menginap + meeting, 2 pax/kamar
`triple_residential_pax`	Fullboard residential	per pax	menginap + meeting, 3 pax/kamar
`extrabed_pax`	Fullboard residential	per pax	tempat tidur tambahan (okupansi kuadrupel)

Tabel III.2 Pemetaan Atribut Harga Dataset terhadap Skema Layanan MICE. Harga fullday dipilih sebagai acuan karena paling umum dipilih pada perencanaan event korporat sekaligus satu-satunya atribut harga dengan kelengkapan 100%. Sumber: diolah penulis (2026)

BAB III · Subbab 3.3.2 & 3.3.3

Pra-pemrosesan dan Uji Kelayakan Data

Pra-pemrosesan

Atribut jenis venue: 21 kategori bercampur + 311 entri kosong (17,9%) → diseragamkan menjadi 6 kategori baku (Hotel, Resort, Serviced Residence, Inn/Lodge, Villa, Venue Non-Hotel), entri kosong dikelompokkan "Tidak Terkategori".
Atribut tag konsep: 54 nilai bercampur → 6 kategori baku (Bisnis/MICE, Premium, Budget, Leisure/Resort, Boutique/Lifestyle, Hotel Umum).
Kurasi akhir: entri duplikat lintas sumber dihapus; harga tidak sahih (di bawah Rp50.000/pax) diimputasi dengan median kelas merek dan bintang dari baris terverifikasi.
Setiap baris diberi penanda asal (scraped/curated) sehingga seluruh langkah dapat diaudit.

Uji Kelayakan Data (Learnability Check)

Sebelum difungsikan sebagai basis pengetahuan, dataset diuji kelayakannya: dua algoritme baseline, Random Forest dan Gradient Boosting dilatih memprediksi kelas bintang venue dari lima fitur non-harga (kapasitas, jumlah fasilitas, tipe, tag konsep, provinsi), dengan pembagian latih-uji 80:20 berstratifikasi dan validasi silang lima lipatan.

Penting Untuk Ditegaskan

Uji diagnostik ini berada di luar pipeline rekomendasi. Random Forest dan Gradient Boosting tidak dipakai untuk merekomendasikan apa pun fungsinya semata memeriksa apakah atribut terstruktur konsisten dan mengandung sinyal, sehingga layak difungsikan sebagai metadata penyaringan.

BAB III · Subbab 3.4

Desain Eksperimen Ablasi: Menjawab RQ1

Desain faktorial penuh 2 × 2 × 2 = 2³ = 8 konfigurasi. Tiga teknik masing-masing dapat diaktifkan atau dinonaktifkan.

Konfigurasi	MQR	MF	HyDE	Keterangan
C1	–	–	–	Retrieval semantik murni, padanan Naive RAG (baseline)
C2	✔	–	–	Hanya MQR
C3	–	✔	–	Hanya Metadata Filtering
C4	–	–	✔	Hanya HyDE
C5	✔	✔	–	MQR + MF
C6	✔	–	✔	MQR + HyDE (serumpun dengan RAG-Fusion)
C7	–	✔	✔	MF + HyDE
C8	✔	✔	✔	Pipeline lengkap Vento AI, dihipotesiskan terbaik (P1)

Konfigurasi studi ablasi C1-C8 — **Gambar III.5** Konfigurasi Studi Ablasi (C1–C8) dan alur identik yang dilalui setiap konfigurasi. *Sumber: diolah penulis (2026)*

Perangkat Kueri Uji

40 kueri berbahasa Indonesia yang disusun dari pola permintaan nyata di industri MICE.
Mencakup variasi dimensi: kota besar dan kota kecil, kapasitas kecil hingga ribuan peserta, ketiga skema paket, dengan dan tanpa batas anggaran, dengan dan tanpa kebutuhan akomodasi, serta beberapa kueri sulit yang batasannya hanya dipenuhi sedikit venue.
Setiap kueri dilengkapi ground truth berupa daftar venue yang memenuhi seluruh kriterianya, diverifikasi langsung terhadap data terstruktur.

320 Eksekusi Pipeline

Setiap konfigurasi menjawab ke-40 kueri yang sama dengan urutan dan parameter yang identik, menghasilkan 8 × 40 = 320 eksekusi pipeline. Skor per konfigurasi adalah rata-rata atas 40 kueri.

Untuk uji signifikansi, tiap kueri diringkas menjadi satu skor komposit gabungan kelima metrik, lalu perbedaan antarkonfigurasi diuji dengan uji peringkat bertanda Wilcoxon padanan nonparametrik uji-t berpasangan, tepat karena rancangannya berpasangan dan distribusinya tidak dapat diasumsikan normal.

BAB III · Subbab 3.5

Desain Evaluasi Pengguna: Menjawab RQ2

Populasi & Sampel

Populasi sasaran: praktisi ekosistem event di Indonesia. Sampel diambil secara purposive dengan target sekurang-kurangnya 30 responden valid. Kriteria inklusi dan eksklusi ditetapkan sebelum analisis:

Responden berprofesi pada ekosistem event: pemilik, staf, atau freelancer event organizer, vendor/rekanan, pemandu wisata korporat, atau perwakilan perusahaan pengguna jasa EO.
Seluruh butir tertutup kuesioner terisi lengkap.
Pola jawaban lolos pemeriksaan konsistensi tidak memberikan skor tinggi (atau rendah) secara seragam pada butir positif dan butir negatif sekaligus.

Prosedurnya: responden menggunakan Vento AI secara langsung untuk skenario tugas nyata mencari venue sesuai kebutuhan acara yang sedang atau pernah mereka tangani, kemudian mengisi kuesioner daring.

Kisi-Kisi Instrumen

Konstruk	Butir	Contoh Butir
Perceived Usefulness	3	"Vento AI membantu saya menemukan venue yang sesuai kebutuhan dengan lebih cepat"
Perceived Ease of Use	3	"Vento AI mudah saya gunakan"
Sikap terhadap Penggunaan	2	"Menggunakan Vento AI adalah ide yang baik bagi pekerjaan saya"
Niat Penggunaan	2	"Saya berniat menggunakan Vento AI lagi di masa mendatang"
Usabilitas (SUS)	10	"Saya rasa saya akan sering menggunakan Vento AI" (butir 1 dari 10)
Masukan terbuka	1	Saran, masukan, atau catatan untuk pengembangan

Tabel III.4 Kisi-Kisi Instrumen Evaluasi Pengguna. Butir TAM diadaptasi dari Davis [26]; butir SUS versi terjemahan bahasa Indonesia yang mempertahankan urutan serta polaritas asli Brooke [44].

BAB III · Subbab 3.5.3 & 3.5.4

Uji Mutu Instrumen dan Metode Analisis

Instrumen / Konstruk	Butir	Cronbach α	Butir Valid	Keterangan
TAM: Perceived Usefulness	3	0,932	3/3	Valid dan reliabel
TAM: Perceived Ease of Use	3	0,857	3/3	Valid dan reliabel
TAM: Sikap	2	0,875	2/2	Valid dan reliabel
TAM: Niat Penggunaan	2	0,915	2/2	Valid dan reliabel
TAM (gabungan)	10	0,966	10/10	Sangat reliabel (r berkisar 0,695–0,918)
SUS	10	0,757	7/10	Reliabel; 3 butir baku dipertahankan

Tabel III.5 Rekapitulasi Uji Validitas dan Reliabilitas Instrumen. Pengujian atas seluruh respons dengan jawaban lengkap: TAM n = 31; SUS n = 29. r-tabel TAM (df=29) 0,355; SUS (df=27) 0,367. Sumber: hasil pengolahan data primer penulis (2026)

Mengapa 3 Butir SUS Tidak Valid Tetap Dipertahankan?

Karena SUS merupakan instrumen baku internasional yang urutan dan polaritas butirnya sengaja dirancang utuh agar skornya dapat dibandingkan dengan norma industri. Membuang butir demi menaikkan validitas akan membuat skor akhirnya tidak lagi sebanding dengan ambang 68 padahal justru itu inti pengujian P3. Reliabilitas keseluruhan tetap memadai (0,757 > 0,70).

Metode Analisis Data

TAM: dianalisis deskriptif (rata-rata per konstruk); hubungan antarkonstruk untuk P2 diuji dengan korelasi Spearman (PU→niat, PEOU→niat) pada taraf 5%, nonparametrik karena data ordinal.

SUS: skor per responden dihitung dengan aturan skoring standar, lalu rata-ratanya dibandingkan terhadap ambang normatif 68 untuk menguji P3, disertai pelaporan median, sebaran, dan proporsi responden di atas ambang.

Pertanyaan terbuka: dianalisis tematik sederhana untuk memperkaya pembahasan.

BAB IV · Subbab 4.1.1

Hasil Implementasi: Karakteristik Dataset

Aspek	Keterangan
Sumber data	Katalog publik platform reservasi venue (kamus data pada Lampiran)
Jumlah entitas	1.741 venue hotel
Cakupan geografis	32 provinsi; 131 kota/kabupaten; 91 grup hotel
Atribut terstruktur	Kota, provinsi, grup, kapasitas maksimum, harga halfday/fullday/fullboard per pax, extrabed
Atribut teks	Deskripsi venue dan fasilitas, diubah menjadi embedding MiniLM multibahasa 384 dimensi
Peran dalam sistem	Basis pengetahuan retrieval; tidak ada pelatihan model
Pra-pemrosesan	Normalisasi, deduplikasi, imputasi harga median, pemetaan skema paket

Tabel IV.1 Karakteristik Dataset Basis Pengetahuan. Sumber: diolah penulis (2026)

Kelengkapan Data

100%

kapasitas & harga fullday terisi pada seluruh 1.741 baris

100%

harga halfday & fullboard (hasil imputasi terdokumentasi)

99,4%

atribut fasilitas terisi

3,8%

rating publik, terlalu jarang, tidak digunakan

Implikasi Ketiadaan Rating

Rating publik hanya tersedia pada 3,8% baris. Ini sekaligus alasan struktural mengapa pendekatan berbasis rating (collaborative filtering) tidak layak di domain ini, bukan sekadar pilihan metodologis.

BAB IV · Subbab 4.1.2

Hasil Uji Kelayakan Data

0,883

Random Forest akurasi uji
F1-makro 0,784 · CV 5-fold 0,892 ± 0,007

0,900

Gradient Boosting akurasi uji
F1-makro 0,798 · CV 5-fold 0,907 ± 0,014

51,6%

baseline kelas mayoritas, kedua model jauh mengungguli

Hasil ini menunjukkan atribut terstruktur non-harga bersifat konsisten dan informatif, sehingga layak difungsikan sebagai metadata penyaringan dan bahan representasi profil venue pada pipeline RAG.

Sekali Lagi: Ini Bukan Bagian Pipeline

Random Forest dan Gradient Boosting tidak merekomendasikan apa pun. Uji ini murni diagnostik, memastikan datanya tidak acak sebelum dijadikan basis pengetahuan.

Kode dan keluaran eksperimen learnability check — **Gambar IV.1** Kode dan Keluaran Eksperimen Learnability Check. *Sumber: tangkapan layar notebook eksperimen oleh penulis (2026)*

BAB IV · Subbab 4.2 · MENJAWAB RQ1

Hasil Eksperimen Ablasi

Eksperimen dijalankan melalui notebook Vento_AI_Ablasi_KOKOH pada Google Colab sebanyak 320 run (8 konfigurasi × 40 kueri uji), dengan parameter operasional dijaga identik.

Konfigurasi	Context P@8	Rekom P@5	Hit Rate	MRR	CVR (%)	p (Wilcoxon vs C8)
C1 (baseline · Naive RAG)	0,181	0,667	0,700	0,688	37,5	0,004
C2 (MQR)	0,162	0,658	0,700	0,675	37,5	<0,001
C3 (MF): TERBAIK	1,000	1,000	1,000	1,000	0,0	<0,001
C4 (HyDE)	0,116	0,492	0,500	0,488	52,5	<0,001
C5 (MQR + MF)	0,256	0,783	0,825	0,812	27,5	0,272
C6 (MQR + HyDE)	0,169	0,669	0,725	0,712	37,5	0,001
C7 (MF + HyDE): KEDUA	0,522	0,978	1,000	0,962	7,5	<0,001
C8 (lengkap) (dihipotesiskan terbaik)	0,241	0,715	0,775	0,762	37,5	-

Tabel IV.2 Hasil Eksperimen Ablasi (rata-rata atas 40 kueri uji). Empat kolom pertama berentang 0–1 (makin tinggi makin baik); CVR dalam persen (makin rendah makin baik). Kolom terakhir memuat nilai p uji Wilcoxon berpasangan atas skor komposit terhadap C8 pada taraf 5%. Sumber: hasil eksperimen penulis (2026)

Context Precision@8, makin tinggi makin baik

Peringkat: C3 (1,000) > C7 (0,522) > C5 (0,256) > C8 (0,241) > C1 (0,181) > C6 (0,169) > C2 (0,162) > C4 (0,116)

Konfigurasi ber-MF terbaik (C3, C7)C8, komposisi penuh (acuan)Konfigurasi lain

Constraint Violation Rate (%), makin rendah makin baik

CVR meningkat seiring bertambahnya jalur retrieval yang tidak melewati penyaring metadata

Patuh batasan (CVR ≤ 7,5%)C8, komposisi penuhKonfigurasi lain

Kode dan keluaran notebook eksperimen ablasi — **Gambar IV.4** Kode dan Keluaran Notebook Eksperimen Ablasi: matriks faktorial 2³ delapan konfigurasi, fungsi *retrieval* dengan fusi RRF, dan keluaran rekapitulasi metrik. *Sumber: tangkapan layar notebook eksperimen oleh penulis (2026)*

BAB IV · Subbab 4.2 · MENJAWAB RQ1

Tiga Temuan Utama Studi Ablasi

Temuan Yang Tidak Searah Dengan Hipotesis

Konfigurasi lengkap C8 yang dihipotesiskan terbaik justru menempati posisi menengah, sedangkan konfigurasi terbaik adalah C3 yang hanya mengaktifkan Metadata Filtering dengan skor sempurna pada seluruh metrik ketepatan (Context P@8, Rekom P@5, Hit Rate, dan MRR seluruhnya 1,000) serta CVR 0%.

1 Dominasi Metadata Filtering

Keempat konfigurasi yang mengandung MF (C3, C5, C7, C8) secara konsisten menghasilkan Context P@8 lebih tinggi dan CVR lebih rendah dibanding keempat konfigurasi tanpa MF (C1, C2, C4, C6).

Rentang Context P@8 kelompok ber-MF: 0,241–1,000. Kelompok tanpa MF: hanya 0,116–0,181.

Konsisten dengan argumen 2.1.7: MF menyaring langsung pada atribut terstruktur sehingga memastikan kandidat benar-benar memenuhi kriteria, sesuatu yang tidak dapat dijamin kemiripan semantik semata.

2 Menambah ekspansi di atas MF justru menurunkan ketepatan

Di antara konfigurasi ber-MF: MF murni (1,000) > MF+HyDE (0,522) > MQR+MF (0,256) > komposisi penuh (0,241).

Artinya semakin banyak teknik ekspansi ditumpuk pada MF, semakin turun Context P@8-nya.

Konsisten dengan itu, CVR meningkat seiring bertambahnya jalur ekspansi: 0% pada C3 → 7,5% pada C7 → 27,5% pada C5 → 37,5% pada C8.

3 MQR dan HyDE tanpa MF tidak memperbaiki baseline

Dibanding C1 (Context P@8 0,181; CVR 37,5%), MQR murni setara hingga sedikit lebih rendah (0,162; 37,5%) dan HyDE murni lebih buruk (0,116; CVR 52,5%).

Sejalan dengan peringatan literatur bahwa ekspansi kueri dapat menimbulkan pergeseran topik (topic drift) ketika kandidat tambahan tidak dijangkarkan pada batasan yang benar, menaikkan recall semu sekaligus menurunkan presisi.

Penjelasan Mekanistis: Mengapa C8 Kalah

Penyebabnya terletak pada arsitektur komposisi: pada implementasi ini MF bekerja sebagai salah satu jalur retrieval yang digabungkan melalui RRF, bukan sebagai penyaring global. Akibatnya jalur MQR dan HyDE menyumbang kandidat yang diambil tanpa batasan metadata, sehingga daftar hasil fusi kembali tercemar oleh venue yang melanggar batasan dan mengencerkan sinyal murni MF.

Uji Wilcoxon Memperkuat Pembacaan Tersebut

Terhadap C8: C3 dan C7 berbeda signifikan dengan skor lebih tinggi (p < 0,001), sehingga keunggulan keduanya bukan sekadar kebetulan sampel. C1 (p = 0,004), C2 (p < 0,001), C4 (p < 0,001), dan C6 (p = 0,001) juga berbeda signifikan; hanya C5 yang tidak berbeda signifikan dari C8 (p = 0,272). Dengan demikian C8 tidak menempati posisi terbaik dan bahkan secara statistik diungguli dua konfigurasi yang lebih sederhana. Dengan demikian Proposisi P1 tidak terdukung.

BAB IV · Subbab 4.2

Verifikasi Kepatuhan Batasan: Mengapa CVR C3 = 0%

Ilustrasi konkret: penelusuran pemenuhan setiap kriteria kueri uji Q05 oleh rekomendasi teratas sistem pada konfigurasi C3.

Kriteria Kueri	Batasan	Keluaran Sistem (Peringkat 1)	Status
Kota	Bandung	Grand Serela Bandung (Bandung)	✔ Terpenuhi
Kapasitas	≥ 300 pax	350 pax	✔ Terpenuhi
Skema paket	Fullday	Paket fullday tersedia	✔ Terpenuhi
Anggaran	≤ Rp450.000/pax	Rp420.000/pax	✔ Terpenuhi

Tabel IV.3 Verifikasi Kepatuhan Batasan pada Kueri Uji Q05 (Konfigurasi C3). Sumber: hasil eksperimen penulis (2026), telah diolah kembali

Mengapa Angka 1,000 Bukan Keajaiban

Ketika MF menjadi satu-satunya jalur aktif, filter metadata dikompilasi langsung dari batasan kueri (kota, bintang minimum, kapasitas minimum, plafon anggaran) sehingga hanya venue yang lolos filter itu yang masuk kandidat.

Padahal ground truth kueri didefinisikan persis sebagai venue yang memenuhi seluruh kriteria tersebut. Maka setiap dokumen yang diambil pasti relevan menurut definisi ground truth itulah mengapa CVR-nya juga 0%.

Ini konsekuensi logis dari mekanisme, bukan anomali pengukuran.

Perbandingan kinerja antarkonfigurasi ablasi — **Gambar IV.5** Perbandingan Kinerja Antarkonfigurasi Ablasi: (a) Context Precision@8 dan (b) Constraint Violation Rate. *Sumber: hasil eksperimen penulis (2026)*

BAB IV · Subbab 4.2.1

Uji Ketahanan Lintas Model

Menguji apakah temuan dominasi Metadata Filtering bergantung pada pilihan model generator dan kerangka evaluasi tertentu.

Perubahan yang dilakukan: generator diganti menjadi GPT-4o; kualitas jawaban dinilai dengan kerangka RAGAS memakai GPT-4.1 sebagai penilai (LLM-as-judge). Seluruh komponen retrieval, parameter pipeline (tiga varian MQR, 20 kandidat per jalur, 8 dokumen konteks, konstanta RRF 60), dan basis pengetahuan dijaga sama. Perangkat kueri diperluas menjadi 48 butir dan dipilah dua subgrup: 40 kueri keras (mengandung batasan eksplisit) dan 8 kueri semantik (permintaan bernuansa preferensi tanpa batasan angka ketat).

Konfigurasi	Kueri Keras	Kueri Semantik
C1 (baseline)	0,729	0,594
C2 (MQR)	0,595	0,575
C3 (MF)	0,823	0,509
C4 (HyDE)	0,577	0,431
C5 (MQR + MF)	0,707	0,531
C6 (MQR + HyDE)	0,584	0,340
C7 (MF + HyDE)	0,719	0,629
C8 (lengkap)	0,609	0,554

Tabel IV.4 Komposit RAGAS per Subgrup Kueri pada Uji Ketahanan Lintas Model. Sumber: hasil uji ketahanan penulis (2026); generator GPT-4o, penilai GPT-4.1 (RAGAS)

Pada Kueri Keras: Pola Tereplikasi

C3 (MF saja) memperoleh skor tertinggi 0,823, diikuti C7 (0,719) dan C5 (0,707), sedangkan komposisi penuh C8 kembali tidak menempati posisi teratas (0,609). Konsistensi ini muncul pada model generator berbeda dan kerangka evaluasi berbeda, memperkuat keyakinan bahwa dominasi MF merupakan sifat tugas retrieval berkonstrain bukan artefak satu model atau satu cara pengukuran.

Pada Kueri Semantik: Pola Terbalik, dan Itu Konsisten Secara Teori

C7 (MF+HyDE) justru tertinggi (0,629) sedangkan C3 hanya 0,509. Penjelasannya: manfaat ekspansi kueri bergantung pada karakter tugas. Ketika permintaan bernuansa preferensi tanpa batasan angka ketat, tidak ada batasan yang perlu dijaga sehingga keragaman kandidat dari HyDE justru menguntungkan.

Karena itu kesimpulan penelitian ini tidak berbunyi "MF selalu terbaik", melainkan "pada retrieval entitas berkonstrain, MF lebih menentukan daripada penumpukan ekspansi".

Sekaligus Menyingkap Keterbatasan Penilai LLM

Pada subgrup keras, baseline naif C1 memperoleh skor RAGAS relatif tinggi (0,729) padahal metrik objektif menunjukkan konfigurasi tersebut lemah (Context P@8 0,181; CVR 37,5%). Sebabnya, RAGAS menilai kualitas dan kesetiaan jawaban terhadap konteks, bukan kepatuhan rekomendasi terhadap batasan angka. Jawaban yang lancar namun merekomendasikan venue pelanggar batasan tetap dinilai baik.

Uji ini bersifat pelengkap dan tidak digabungkan dengan hasil utama; skornya tidak diperbandingkan angka-per-angka dengan Tabel IV.2 karena model, metrik, dan jumlah kueri berbeda. Perannya konfirmasi arah temuan, bukan penggantinya.

BAB IV · Subbab 4.1.3

Antarmuka dan Alur Penggunaan Sistem

Prototipe Vento AI berhasil diimplementasikan sebagai chatbot web yang dapat diakses publik. Pengguna mengetikkan kebutuhan acara dalam bahasa Indonesia secara bebas, dan sistem membalas dengan sejumlah rekomendasi venue beserta ringkasan kapasitas, skema paket, harga acuan indikatif, serta justifikasi kesesuaian terhadap kriteria yang diminta. Sistem juga menyampaikan secara eksplisit bahwa harga bersifat indikatif dan ketersediaan final perlu dikonfirmasi kepada pihak hotel.

Antarmuka Vento AI: respons percakapan dan kartu rekomendasi — **Gambar IV.2** Antarmuka Vento AI: Respons Percakapan dan Kartu Rekomendasi. *Sumber: tangkapan layar sistem oleh penulis (2026)*

Alur permintaan booking hingga konfirmasi terkirim — **Gambar IV.3** Alur Permintaan Booking hingga Konfirmasi Terkirim: pengisian tanggal acara, jumlah peserta, kontak WhatsApp, dan anggaran. *Sumber: tangkapan layar sistem oleh penulis (2026)*

BAB IV · Subbab 4.3 · MENJAWAB RQ2

Hasil Evaluasi Pengguna

Profil Responden

Kategori	Jumlah	Keterangan
Pemilik event organizer	12	Populasi sasaran
Staf / freelancer EO	6	Populasi sasaran
Vendor / rekanan EO	2	Populasi sasaran
Perusahaan pengguna jasa EO	1	Populasi sasaran
Pemandu wisata	1	Populasi sasaran
Profesi lain (guru, PNS, pengacara, karyawan umum)	9	Di luar populasi sasaran, dianalisis terpisah
Total respons masuk	31	Pengalaman > 5 tahun: 26 responden (83,9%)

Tabel IV.5 Profil Responden. Pengumpulan data hingga 16 Juli 2026. Sumber: data primer penulis (2026)

Penerapan Kriteria Inklusi–Eksklusi

Dari 31 respons: 9 dikeluarkan karena di luar populasi sasaran, 2 dikeluarkan karena terdapat butir SUS kosong, dan 2 dikeluarkan karena tidak lolos pemeriksaan konsistensi, sehingga analisis SUS berbasis 18 respons valid.

Catatan penting: hasil TAM dilaporkan atas seluruh 31 respons yang butir TAM-nya lengkap; angka 18 berlaku untuk SUS. Kriteria eksklusi ditetapkan sebelum analisis.

Hasil TAM: Proposisi P2 Terdukung

4,39

Perceived Usefulness

4,42

Perceived Ease of Use

4,24

Sikap terhadap Penggunaan

4,18

Niat Penggunaan

Skor TAM per konstruk (skala 1–5)

Garis putus = titik netral 3

Keempat rata-rata berada jauh di atas titik netral 3, mengindikasikan sistem dipersepsikan bermanfaat dan mudah digunakan, dengan niat penggunaan ulang yang kuat. Dengan mayoritas responden berpengalaman lebih dari lima tahun, hasil ini sekaligus memvalidasi kebutuhan nyata yang diangkat pada latar belakang.

Hasil SUS: Proposisi P3 Terdukung dengan Margin Tipis

69,9

rata-rata SUS (n = 18 valid)

70,0

median SUS

50%

9 dari 18 responden di atas ambang

35–100

sebaran skor terendah–tertinggi

Apa Arti Angka 68?

Angka 68 bukan ketetapan industri maupun ambang kelulusan formal, melainkan rata-rata empiris yang dikompilasi Sauro dan Lewis dari ribuan kuesioner SUS lintas ratusan studi produk. Skor di atas 68 berarti berada di atas persentil ke-50 dari produk yang pernah diukur dengan SUS, konsisten dengan rata-rata 70,1 atas 2.324 survei yang dilaporkan Bangor dkk.

Data mendukung P3, namun dengan margin tipis, hanya 1,9 poin di atas ambang sehingga penambahan responden valid menjadi penting untuk memastikan kestabilan temuan.

Skor SUS vs rata-rata normatif

Garis putus = ambang normatif SUS 68

Lima Tema Masukan Terbuka

1 UI/UX & kesan pertama

Penyempurnaan antarmuka, termasuk permintaan tampilan yang lebih modern.

2 Pengayaan informasi venue

Foto venue, kelebihan-kekurangan, dan detail di luar harga. Berkaitan langsung dengan kualitas retrieval.

3 Indikator proses

Agar pengguna tidak mengira aplikasi bermasalah saat sistem sedang bekerja.

4 Konsistensi & kecepatan respons

Berkaitan langsung dengan penyusunan konteks.

5 Perluasan cakupan

Kota dan sumber data venue yang lebih luas.

Pembacaan

Penahan skor usabilitas terletak pada aspek antarmuka dan umpan balik proses bukan pada kualitas substansi rekomendasi. Tema 1, 3, dan 5 menjadi saran pengembangan produk.

BAB IV · Subbab 4.4

Pembahasan dan Implikasi Desain

Terhadap RQ1

Temuan utamanya: efektivitas Advanced RAG pada tugas rekomendasi venue berkonstrain ditentukan terutama oleh penyaringan metadata, bukan oleh penumpukan teknik ekspansi kueri. Hasil ini menempatkan penelitian pada posisi yang berbeda dari premis 'semakin banyak teknik semakin baik' yang mendasari Proposisi P1, dan justru menawarkan pemahaman yang lebih halus mengenai kapan sebuah teknik retrieval bermanfaat.

Nuansa terhadap RAG-Fusion

Rackauckas melaporkan perbaikan melalui multi-kueri dan fusi peringkat. Pada retrieval bertopik terbuka, memperkaya kueri memang dapat meningkatkan recall. Namun pada retrieval entitas berkonstrain seperti pemilihan venue, kueri tambahan yang tidak dijangkarkan pada batasan justru menyuntikkan kandidat yang melanggar kriteria dan menurunkan presisi. Manfaat ekspansi kueri bergantung pada karakter tugas, dan pada tugas berkonstrain ia dapat menjadi kontraproduktif bila tidak disaring.

Terhadap Wijaya & Jayadianti dan Karlović

Perbandingan langsung dengan [16] tidak dilakukan karena metrik, skala korpus (1 hotel vs 1.741 venue), dan sifat tugas (layanan informasi B2C vs rekomendasi entitas berkonstrain B2B) berbeda jauh. Yang dapat disimpulkan kualitatif: pada korpus besar dan multibatasan, kemiripan semantik murni tidak memadai: Context P@8 baseline C1 hanya 0,181. Temuan Karlović [17] bahwa pilihan komponen sangat memengaruhi hasil turut diperkuat, dalam wujud sensitivitas hasil terhadap komposisi teknik retrieval.

Implikasi Desain: Usulan Penempatan MF

Usulan

Penyaringan metadata sebaiknya diterapkan sebagai batasan global (pra-penyaring keras atas seluruh jalur retrieval), bukan sebagai satu jalur yang digabung setara melalui RRF. Dengan penempatan demikian, manfaat recall dari MQR dan HyDE berpotensi diperoleh tanpa mengorbankan kepatuhan batasan, karena seluruh kandidat dari jalur mana pun tetap tunduk pada filter.

Dinyatakan jujur: ini masih hipotesis yang belum diuji, dan diusulkan sebagai penelitian lanjutan pada Bab V, bukan diklaim sebagai hasil.

Perbandingan strategi penempatan Metadata Filtering — **Gambar IV.7** Perbandingan Strategi Penempatan Metadata Filtering: MF sebagai jalur yang difusikan (yang diuji) versus MF sebagai gerbang keras global (usulan). Komponen sama, penempatan berbeda, semantik berlawanan. *Sumber: diolah penulis (2026)*

Terhadap RQ2

Skor TAM yang tinggi pada seluruh konstruk (4,18–4,42) sejalan dengan premis Bab I bahwa terdapat kebutuhan nyata praktisi atas kanal informasi venue yang dapat diakses mandiri; niat penggunaan ulang 4,18 dari responden yang 83,9% berpengalaman lebih dari lima tahun merupakan sinyal validasi kebutuhan yang kuat.

Pada sisi usabilitas, skor SUS 69,9 melampaui ambang 68 namun tipis. Jawaban terbuka menunjukkan penahan skor bukan pada kualitas rekomendasi, melainkan pada aspek antarmuka dan umpan balik proses konsisten dengan temuan Bangor dkk. bahwa skor SUS mencerminkan pengalaman keseluruhan, bukan akurasi fungsional semata.

Pemisahan Yang Dirancang Penelitian Ini

Antara kualitas mesin (diukur ablasi) dan pengalaman pengguna (diukur TAM/SUS): keduanya saling melengkapi dan tidak saling menggantikan. Sistem yang tepat tetapi tidak terpakai sama tidak bergunanya dengan sistem yang mudah dipakai tetapi salah.

Keterbatasan Yang Teridentifikasi Pada Tahap Ini

Jumlah respons valid masih di bawah target, sehingga temuan pengguna bersifat sementara.
Margin SUS yang tipis terhadap ambang normatif.
Cakupan dataset yang meskipun luas (32 provinsi) tetap merupakan snapshot dengan harga indikatif.

BAB V · Subbab 5.1

Kesimpulan atas RQ1

Studi ablasi atas delapan konfigurasi teknik retrieval.

Proposisi P1 Tidak Terdukung

Komposisi penuh MQR + Metadata Filtering + HyDE dengan fusi RRF (konfigurasi C8) tidak menghasilkan kualitas rekomendasi terbaik.

Konfigurasi terbaik adalah C3 yang hanya mengaktifkan Metadata Filtering: Context Precision@8, Rekomendasi Precision@5, Hit Rate, dan MRR seluruhnya 1,000 serta Constraint Violation Rate 0%.
Diikuti C7 (MF + HyDE) dengan Context Precision@8 0,522 dan CVR 7,5%.
Komposisi penuh C8 hanya mencapai Context Precision@8 0,241 dan CVR 37,5%, serta secara statistik diungguli C3 maupun C7 (uji Wilcoxon, p < 0,001).
Teknik dengan kontribusi terbesar adalah Metadata Filtering seluruh konfigurasi yang mengandungnya melampaui seluruh konfigurasi tanpanya.
Penambahan MQR dan HyDE di atas MF justru menurunkan ketepatan karena keduanya menyuntikkan kandidat yang tidak tersaring batasan ke dalam hasil fusi.

Temuan Kunci RQ1

Pada retrieval entitas berkonstraint, penyaringan metadata lebih menentukan daripada penumpukan teknik ekspansi kueri, dan komposisi teknik tidak bersifat monoton menguntungkan.

Mengapa Temuan Ini Menajamkan, Bukan Melemahkan, Penelitian

Sebuah penelitian yang melaporkan hipotesisnya tidak terdukung justru menunjukkan pengujiannya nyata dan bukan konfirmatoris. Temuan ini memberi pemahaman yang lebih halus mengenai kapan sebuah teknik retrieval bermanfaat, sesuatu yang tidak akan diperoleh bila hasilnya sekadar mengonfirmasi dugaan awal.

BAB V · Subbab 5.1

Kesimpulan atas RQ2

Penerimaan Teknologi: P2 Terdukung

Evaluasi TAM pada responden praktisi ekosistem event menghasilkan skor yang tinggi dan konsisten pada seluruh konstruk: perceived usefulness 4,39; perceived ease of use 4,42; sikap 4,24; dan niat penggunaan 4,18 pada skala 5, seluruhnya jauh di atas titik netral.

Dengan mayoritas responden berpengalaman lebih dari lima tahun, hasil ini menunjukkan sistem dipersepsikan bermanfaat dan mudah digunakan oleh kalangan yang paling memahami permasalahan pemilihan venue, sekaligus memvalidasi kebutuhan nyata yang diangkat pada latar belakang.

Usabilitas: P3 Terdukung dengan Margin Tipis

Pengukuran SUS pada responden valid menghasilkan skor rata-rata 69,9 (median 70,0), berada di atas ambang rata-rata normatif SUS 68.

Analisis jawaban terbuka menunjukkan penahan skor usabilitas terletak pada aspek antarmuka dan umpan balik proses, bukan pada kualitas substansi rekomendasi.

Margin 1,9 poin tergolong tipis, dinyatakan terbuka sebagai keterbatasan.

Secara Keseluruhan

Tujuan penelitian tercapai: prototipe berhasil dibangun dan dievaluasi secara triangulasi dari sisi mesin maupun manusia. Perlu ditegaskan bahwa tercapainya tujuan tidak sama dengan terdukungnya seluruh proposisi tujuan penelitian adalah menguji, bukan membuktikan benar.

BAB V · Subbab 5.1

Kontribusi dan Keterbatasan

Kontribusi Penelitian

Teoretis

Bukti empiris mengenai peran dan batas komposisi teknik penyempurnaan retrieval dalam kerangka Advanced RAG untuk tugas retrieval entitas berkonstraint pada domain B2B MICE berbahasa Indonesia, khususnya temuan bahwa penyaringan metadata merupakan penentu utama kualitas dan bahwa penumpukan teknik ekspansi kueri tidak selalu menguntungkan. Pola ini, sepanjang penelusuran penulis, belum diuji pada literatur sebelumnya.

Praktis

Acuan indikatif mandiri yang mempercepat penyusunan estimasi anggaran dan kuotasi awal bagi penyelenggara acara.

Keterbatasan: Dinyatakan Terbuka

Basis pengetahuan merupakan snapshot dengan harga acuan indikatif, bukan data ketersediaan real-time.
Evaluasi pengguna berbasis jumlah responden valid yang masih menuju target, sehingga angka akhirnya dapat bergeser.
Margin skor SUS terhadap ambang normatif tergolong tipis.
Sistem diuji pada satu model bahasa dan satu model embedding.
Hasil ablasi terikat pada satu strategi komposisi, yaitu MF sebagai jalur ter-fusi RRF alih-alih pra-penyaring global, sehingga peringkat konfigurasi dapat berbeda pada strategi penempatan lain.
Seluruh klaim dibatasi pada korpus basis pengetahuan yang dikelola, tidak digeneralisasi kepada populasi seluruh hotel di Indonesia.

BAB V · Subbab 5.2

Saran

A. Saran Pengembangan Sistem: Diturunkan dari Masukan Responden

1 Antarmuka & kesan pertama

Penataan halaman awal dan tampilan hasil pencarian yang lebih modern, serta fitur pengurutan hasil berdasarkan anggaran.

2 Pengayaan informasi venue

Foto, ringkasan kelebihan dan keterbatasan, serta detail di luar harga, agar rekomendasi dapat ditindaklanjuti tanpa verifikasi berlapis.

3 Indikator proses

Penambahan indikator loading selama sistem bekerja, agar pengguna memperoleh umpan balik bahwa permintaannya sedang diproses.

4 Konsistensi & kecepatan

Peningkatan melalui caching hasil retrieval dan streaming jawaban.

5 Perluasan cakupan

Kota dan sumber data venue diperluas secara berkala, disertai mekanisme pemutakhiran dataset yang terjadwal.

B. Saran Penelitian Selanjutnya

1 Perluasan objek

Ke gedung konvensi mandiri dan venue non-hotel, yang memiliki pola pengadaan dan struktur paket berbeda.

2 Integrasi ketersediaan

Melalui kolaborasi data dengan pengelola properti, sehingga sistem bergerak dari acuan indikatif menuju informasi operasional.

3 Uji penempatan MF, prioritas

Menguji MF sebagai pra-penyaring keras global atas seluruh jalur retrieval, bukan jalur yang ikut difusikan RRF, tindak lanjut langsung dari temuan RQ1. Selanjutnya membandingkan komposisi ini dengan semantic re-ranking, knowledge graph, maupun paradigma Modular dan agentic RAG.

4 Uji generalisasi

Pada model bahasa dan model embedding yang berbeda, mengingat literatur menunjukkan pilihan LLM memengaruhi kualitas hasil.

5 Personalisasi lintas sesi

Berbasis riwayat preferensi pengguna sehingga sistem berkembang menuju conversational recommender system yang utuh.

6 Replikasi evaluasi

Dengan responden lebih besar dan analisis jalur berbasis UTAUT, serta menguji representativitas dataset terhadap statistik perhotelan nasional.

BAB V · Penutup

Terima Kasih

UNIVERSITAS NUSA MANDIRI Fakultas Teknologi Informasi · Program Studi Informatika (S2)

Siap Untuk Sesi Tanya Jawab

Pada retrieval entitas berkonstraint, penyaringan metadata lebih menentukan daripada banyaknya teknik yang ditumpuk.

PenyusunNuryani Mawar Putri · 14240017

PembimbingProf. Dr. Ir. Dwiza Riana, S.Si, MM, M.Kom, IPU, ASEAN.Eng

Program StudiInformatika (S2) FTI Universitas Nusa Mandiri

Tab Tanya Jawab berisi 130 pertanyaan penguji beserta jawabannya dan dapat dicari, tekan Ctrl+K.

Tab Pendukung

Demo Vento AI

Prototipe chatbot web yang dapat diakses publik pada platform BuatEvent.id, artefak yang dievaluasi pada RQ2.

Coba langsung di depan penguji

Ketik kebutuhan acara dalam bahasa Indonesia secara bebas. Sistem membalas dengan rekomendasi venue beserta kapasitas, skema paket, harga acuan indikatif, dan justifikasi kesesuaian terhadap kriteria yang diminta.

Buka Vento AI ↗

Sebelum Sidang: Sesuaikan Tautan Demo

Tautan di atas mengarah ke https://buatevent.id. Bila alamat prototipe berbeda, ubah nilai DEMO_URL pada baris pertama berkas assets/app.js. Siapkan juga rencana cadangan: bila jaringan ruang sidang bermasalah, tangkapan layar pada BAB IV dan simulasi percakapan di bawah sudah cukup untuk mendemonstrasikan alurnya.

Tiga Kueri Contoh Yang Aman Didemokan

1 Kueri berbatasan lengkap

"Cari venue hotel di Bandung untuk rapat sehari penuh, sekitar 300 peserta, anggaran maksimal Rp450.000 per orang."

Menunjukkan empat batasan sekaligus terpenuhi, inti Tabel IV.3.

2 Kueri dengan akomodasi

"Butuh hotel di Bogor untuk fullboard residential 150 pax, twin sharing, bintang 4."

Menunjukkan skema paket residensial dan penyaringan kelas bintang.

3 Kueri sulit

"Venue di kota kecil dengan kapasitas 1.000 pax dan anggaran sangat rendah."

Menunjukkan perilaku jujur sistem ketika tidak ada venue yang memenuhi, tidak mengarang, melainkan menyampaikan keterbatasan dan menyarankan penyesuaian.

Cadangan Bila Jaringan Bermasalah

Simulasi Percakapan Vento AI

Rekonstruksi alur percakapan sesuai Gambar IV.2 pada naskah, dapat ditayangkan tanpa koneksi internet.

Vento AISiap bantu kamu rencanakan event

hotel di bandung yang punya kapasitas venue meeting untuk 100 pax budget under 600 rb ada?

Tentu, Vento bantu carikan lagi ya! ✨ Untuk hotel di Bandung dengan kapasitas 100 pax dan budget di bawah Rp600.000 per orang untuk paket full day, ada beberapa pilihan menarik.

Hotel Santika Pasirkaliki

Bintang 3 · Hotel MICE · muat 401 pax · Bandung

Meeting halfdayRp 275.000/pax

Meeting fulldayRp 350.000/pax

Semua detailnya ada di kartu di bawah ini. Kalau kamu mau, Vento bantu bandingkan lebih jauh.

Yang Perlu Ditunjukkan Saat Demo

Kueri bahasa alami bebas pengguna tidak mengisi kotak filter; batasan dikenali otomatis oleh Query Parser lalu dikompilasi menjadi filter metadata.
Kartu rekomendasi terstruktur kapasitas, kelas bintang, dan harga acuan per skema paket ditampilkan lengkap sehingga dapat langsung dipakai menyusun kuotasi.
Justifikasi kesesuaian sistem menjelaskan mengapa venue tersebut sesuai kriteria, bukan sekadar menampilkan daftar.
Pernyataan harga indikatif sistem menyatakan secara eksplisit bahwa harga bersifat indikatif dan ketersediaan final perlu dikonfirmasi ke pihak hotel.
Alur tindak lanjut dari rekomendasi menuju permintaan booking: tanggal acara, jumlah peserta, kontak WhatsApp, anggaran, hingga konfirmasi terkirim.

Batas Yang Perlu Diingat Saat Ditanya

Sistem tidak mencakup transaksi, ketersediaan real-time, maupun penetapan harga dinamis seluruhnya tetap ranah pihak hotel, sebagaimana dinyatakan pada ruang lingkup (Subbab 1.4).

Menghubungkan RQ1 dan RQ2

Dari Hasil Ablasi Menuju Prototipe

RQ1: Studi Ablasi8 konfigurasi × 40 kueri = 320 eksekusi

→

Komposisi terbaikMF sebagai penentu utama kepatuhan batasan

→

Prototipe Vento AIdiimplementasikan & dapat diakses publik

→

RQ2: TAM & SUSverifikasi penerimaan & usabilitas oleh praktisi

Yang Perlu Ditegaskan Bila Ditanya

Vento AI adalah wujud implementasi, bukan objek klaim ilmiah. Klaim pengetahuan penelitian ini ada pada hasil studi ablasi (RQ1); Vento AI berperan sebagai artefak yang memungkinkan komposisi tersebut diuji penerimaannya oleh praktisi nyata (RQ2).

Mengapa Prototipenya Tetap Perlu

Tanpa artefak yang benar-benar dapat dipakai, RQ2 tidak dapat dijawab, responden menggunakan sistem secara langsung untuk skenario tugas nyata sebelum mengisi kuesioner, bukan sekadar menilai demonstrasi. Inilah yang membuat skor TAM 4,18–4,42 bermakna.

Tab Pendukung

Paper Rujukan

56 referensi yang digunakan tesis. Referensi bertanda hijau memiliki berkas PDF yang dapat dibaca langsung, digulir, dan diunduh dari situs ini. Sisanya dapat dibuka melalui tautan DOI penerbit.

Tab Pendukung · Alat Bantu Sidang

Tanya Jawab Sidang

130 pertanyaan yang mungkin diajukan dewan penguji beserta jawaban siap pakai, seluruhnya bersumber dari naskah tesis. Ketik kata kunci untuk mencari, misalnya "C8", "SUS", "Wilcoxon", "kenapa", atau "responden".

Tab Pendukung

Tentang Peneliti

Penelitian ini lahir dari pertemuan antara persoalan nyata industri dan peluang teknologi, bukan dari persoalan yang ditemukan di jurnal.

NIM 14240017 Peminatan AI

Nuryani Mawar Putri

Praktisi MICE · Direktur PT Inti Jasa Kreatif · Mahasiswa Magister Informatika UNM

Lebih dari 14 tahun berkarier di industri event organizer korporat Indonesia, memimpin penyelenggaraan acara dari skala kecil hingga ribuan peserta di berbagai kota. Dari praktik sehari-hari itulah saya berulang kali menemui persoalan yang menjadi latar belakang tesis ini: proses pemilihan venue hotel yang masih manual, terfragmentasi, dan tanpa acuan harga yang dapat diakses mandiri.

Basis pengetahuan 1.741 venue hotel yang menopang penelitian ini bukan dataset yang saya unduh, melainkan saya susun sendiri dari pengetahuan domain selama praktik tersebut beserta penelusuran sumber publik, mencakup 32 provinsi, 131 kota/kabupaten, dan 91 grup hotel.

Nama lengkap	Nuryani Mawar Putri
NIM	14240017
Program studi	Magister (S2) Informatika, peminatan Artificial Intelligence
Fakultas	Fakultas Teknologi Informasi, Universitas Nusa Mandiri
Dosen pembimbing	Prof. Dr. Ir. Dwiza Riana, S.Si, MM, M.Kom, IPU, ASEAN.Eng
Pekerjaan	Direktur PT Inti Jasa Kreatif (sejak Agustus 2015)
Bidang keahlian	Manajemen event dan MICE, sistem rekomendasi, penerapan LLM dan RAG

Mengapa Latar Ini Relevan Bagi Penelitian

Pengalaman industri memungkinkan saya menyusun 40 kueri uji yang mencerminkan pola permintaan nyata bukan kueri buatan, serta memverifikasi ground truth-nya terhadap struktur paket MICE yang benar-benar berlaku di lapangan (halfday, fullday, fullboard, dan skema residensial). Latar yang sama juga membuka akses kepada responden praktisi berpengalaman: 83,9% responden memiliki pengalaman kerja lebih dari lima tahun.

Riwayat Pendidikan

Magister (S2) Informatika, Universitas Nusa Mandiri2024 – sekarang · Peminatan Artificial Intelligence
Sarjana (S1) Sistem Informasi, Universitas Nusa MandiriLulus 2024
Diploma III Manajemen Informatika, Universitas Bina Sarana InformatikaLulus 2011

SMA Negeri 11 JakartaLulus 2008
SMP Negeri 236 JakartaLulus 2005
SD Negeri 07 Pagi Penggilingan, JakartaLulus 2002

Sertifikasi Kompetensi

1 Program Analyst

LSP Universitas Nusa Mandiri

2 Certified Event Venue Management

LSP MICE, sertifikasi yang paling dekat dengan domain penelitian ini

3 Performance Management Cluster

LSP Jana Dharma

4 Pemimpin Tour Manager

LSP Pariwisata Nusantara

5 Event Marketing Communication

LSP MICE

Pekerjaan dan Keorganisasian

Direktur, PT Inti Jasa Kreatif

Agustus 2015 – sekarang. Perusahaan event organizer tempat penelitian ini dilaksanakan, sekaligus pengembang platform BuatEvent.id yang menjadi tempat prototipe Vento AI diimplementasikan.

KEMBERIN (Wakil Ketua Umum) HIPMI (Bidang 8) IVENDO (Bidang MICE) AELI (Bidang Humas dan Publikasi) ASITA (Anggota)

Keanggotaan asosiasi inilah yang membuka jalur validasi domain serta penjaringan responden praktisi MICE pada evaluasi RQ2.

Publikasi Ilmiah Selama Masa Studi

No	Judul	Terbit	Kaitan dengan Tesis
1	N. M. Putri dan I. Saputra, “A Multimodal Graph-Based Recommendation Architecture for Vendor Discovery in Context-Aware Event Planning”	Jurnal Ilmu dan Teknologi Rekayasa Baru (JNEST), vol. 5, no. 1, 2026	Pijakan langsung, dari rekomendasi vendor berbasis graf menuju rekomendasi venue berbasis RAG
2	A. Suryadi, D. D. Saputra, W. Gata, R. Fahlapi, A. Firizkiansah, dan N. M. Putri, “Pembuatan dataset QA otomatis yang menjaga privasi untuk penyempurnaan LLM dengan model lokal dan pengambilan informasi”	Jurnal Infotel, vol. 17, no. 4, hlm. 825–838, 2025	Pengalaman menyusun dataset tanya-jawab dan pipeline QA–IR bersama tim peneliti UNM
3	N. M. Putri dan Y. E. Achyani, “Analisis Kualitas Sistem Informasi Layanan pada PT. Inti Jasa Kreatif Menggunakan Metode WebQual 4.0”	Jurnal Saintekom, vol. 14, no. 2, 2024	Pengalaman evaluasi kualitas layanan web yang memperkaya penyusunan butir kuesioner TAM dan SUS

Ketiga publikasi tercantum pada halaman Daftar Publikasi yang Telah Dihasilkan pada naskah tesis.

Benang Merah

14 tahun praktik MICEmenemui persoalan pemilihan venue secara langsung

→

Rekomendasi vendor berbasis grafpublikasi JNEST 2026

→

Dataset QA untuk LLMpublikasi Infotel 2025

→

Tesis iniAdvanced RAG untuk rekomendasi venue MICE