Panel prompt adalah kumpulan pertanyaan yang dibekukan untuk pengamatan berulang. Panel membantu kamu melihat apakah brand ditemukan, fakta dipahami, atau halaman dirujuk pada kondisi yang ditentukan. Ia tidak mengukur seluruh pasar dan tidak berubah menjadi data pencarian pengguna hanya karena pertanyaannya terdengar masuk akal.
Untuk tim kecil, panel yang sempit tetapi relevan lebih berguna daripada ratusan pertanyaan tanpa tujuan. Mulailah dengan keputusan yang ingin diperbaiki: akurasi identitas, penemuan kategori, pemahaman produk, atau rujukan ke materi edukasi.
Tentukan unit yang benar-benar diamati
Satu pengamatan adalah satu respons terhadap satu prompt pada surface tertentu. Surface bisa berupa aplikasi dengan pencarian, fitur AI pada hasil pencarian, atau API model. Catat jenisnya secara spesifik. Respons model tanpa pencarian tidak mewakili aplikasi lain yang menelusuri web.
Untuk fitur AI Google sendiri, respons dan tautan dapat bervariasi. Karena itu, perlakukan panel sebagai sampel pengamatan, bukan daftar posisi tetap yang selalu dilihat semua orang. Dokumentasi AI features Google.
Informasi minimum pada setiap baris adalah ID prompt, teks persis, bahasa, surface, mode yang diketahui, tanggal, dan status respons. Jika lokasi hanya dinyatakan dalam pertanyaan, catat demikian; jangan mengaku telah mengendalikan lokasi perangkat.
Pisahkan pertanyaan bermerek dari discovery
Contoh ilustratif untuk perangkat lunak manajemen acara:
| Cohort | Pertanyaan contoh | Tujuan |
|---|---|---|
| Identitas | Apa fungsi aplikasi Loka Acara? | Akurasi deskripsi brand |
| Discovery | Aplikasi pendaftaran acara untuk komunitas kecil di Indonesia | Apakah brand muncul tanpa dipancing namanya |
| Evaluasi | Apa yang perlu diperiksa sebelum memilih aplikasi tiket? | Kebutuhan keputusan dan sumber edukasi |
| Kecocokan | Aplikasi pendaftaran acara dengan pembayaran transfer manual | Kecocokan fitur dengan kebutuhan spesifik |
| Dukungan | Bagaimana mengekspor peserta dari Loka Acara? | Ketepatan instruksi produk |
Nama aplikasi di tabel adalah ilustrasi. Panel sebenarnya sebaiknya mengambil pertanyaan dari kebutuhan yang benar-benar diketahui, seperti pertanyaan dukungan yang sudah diizinkan, query yang tersedia, atau wawancara yang memang dilakukan. Prompt hasil ide penulis tetap boleh dipakai, tetapi tandai sebagai hipotesis editorial.
Jangan memasukkan nama brand ke semua pertanyaan lalu melaporkan mention rate tinggi sebagai keberhasilan discovery. Prompt yang meminta penjelasan brand memang sudah memberikan nama tersebut kepada sistem.
Buat panel yang cukup beragam tanpa varian tipis
Variasi perlu mewakili keputusan yang berbeda. Mengganti “terbaik” menjadi “bagus” pada dua puluh prompt belum tentu menambah cakupan. Sebaliknya, batas anggaran, ukuran tim, jenis pengguna, atau kebutuhan integrasi dapat mengubah keputusan secara nyata.
Untuk setiap prompt, tulis mengapa ia diperlukan. Jika dua baris menguji hal yang sama, gabungkan kecuali variasi bahasa memang menjadi pertanyaan penelitian. Jika menguji bahasa Indonesia dan Inggris, kelompokkan hasilnya; jangan diam-diam mengganti proporsi bahasa pada pengamatan berikutnya.
Tentukan juga alias brand dan domain yang sah. Nama pendek seperti “Loka” dapat merujuk banyak entitas. Aturan disambiguasi sebelum pengamatan mengurangi kecenderungan menghitung setiap kemunculan nama sebagai brand milikmu.
Bekukan aturan sebelum melihat hasil
Gunakan kartu panel berikut:
Nama dan versi panel:
Keputusan yang dibantu:
Cohort dan alasan pemilihannya:
Prompt persis beserta ID:
Surface, mode, bahasa, dan lokasi yang diketahui:
Alias brand serta domain milik sendiri:
Jadwal dan jumlah pengulangan yang mampu dilakukan:
Definisi valid, error, dan label belum diketahui:
Metrik yang akan dilaporkan per cohort:
Jumlah prompt dan pengulangan mengikuti kapasitas serta variasi yang ingin diperiksa. Tidak ada jumlah minimum universal yang membuat panel otomatis representatif. Menjalankan satu prompt berkali-kali membantu melihat variasi respons, tetapi tidak sama dengan mengamati banyak pengguna independen.
Jika ada prompt yang keliru secara mendasar, perbaiki dan beri versi panel baru. Jangan mengganti prompt yang hasilnya buruk lalu membandingkan angka baru seolah pertanyaannya tidak berubah.
Kenali tanda panel perlu diperbaiki
Panel terlalu luas jika setiap hasil membutuhkan keputusan bisnis yang tidak berkaitan. Panel terlalu sempit jika seluruh pertanyaan hanya mengulang deskripsi brand. Panel bias jika semua pertanyaan menyebut keunggulan yang hanya kamu miliki tanpa bukti bahwa pengguna membutuhkannya.
Kesalahan lain adalah mencampur respons yang memiliki konteks percakapan panjang dengan respons dari sesi baru. Tentukan cara kerja yang sama dan catat pengecualiannya. Jika mode aplikasi berubah, pisahkan periode sebelum dan sesudah perubahan tersebut.
Pekerjaan awal yang dapat kamu selesaikan sekarang adalah membuat tiga cohort dengan alasan yang berbeda, lalu memilih pertanyaan yang benar-benar diperlukan. Setelah panel dibekukan, barulah kumpulkan respons. Urutan itu membantu kamu mempelajari kenyataan, termasuk hasil yang tidak sesuai harapan.
