Nama brand disebut, website ditautkan, dan produk direkomendasikan merupakan tiga kejadian berbeda. Catat ketiganya sebagai label terpisah saat mengamati jawaban AI. Satu respons dapat memenuhi beberapa label sekaligus, atau menyebut brand dalam konteks yang justru menunjukkan ketidakcocokan.
Pembedaan ini membantu tim menghindari laporan yang tampak bagus tetapi tidak menjawab tujuan. Jika targetmu adalah rujukan ke artikel edukasi, jumlah penyebutan brand belum menunjukkan bahwa artikel tersebut menjadi sumber.
Gunakan definisi yang bisa diuji pada teks
Mention berarti brand yang dimaksud benar-benar disebut. Nama serupa milik entitas lain tidak dihitung. Simpan potongan teks yang menjadi dasar label.
Owned citation berarti respons menampilkan sumber yang menuju domain atau URL milik brand sesuai daftar kepemilikan yang ditentukan. Tautan ke artikel media tentang brand bukan owned citation.
Third-party citation about the brand berarti sumber pihak ketiga membahas brand. Catat sumber dan konteksnya. Ia dapat memuat pujian, kritik, atau sekadar informasi dasar.
Recommendation berarti jawaban menempatkan brand sebagai pilihan yang relevan untuk kebutuhan pengguna. Penyebutan sebagai contoh yang tidak cocok tidak memenuhi definisi ini.
Accuracy diperiksa per klaim terhadap fakta yang bisa diverifikasi. Nada positif tidak membuktikan akurasi, dan nada negatif tidak otomatis berarti salah.
Latihan klasifikasi dengan lima jawaban
Semua contoh berikut ilustratif. Brand “Larik” adalah aplikasi catatan, dengan domain resmi yang sudah ditentukan dalam panel.
| Respons contoh | Mention | Owned citation | Recommendation |
|---|---|---|---|
| “Larik menyediakan aplikasi catatan,” tanpa sumber | Ya | Tidak, jika daftar sumber memang lengkap | Belum tentu |
| “Coba panduan ini,” dengan tautan ke artikel Larik tanpa menyebut namanya | Tidak | Ya | Tidak otomatis |
| “Larik cocok untuk penggunaan offline,” disertai domain resmi | Ya | Ya | Ya untuk kebutuhan offline |
| “Larik kurang cocok jika kamu membutuhkan kolaborasi tim” | Ya | Tergantung tautan | Tidak untuk kebutuhan tersebut |
| Artikel media menempatkan Larik dalam daftar pilihan, lalu AI mengutip media itu | Ya jika namanya tampil | Tidak | Periksa isi jawaban AI |
Baris pertama memiliki kondisi penting: kamu hanya bisa memberi label “tidak ada citation” jika sumber memang dapat diamati dengan lengkap. Jika alat ekspor tidak menyertakan field sumber, statusnya belum diketahui.
Pisahkan sumber terlihat dari klaim yang didukung
Tautan pada respons tidak otomatis mendukung semua kalimat di sekitarnya. Buka sumber yang relevan, lalu periksa apakah fakta seperti harga, fitur, atau cakupan wilayah benar-benar terdapat di sana dan masih berlaku.
Contoh ilustratif: AI menautkan halaman produk resmi tetapi menyebut fitur ekspor PDF yang tidak dijelaskan pada halaman itu. Owned citation dapat diberi label “ya”, sementara klaim fitur diberi label “belum terverifikasi” atau “salah” bila ada bukti yang membantah.
Jangan mengubah aturan label supaya satu angka terlihat konsisten. Justru perbedaan antarlabel dapat menunjukkan pekerjaan selanjutnya: identitas sudah dikenali, tetapi fitur masih disalahpahami; sumber dikutip, tetapi brand belum masuk pilihan; atau brand direkomendasikan berdasarkan informasi lama.
Siapkan buku kode pendek
Gunakan format yang bisa diterapkan orang lain:
ID respons:
Entitas yang dimaksud:
Mention: ya / tidak / belum diketahui
Bukti teks mention:
Owned citation: ya / tidak / belum diketahui
URL mentah dan domain yang diverifikasi:
Third-party citation:
Recommendation: ya / tidak / tidak relevan / belum diketahui
Kebutuhan yang menjadi konteks rekomendasi:
Klaim faktual dan hasil pemeriksaannya:
Catatan ambiguitas:
“Tidak relevan” berguna untuk prompt yang hanya menanyakan definisi brand. Jangan memaksa setiap jawaban definisi menjadi rekomendasi agar seluruh baris masuk satu persentase.
Untuk URL pendek atau tautan perantara, simpan URL yang terlihat dahulu. Jika tujuan akhirnya diperiksa, catat hasilnya. Jika belum, jangan menganggap domain tersebut milik brand hanya karena anchor memakai nama brand.
Tangani perbedaan penilaian
Ambil beberapa respons yang ambigu. Terapkan definisi label dan tulis alasan. Jika dua pemeriksa berbeda pendapat, perjelas aturan dengan contoh tersebut sebelum melanjutkan seluruh dataset. Jangan menyelesaikan ambiguitas dengan memilih label yang paling menguntungkan.
Penilaian otomatis dapat membantu menemukan kandidat nama atau URL, tetapi nama ambigu dan konteks negatif tetap memerlukan pemeriksaan. “Larik tidak mendukung kebutuhan ini” mengandung nama brand, namun makna rekomendasinya berbeda dari “pilih Larik”.
Mulailah dengan lima respons yang sudah kamu simpan. Labeli satu per satu tanpa menghitung skor terlebih dahulu. Setelah klasifikasinya konsisten, barulah jumlahkan. Laporan yang baik memperlihatkan apa yang terjadi dan batas pengamatannya, sehingga tim tahu apakah perlu memperbaiki informasi, bukti, atau kecocokan produk.
