Eksperimen GEO yang dapat dipelajari dimulai dengan satu hipotesis, satu perubahan yang jelas, dan cara pengamatan yang ditetapkan sebelum hasil keluar. Jika kamu mengubah konten, identitas brand, distribusi, dan teknis sekaligus, kenaikan citation setelahnya tidak memberi tahu bagian mana yang berperan.

Untuk website kecil, tujuan percobaan pertama sebaiknya sempit. Contohnya: apakah penjelasan wilayah layanan yang lebih spesifik diikuti oleh lebih sedikit jawaban AI yang salah mengenai cakupan bisnis? Tujuan ini lebih dapat diperiksa daripada “meningkatkan authority AI”.

Tulis hipotesis yang dapat gagal

Contoh ilustratif:

Setelah halaman layanan menjelaskan kota yang dilayani dan pengecualian wilayah, proporsi klaim cakupan yang benar pada panel identitas akan lebih tinggi dibanding baseline, tanpa menambah klaim layanan yang tidak tersedia.

Hipotesis itu memiliki perubahan, objek, dan hasil. Ia dapat gagal jika jawaban tidak berubah atau justru menjadi kurang akurat. Kegagalan tetap memberi informasi jika metode pengamatannya konsisten.

Sebelum memulai, pastikan masalah faktualnya nyata. Informasi yang memang salah perlu dikoreksi terlepas dari eksperimen. Jangan sengaja membiarkan informasi berbahaya atau menyesatkan pada kelompok pembanding hanya demi desain pengujian.

Siapkan kartu eksperimen

Bagian Isian yang diperlukan
Pertanyaan Apa yang ingin diketahui?
Halaman treatment URL yang menerima perubahan
Perubahan Kalimat, bukti, atau struktur yang diubah
Pembanding Halaman atau cohort yang masuk akal untuk dibandingkan
Baseline Pengamatan sebelum perubahan dengan panel tetap
Metrik utama Misalnya klaim akurat, bukan semua metrik sekaligus
Guardrail Informasi tetap benar, akses tidak rusak, kebutuhan pembaca terjaga
Jadwal Waktu pengamatan yang disepakati sesuai kapasitas
Keputusan Kondisi lanjut, revisi, atau berhenti

Catat tanggal perubahan dan versi halaman. Simpan juga perubahan lain yang terjadi selama pengamatan: peluncuran layanan, liputan media, perubahan mode aplikasi, atau pembaruan besar situs. Faktor tersebut dapat menjelaskan hasil selain treatment.

Gunakan pembanding dengan hati-hati

Misalnya, treatment adalah informasi wilayah pada layanan reparasi printer. Pembanding mungkin cohort pertanyaan untuk layanan sejenis yang informasinya sudah benar dan tidak diubah. Pembanding yang sangat berbeda, seperti toko pakaian nasional, tidak banyak membantu menjelaskan perubahan lokal.

Pengamatan sebelum-sesudah pada treatment saja masih berguna, tetapi beri label yang tepat. Jika ada pembanding sebanding, kamu dapat melihat apakah perubahan treatment melampaui perubahan umum yang juga muncul pada pembanding.

Berikut simulasi sederhana:

Kelompok Sebelum Sesudah Perubahan
Treatment 4/10 klaim benar 7/10 +30 poin persentase
Pembanding 5/10 6/10 +10 poin persentase

Selisih perubahan adalah 30 dikurangi 10, yaitu 20 poin persentase. Perhitungan ini sering disebut difference-in-differences. Namun, angka tersebut belum membuktikan treatment menyebabkan seluruh selisih. Sampel kecil, kelompok yang tidak sebanding, dan tren awal yang berbeda tetap dapat mengganggu kesimpulan.

Jika tidak mempunyai baseline yang cukup untuk menilai kesebandingan, tulis keterbatasannya. Rumus tidak dapat menggantikan rancangan penelitian.

Pertahankan cara mengamati

Gunakan prompt persis, cohort, bahasa, surface, dan mode yang sama sejauh dapat diketahui. Simpan respons asli dan status error. Jangan mengulang prompt sampai mendapatkan jawaban yang diinginkan lalu membuang hasil lainnya.

Tidak ada waktu tunggu universal yang menjamin perubahan konten akan tercermin pada semua sistem AI. Pilih jadwal yang realistis untuk mengamati perkembangan, lalu catat bahwa respons dan sumber dapat berubah. Google sendiri menjelaskan variasi respons pada AI features-nya. Dokumentasi AI features Google.

Jika panel atau mode berubah, tandai versi baru dan hindari perbandingan langsung tanpa penjelasan. Lebih baik mempunyai dua seri yang jujur daripada satu grafik mulus yang menggabungkan pengukuran berbeda.

Putuskan berdasarkan informasi yang didapat

Lanjutkan jika perubahan membantu pembaca, hasil pengamatan berulang mendukung arah hipotesis, dan tidak ada masalah baru. Revisi jika informasi menjadi lebih jelas tetapi pertanyaan yang diuji ternyata tidak cocok. Hentikan jika perubahan tidak membantu tugas pembaca atau biaya pengamatan melebihi manfaat keputusan.

Ketiadaan citation setelah percobaan tidak otomatis berarti konten buruk. Sebaliknya, citation sesaat tidak membuktikan semua pengguna lebih terbantu. Pisahkan mutu halaman, visibilitas pada panel, dan hasil bisnis yang memang dapat diukur.

Pekerjaan pertama adalah menulis satu hipotesis yang cukup spesifik untuk dinilai salah. Setelah itu, pilih perubahan terkecil yang dapat menjawabnya. Dengan batas tersebut, eksperimen menghasilkan pelajaran yang dapat digunakan, termasuk ketika hasilnya tidak naik.