Log server menunjukkan request yang mencapai infrastruktur website, termasuk URL, waktu, status respons, dan identitas yang dinyatakan pengirim. Namun, tulisan “Googlebot” pada user-agent belum membuktikan request berasal dari Google. Verifikasi identitas sebelum memakai log sebagai dasar keputusan crawl.
Panduan ini untuk pengelola yang sudah memiliki akses log yang sah. Tujuannya menyusun laporan permintaan yang dapat dipertanggungjawabkan, bukan menebak ranking atau jumlah pengguna dari aktivitas bot.
Kenali lapisan log yang tersedia
Log CDN dan origin dapat berbeda. Request yang dilayani cache CDN mungkin tidak diteruskan ke origin. Jika hanya membaca origin, kamu bisa salah menyimpulkan crawler tidak pernah mengakses halaman.
Catat host, rentang waktu, timezone, sampling, retensi, dan field yang tersedia. Jika log hanya menyimpan sebagian request, nyatakan laporan sebagai sampel. Jangan mengalikan persentase tanpa memahami cara sampling.
Untuk analisis bersama tim, gunakan data minimum yang diperlukan. Jangan membagikan cookie, token, atau parameter privat yang kebetulan tercatat pada URL.
Pisahkan identitas yang diklaim dari yang diverifikasi
Google menyediakan verifikasi melalui reverse DNS yang diikuti forward DNS, atau pencocokan IP dengan rentang resmi menurut jenis crawler/fetcher. Pemeriksaan maju harus kembali ke IP asal. Panduan verifikasi request Google.
Jangan hanya mencari kata google dalam hostname. Catat kategori dan metode verifikasi. Request dari produk Google berbeda tidak otomatis mempunyai fungsi yang sama dengan Googlebot Search.
| Status identitas | Makna |
|---|---|
| Terverifikasi untuk kategori tertentu | Metode resmi mendukung identitas kategori itu |
| Mengaku Googlebot | User-agent cocok, verifikasi belum dilakukan |
| Tidak cocok | Bukti tidak mendukung identitas yang diklaim |
| Belum dapat ditentukan | Field atau pemeriksaan tidak memadai |
Kegagalan lookup sesaat bukan alasan mengubah semua request menjadi bot palsu. Simpan hasil dan keterbatasannya secara eksplisit.
Bangun tabel yang menjaga respons gagal
Contoh ilustratif setelah verifikasi:
| Kelompok URL | Status | Request | Interpretasi awal |
|---|---|---|---|
| Produk | 200 | 120 | Respons berhasil, isi masih perlu diperiksa |
| Produk | 503 | 18 | Ada kegagalan ketersediaan |
| Filter | 200 | 600 | Periksa fungsi dan variasi pola |
| URL lama | 301 | 70 | Periksa tujuan serta sumber link |
Jangan membuang 18 respons gagal sebelum menghitung. Kelompok itu mungkin menjelaskan mengapa informasi produk tidak berhasil diambil.
Jumlah request berbeda dari jumlah URL unik. Satu URL yang diambil 100 kali tetap satu URL. Laporkan kedua ukuran bila keduanya menjawab pertanyaan. Pertahankan pula satuan waktu agar lonjakan per jam tidak tercampur dengan total mingguan.
Contoh pertanyaan: apakah rilis menyebabkan error crawler?
Tandai waktu rilis, lalu bandingkan status request pada template terdampak dan template pembanding. Perhatikan apakah error mulai pada waktu yang sama dan hanya host atau route tertentu yang terkena.
Jika error terjadi pada seluruh trafik, persoalannya mungkin lebih luas daripada crawler. Jika hanya kategori request tertentu gagal, periksa aturan akses atau endpoint. Jangan langsung menyalahkan robots.txt bila server sebenarnya mengembalikan error aplikasi.
Laporan yang berguna menyebut contoh URL, waktu, respons, cakupan, dan hipotesis. “Bot tidak suka website” tidak memberi developer bahan tindakan.
Setelah perubahan, ulangi pengamatan pada host dan periode sebanding. Jika error hilang dari origin tetapi muncul di CDN, jangan menutup tiket berdasarkan satu lapisan saja. Cocokkan jalur request yang benar-benar digunakan.
Bandingkan sumber tanpa memaksa angka sama
Bandingkan pola dengan Crawl Stats bila tersedia. Laporan tersebut mempunyai cakupan dan cara penghitungan sendiri, termasuk request pada redirect dan resource. Selisih dengan log dapat terjadi. Dokumentasi Crawl Stats.
Untuk status indeks satu URL, gunakan bukti indeks. Untuk pengguna sesudah klik, gunakan analytics. Untuk order, gunakan sistem transaksi. Log bot tidak menggantikan ketiga sumber tersebut.
Request berhasil juga tidak membuktikan halaman dikutip pada jawaban AI, dibaca manusia, atau menghasilkan transaksi. Fungsi pengambilan, cache, dan pemrosesan berikutnya berada di luar satu baris log.
Mulailah dengan satu pertanyaan dan satu periode. Verifikasi identitas, pertahankan error, kelompokkan URL, lalu tulis tindakan berdasarkan pola yang terlihat. Kamu akan memperoleh laporan teknis yang lebih berguna daripada dashboard hit bot yang besar tetapi tidak menjelaskan masalah apa pun.
