Laporan crawler yang rapi bisa berasal dari pengambilan data yang tidak lengkap. Contohnya, audit ingin memeriksa tautan kategori berbasis JavaScript, tetapi crawler hanya membaca HTML awal. Hasilnya tampak seperti kategori tidak memiliki tautan, padahal alat belum mengamati keadaan yang relevan.
Saya menentukan pertanyaan audit sebelum memilih pengaturan crawler. Tujuannya agar setiap kesimpulan memiliki batas yang jelas: halaman mana yang dijangkau, data apa yang diambil, dan keadaan apa yang belum diamati.
Pilih pertanyaan yang dapat dijawab
Bandingkan dua kebutuhan. “Apakah 80 URL setelah migrasi mengarah ke tujuan yang benar?” dapat diperiksa dari daftar URL tertentu. “Bagaimana crawler menemukan halaman produk melalui navigasi?” membutuhkan penelusuran hubungan tautan dari titik awal yang relevan.
Mode daftar URL berguna untuk sampel yang telah diketahui. Mode penelusuran situs membantu memeriksa jalur penemuan. Hasil kedua mode tersebut tidak boleh dianggap setara: daftar URL tidak membuktikan bahwa navigasi dapat menemukan seluruh URL itu.
Tuliskan hasil yang dibutuhkan, misalnya respons HTTP dan tujuan akhir, atau daftar tautan internal setelah render. Pengaturan lain mengikuti kebutuhan tersebut.
Batasi ruang yang boleh dijelajahi
Catat domain, subdomain, direktori, parameter, dan tipe URL yang termasuk. Untuk audit katalog publik, halaman akun dan URL yang menjalankan tindakan tidak otomatis menjadi bagian pekerjaan. Tentukan pula apakah gambar, PDF, dan sumber daya lain perlu diperiksa.
Contoh ilustratif: toko mempunyai 2.000 URL produk dan filter yang dapat menghasilkan banyak kombinasi. Audit pertama ingin memeriksa template produk. Kamu bisa mengambil sampel dari daftar katalog yang dapat dipercaya, lalu mengaudit kombinasi filter dalam pemeriksaan terpisah. Dengan begitu, jumlah URL filter tidak menutupi pertanyaan awal.
Simpan sumber daftar dan waktu ekspornya. Daftar lama yang sudah kehilangan produk baru memberi batas cakupan berbeda dari daftar katalog hari ini.
Sesuaikan render dengan bukti yang dibutuhkan
Jika isi atau tautan penting dibuat oleh JavaScript, periksa apakah data yang kamu butuhkan tersedia dalam HTML awal atau baru setelah render. Google juga menjelaskan perbedaan tahap crawling dan rendering untuk situs berbasis JavaScript. Dasar JavaScript SEO.
Lakukan percobaan pada beberapa halaman sebelum menjalankan seluruh ruang audit. Bandingkan judul, teks utama, tautan, canonical, serta URL akhirnya. Jika HTML awal sudah menjawab pertanyaan, tidak semua pemeriksaan harus memakai mode render yang lebih berat.
Perhatikan pengaturan penyimpanan dan ekstraksi. Pada Screaming Frog, HTML awal dan rendered HTML memiliki pengaturan tersendiri; data yang tidak diekstrak tidak akan muncul dalam laporan terkait. Dokumentasi konfigurasi SEO Spider.
Mulai dengan laju yang bisa diamati
Kecepatan maksimum alat bukan target audit. Pilih batas permintaan yang disepakati dengan pengelola situs, lalu amati respons server selama percobaan kecil. Jika error, waktu respons, atau beban meningkat, hentikan dan evaluasi sebelum memperluas pengambilan data.
Pengaturan jumlah thread dan laju URL memengaruhi beban crawl. Dokumentasi Screaming Frog memperingatkan bahwa konfigurasi laju yang tinggi dapat membebani server. Mengubah user-agent tidak membuat alat memperoleh identitas atau hak akses crawler resmi. Pengaturan kecepatan dan user-agent.
Jika audit terhalang pembatasan akses, catat batas tersebut dan koordinasikan akses yang sesuai. Kesimpulan yang tepat adalah “belum dapat diperiksa”, bukan “halamannya tidak ada”.
Simpan kartu konfigurasi
Kartu berikut cukup untuk membuat hasil dapat ditinjau kembali:
| Bagian | Isi yang dicatat |
|---|---|
| Pertanyaan | Misalnya tautan kategori setelah render |
| Ruang audit | Host, direktori, pengecualian, sumber URL |
| Pengambilan | Mode daftar atau penelusuran, HTML awal atau render |
| Kondisi | Perangkat, viewport, sesi, bahasa bila relevan |
| Batas | Laju, jumlah URL, waktu, dan alasan penghentian |
| Keluaran | Kolom ekspor serta data yang tidak diambil |
Sertakan versi alat atau format konfigurasi jika hasil akan dibandingkan pada masa depan. Perubahan pengaturan dapat menciptakan selisih laporan walaupun website tidak berubah.
Pisahkan selesai menjalankan dari lengkap menjangkau
Contoh ilustratifnya: crawler berhenti pada 5.000 URL karena batas yang kamu tetapkan. Status proses selesai tidak berarti seluruh website sudah diperiksa. Ringkasan perlu menyebut batas tersebut, jumlah URL yang diambil, error pengambilan, dan kelompok yang masih di luar cakupan.
Bandingkan hasil dengan sumber lain yang relevan, seperti daftar katalog atau sitemap, tanpa menganggap salah satunya otomatis lengkap. Selisih menjadi daftar pertanyaan untuk pemeriksaan lanjutan.
Terakhir, ulangi beberapa URL penting dengan pemeriksaan langsung. Pastikan kolom laporan benar-benar mewakili respons dan isi halaman yang ingin dinilai. Audit menjadi berguna ketika pembaca laporan dapat memahami sekaligus menggunakan batas datanya.
