Gunakan robots.txt ketika tujuanmu mengatur akses crawler. Gunakan noindex ketika halaman boleh dibaca crawler tetapi tidak ingin masuk hasil pencarian. Untuk informasi privat, gunakan kontrol akses seperti login. Ketiganya menyelesaikan masalah yang berbeda.

Kesalahan yang mudah terjadi adalah menambahkan noindex sekaligus memblokir URL melalui robots.txt, lalu menunggu halaman hilang dari Google. Crawler yang tidak boleh membuka URL tidak dapat membaca instruksi di dalamnya. Panduan Google tentang noindex.

Tentukan dulu apa yang ingin dibatasi

Bayangkan website pelatihan memiliki artikel publik, hasil pencarian internal, halaman terima kasih, dan laporan peserta. Semuanya berupa URL, tetapi perlakuannya tidak harus sama.

Jenis halaman Kebutuhan sebenarnya Pilihan awal untuk diperiksa
Artikel yang ingin ditemukan Bisa diakses, dibaca, dan dipertimbangkan untuk indeks Jangan blokir crawling atau indexing
Halaman terima kasih generik Dapat dibuka pengguna, tidak perlu hasil pencarian noindex dengan akses crawler tersedia
Kombinasi filter yang sangat banyak Mengurangi permintaan crawler yang tidak berguna Strategi kontrol crawl berdasarkan pola URL
Laporan peserta berisi data pribadi Hanya pengguna berhak yang boleh membuka Autentikasi dan otorisasi

Ini tabel keputusan, bukan konfigurasi yang bisa disalin ke semua situs. Misalnya, halaman terima kasih dengan informasi transaksi personal tetap membutuhkan kontrol akses. noindex tidak membuat data menjadi privat.

Google juga menegaskan robots.txt bukan mekanisme untuk memastikan halaman tidak masuk hasil pencarian. URL yang diblokir masih dapat dikenali melalui tautan dari tempat lain. Pengantar robots.txt.

Periksa tiga tempat sebelum mengubah aturan

Mulai dari file robots.txt pada host yang benar. example.com dan staging.example.com dapat memiliki konfigurasi berbeda. Catat URL yang diuji secara lengkap, termasuk parameter bila ada.

Kemudian periksa HTML respons halaman untuk tag robots. Contoh ilustratif untuk halaman publik yang tidak perlu diindeks:

<meta name="robots" content="noindex">

Terakhir, periksa response header. Aturan bisa datang dari server atau CDN melalui X-Robots-Tag, sehingga tidak tampak saat kamu hanya mencari tag pada source HTML. Untuk dokumen non-HTML seperti PDF, header ini juga dapat dipakai untuk mengatur indexing.

Kalau CMS menampilkan tombol “izinkan mesin pencari”, jangan berhenti pada posisi tombol. Periksa hasil HTML dan header yang benar-benar diterima pengunjung. Konfigurasi dashboard adalah input; respons halaman adalah output.

Periksa file PDF melalui respons file itu sendiri

Jika yang ingin dikeluarkan dari indeks adalah PDF, noindex pada halaman pengantarnya tidak otomatis mengatur URL PDF. Untuk file non-HTML, Google mendukung X-Robots-Tag pada respons file. Spesifikasi robots meta dan HTTP header.

Misalnya kamu memiliki brosur publik yang tetap boleh diunduh tetapi tidak ingin ditampilkan sebagai hasil pencarian tersendiri. Setelah aturan dibuat melalui konfigurasi server atau CDN yang sesuai, buka URL PDF langsung dan periksa response header pada panel Network. Hasil yang diharapkan memuat X-Robots-Tag: noindex.

Uji juga satu PDF kontrol yang tetap ingin diindeks. Jika keduanya terkena noindex padahal hanya brosur tertentu yang dipilih, aturan terlalu luas. Periksa respons sesudah cache, lalu pastikan crawling terhadap PDF sasaran tetap memungkinkan. Untuk dokumen privat, gunakan kontrol akses, bukan langkah ini.

Contoh ilustratif: halaman terima kasih tetap muncul

Misalnya /terima-kasih/ sudah terindeks. Pengelola menambah:

User-agent: *
Disallow: /terima-kasih/

Pada saat yang sama, template halaman memiliki noindex. Beberapa waktu kemudian URL masih terlihat di hasil pencarian.

Diagnosis yang berguna adalah memeriksa kapan Google terakhir mengambil halaman dan apakah pengambilan tersebut dibolehkan. Jika crawler diblokir sebelum membaca noindex, dua perubahan tadi bekerja saling menghalangi.

Urutan koreksi untuk halaman yang memang aman diakses publik:

  1. Pastikan tujuan permanennya adalah tidak diindeks, bukan merahasiakan data.
  2. Pastikan noindex hadir pada respons yang benar.
  3. Izinkan crawler mengakses URL agar instruksi dapat dibaca.
  4. Uji kembali halaman dan aturan akses.
  5. Amati status indeks setelah crawler memproses perubahan.

Kalau ternyata halaman memuat data sensitif, perbaiki kontrol akses terlebih dahulu. Jangan membuka data kepada crawler demi mengatasi tampilan pencarian.

Buat daftar uji sebelum menyentuh pola luas

Aturan yang terlihat sederhana bisa mengenai banyak URL. Sebelum mengubah pola, siapkan contoh yang harus diblokir dan yang harus tetap terbuka.

URL uji Hasil yang diharapkan Alasan
/pencarian/?q=kuas Tidak perlu crawling rutin Hasil pencarian internal
/artikel/cara-memilih-kuas/ Tetap terbuka Artikel publik
/produk/kuas/?warna=biru Putuskan menurut desain varian Parameter mungkin memiliki fungsi
/assets/produk.js Dapat diakses jika diperlukan rendering Resource halaman

Jangan memblokir semua URL berparameter hanya karena satu parameter menimbulkan duplikasi. Parameter bahasa, varian, atau pagination bisa diperlukan untuk menemukan informasi.

Kenali hasil yang belum selesai

Live test yang sudah membaca noindex menunjukkan konfigurasi saat pengujian. Itu berbeda dari bukti bahwa URL telah keluar dari indeks. Catat dua status: perubahan teknis terverifikasi dan pemrosesan indeks masih diamati.

Jika halaman yang seharusnya tampil justru mengandung noindex, cari sumber aturan: template, plugin, header server, atau konfigurasi lingkungan. Menghapus satu tag tanpa menemukan sumbernya membuat masalah berpotensi kembali saat build berikutnya.

Tindakan pertama yang bisa kamu lakukan adalah mengelompokkan sepuluh URL penting berdasarkan tujuan akses dan indexing. Setelah tujuannya jelas, barulah pilih aturan. Dengan begitu, robots.txt dan noindex digunakan untuk keputusan yang memang kamu inginkan.