Permintaan “blokir bot AI” belum cukup jelas untuk diterjemahkan menjadi konfigurasi website. Pemilik situs bisa ingin tetap ditemukan di pencarian, membatasi penggunaan untuk pelatihan model, dan menjaga halaman anggota tetap privat. Ketiganya memerlukan keputusan yang berbeda.
Saya mulai dari tujuan penggunaan konten, lalu mencocokkannya dengan kontrol produk yang tersedia. Nama bot saja tidak menjelaskan seluruh konsekuensi. Aturan yang terlihat sederhana bisa bertentangan dengan tujuan website jika semua layanan dianggap sama.
Pisahkan tujuan sebelum menulis aturan
Buat matriks keputusan untuk setiap kelompok konten. Misalnya, situs ilustratif memiliki panduan publik, halaman produk, dan area pelanggan. Panduan boleh ditemukan melalui pencarian. Kebijakan pelatihan model perlu keputusan tersendiri. Area pelanggan membutuhkan pembatasan akses yang nyata.
Gunakan format berikut sebelum developer menyentuh konfigurasi:
| Kelompok konten | Tujuan pencarian | Kebijakan penggunaan lain | Bukti yang perlu diperiksa |
|---|---|---|---|
| Panduan publik | Boleh ditemukan | Pelatihan dibatasi sesuai keputusan pemilik | Kontrol bot dan respons halaman |
| Produk publik | Boleh ditemukan | Ditinjau per penyedia | Aturan CDN dan robots.txt |
| Area pelanggan | Akses terbatas | Tetap privat | Autentikasi dan otorisasi |
Kolom terakhir mencegah dua kesalahan: menganggap robots.txt sebagai pengaman data dan menganggap izin crawl sebagai jaminan akan direkomendasikan.
Kenali tiga tujuan pada OpenAI
OAI-SearchBot digunakan untuk fitur pencarian ChatGPT. Situs yang memilih keluar tidak ditampilkan dalam jawaban pencariannya, walau masih dapat muncul sebagai tautan navigasi. GPTBot melakukan crawl terhadap konten yang mungkin digunakan untuk pelatihan model. Pengaturan kedua bot tersebut independen.
ChatGPT-User terkait tindakan yang dimulai pengguna. Ia bukan crawler otomatis, aturan robots.txt mungkin tidak berlaku pada tindakan tersebut, dan ia tidak menentukan apakah konten dapat muncul di Search. Gunakan kontrol OAI-SearchBot untuk pilihan terkait pencarian otomatis. Dokumentasi crawler OpenAI.
Implikasi praktisnya: catatan keputusan jangan hanya berbunyi “OpenAI diizinkan”. Tuliskan tujuan yang diizinkan, tujuan yang dibatasi, URL yang termasuk, serta pihak yang menyetujui kebijakan. Tim berikutnya harus dapat memahami maksud konfigurasi tanpa menebak dari nama layanan.
Pahami batas Google-Extended
Google-Extended adalah token kontrol produk. Ia mengatur penggunaan konten untuk pelatihan generasi model Gemini berikutnya dan grounding pada produk Gemini serta layanan Vertex AI yang dijelaskan Google. Token ini tidak memiliki user-agent HTTP tersendiri.
Google menegaskan bahwa Google-Extended tidak memengaruhi penyertaan situs di Google Search dan bukan sinyal peringkat Google Search. Karena itu, jangan memperlakukannya sebagai tombol untuk mematikan seluruh fungsi pencarian Google yang memakai AI. Daftar crawler dan kontrol produk Google.
Saat membaca log, ketiadaan string Google-Extended juga tidak membuktikan kebijakan gagal. Yang sedang kamu cari memang bukan identitas permintaan HTTP terpisah. Cocokkan cara verifikasi dengan jenis kontrolnya.
Buat perubahan kecil yang bisa ditinjau
Contoh potongan berikut menggambarkan keputusan membatasi GPTBot dan Google-Extended. Ini bukan pengganti seluruh robots.txt dan bukan rekomendasi kebijakan untuk semua website.
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
Jika tujuan lain adalah mengizinkan pencarian, periksa aturan yang efektif untuk crawler pencarian tersebut pada file lengkap. Jangan menyimpulkan “diizinkan” hanya karena namanya tidak muncul dalam potongan contoh. Aturan umum, kelompok spesifik, host aset, dan pengaturan firewall perlu diperiksa bersama.
Simpan sebelum dan sesudah konfigurasi. Jelaskan setiap baris yang berubah. Hindari menambahkan daftar panjang bot dari artikel lama tanpa mengetahui produk yang dikontrol dan apakah dokumentasinya masih berlaku.
Verifikasi tiga lapisan secara terpisah
Pertama, ambil robots.txt dari host publik yang sebenarnya dan pastikan isinya sesuai perubahan. Kedua, periksa apakah halaman publik yang seharusnya terbuka tetap mengembalikan konten yang benar. Ketiga, periksa CDN atau firewall jika permintaan yang diinginkan justru ditolak.
Nama user-agent saja dapat dipalsukan. Gunakan mekanisme verifikasi penyedia sebelum membuat pengecualian akses. OpenAI menerbitkan daftar alamat IP pada dokumentasi botnya; Google juga memperingatkan agar identitas crawler tidak dipercaya hanya dari string user-agent. OpenAI Crawlers, Google common crawlers.
Untuk area privat, uji bahwa pengguna tanpa izin benar-benar tidak dapat mengambil konten. Robots.txt bukan pengganti autentikasi. Dokumentasi Google menjelaskan bahwa aturan robots mengatur crawling dan bukan mekanisme untuk merahasiakan informasi. Pengantar robots.txt.
Catat hasil sesuai bukti
Laporan perubahan yang berguna berbunyi: aturan tertentu sudah terpasang, sampel halaman publik masih dapat dibuka, dan akses privat tetap memerlukan izin. Jika belum ada permintaan bot yang dapat diverifikasi, tulis bahwa pengamatan log belum tersedia.
Jangan mengubah hasil tersebut menjadi klaim bahwa semua penggunaan konten sudah berhenti atau semua layanan AI akan menampilkan situs. Simpan URL dokumentasi dan tanggal pengecekan bersama keputusan. Ketika penyedia mengubah produk atau kontrolnya, tim punya dasar jelas untuk meninjau bagian yang terdampak.
