Haruskah Block Bot AI: Perlu atau Tidak? Ini Dampak dan Caranya

Anda tidak perlu memblokir semua bot AI secara paksa. Bagi kebanyakan website, Anda lebih tepat memilah keputusan block bot AI berdasarkan jenisnya: biarkan bot Search karena berpotensi mendatangkan citation dan referral, evaluasi Agent sesuai model bisnis, lalu blokir Training bila model AI itu memakai kontennya tanpa timbal balik yang jelas. Caranya bisa lewat baris perintah di robots.txt untuk skala dasar, atau AI Crawl Control di Cloudflare untuk enforcement lebih tegas.

Kekhawatiran ini muncul karena GPTBot, ClaudeBot, dan puluhan crawler AI lain kini rutin mendatangi hampir semua jenis website. Sebagian pemilik situs panik lalu menutup akses semua bot lewat satu baris Disallow di robots.txt — reaksi yang berisiko, sebab langkah itu ikut block crawler AI kategori Search yang justru berpotensi mendatangkan trafik dan sitasi dari ChatGPT Search maupun Perplexity.

Cloudflare kini mengelompokkan trafik AI sebagai Search, Agent, dan Training, bukan satu kelompok yang sama. Pertanyaannya bukan apakah Anda harus block semua bot AI, melainkan bot mana yang memberi nilai bagi website Anda, dan bot mana yang cuma mengambil konten.

Apa Itu Bot AI dan Kenapa Mengunjungi Website Anda

Setiap kali server Anda menerima request dari user agent yang mengenalkan diri sebagai GPTBot, ClaudeBot, atau PerplexityBot, artinya sebuah bot AI baru saja singgah. Bot ini mengunjungi halaman, mengambil isi HTML, lalu membawanya pergi.

Bedanya dengan crawler mesin pencari klasik seperti Googlebot ada di tujuan akhirnya. Sebagian bot AI datang untuk indexing agar bisa menjawab pencarian pengguna. Sebagian lain datang atas perintah pengguna saat itu juga. Sisanya datang untuk mengumpulkan data training model bahasa. Crawler AI tidak semuanya datang untuk training — perbedaan tujuan inilah yang menentukan apakah bot AI tersebut layak Anda block atau biarkan.

Cloudflare, sebagai penyedia layanan proteksi website terbesar, sekarang mengelompokkan trafik AI ke tiga kategori resmi: Search, Agent, dan Training. Ketiganya punya konsekuensi berbeda bagi pemilik website, jadi menyamaratakan semua bot AI sebagai ancaman atau berkah sama-sama keliru.

Kenali Tiga Jenis Bot AI: Search, Agent, dan Training

Jangan menyamakan semua bot AI cuma karena namanya berasal dari perusahaan yang sama. Cloudflare membagi trafik AI ke tiga kategori berikut, dan pembagian ini jadi dasar paling praktis untuk menentukan strategi block bot AI di website Anda.

Ketiga kategori ini punya nilai ekonomi berbeda bagi pemilik website. Bot Search berpotensi mendatangkan trafik balik, sedangkan Agent bekerja atas nama pengguna yang sedang aktif memakai asisten AI. Training murni mengambil konten, tanpa jaminan timbal balik apa pun.

Bot AI Search yang Berpotensi Memberi Referral

OpenAI menyatakan publisher yang ingin kontennya muncul di ringkasan ChatGPT Search perlu membiarkan OAI-SearchBot tetap allow. Referral dari ChatGPT juga bisa membawa parameter utm_source=chatgpt.com ke Google Analytics Anda, jadi Anda mudah melacaknya. (OpenAI Help Center)

Perplexity menjelaskan hal serupa: mereka memakai PerplexityBot untuk search dan indexing, bukan untuk pre-training foundation model mereka. (Perplexity) Bagi blog atau media lokal yang mengandalkan trafik pencarian, memblokir bot kategori ini nyaris tidak masuk akal, kecuali Anda memang tidak ingin muncul di layanan AI Search sama sekali.

Bot AI Training: GPTBot, ClaudeBot, dan Google-Extended

OpenAI merekomendasikan Anda block bot AI seperti GPTBot pada halaman yang tidak ingin Anda masukkan ke kemungkinan data training. (OpenAI Help Center) Sedangkan Anthropic menjelaskan ClaudeBot mengambil konten web yang berpotensi berkontribusi pada training model mereka. (Anthropic Help Center)

Satu hal yang sering bikin webmaster keliru: Google-Extended bukan crawler HTTP tersendiri. Token ini cuma kontrol di robots.txt yang memberi Anda kendali atas penggunaan konten untuk training Gemini generasi berikutnya, Gemini Apps, Vertex AI Gemini, dan sebagian fungsi grounding. Google menyatakan sendiri bahwa penggunaan token ini tidak memengaruhi inclusion maupun ranking di Google Search. (Google for Developers)

Memblokir Google-Extended Tidak Sama dengan Memblokir AI Overviews

Bagian ini krusial bagi pembaca yang khawatir soal SEO. Googlebot merayapi website Anda untuk Google Search, termasuk fitur AI di dalamnya seperti AI Overviews, sedangkan Google-Extended berjalan di jalur berbeda — kontrol penggunaan konten untuk Gemini dan training model, bukan untuk Search itu sendiri.

Google menjelaskan bahwa kontrol terhadap fitur AI di Google Search tetap berkaitan dengan akses Googlebot dan preview control seperti nosnippet, max-snippet, data-nosnippet, serta noindex — bukan Google-Extended. (Google for Developers)

Jangan memblokir Googlebot cuma karena ingin memblokir training AI. Langkah itu bisa membuat Googlebot gagal merayapi halaman Anda dengan benar untuk Google Search. (Google for Developers)

Ciri Bot AI yang Baik dan Bot AI yang Merugikan

Namun, menilai bot AI dari nama perusahaannya saja gampang keliru. Menurut kami, cara yang lebih adil adalah menilai dari perilakunya di server Anda.

Ciri bot AI yang cenderung aman:

• Identitas user-agent jelas dan bisa Anda verifikasi.
• Menghormati aturan robots.txt Anda.
• Crawl rate wajar, tidak membanjiri server.
• Berpotensi menghasilkan citation atau referral balik.
• Menyediakan cara opt-out yang jelas.

Ciri bot AI yang patut Anda curigai:

• Menyembunyikan atau memalsukan identitas user-agent.
• Mengabaikan robots.txt begitu saja.
• Scraping agresif sampai menghabiskan resource server.
• Mengambil konten tanpa atribusi apa pun.
• Berusaha menghindari WAF atau sistem bot protection.

“Baik” atau “buruk” lebih tepat Anda nilai dari perilaku dan pertukaran nilai yang ditawarkan crawler itu, bukan cuma karena bot AI itu milik perusahaan tertentu.

Alasan Publisher Memilih Memblokir Bot Training AI

Ada beberapa alasan konkret kenapa cukup banyak publisher, termasuk media online dan blogger AdSense di Indonesia, mengarah ke keputusan block bot AI kategori training.

1. Tidak menghasilkan page view. Crawler membaca konten tanpa impression iklan, klik affiliate, atau conversion apa pun.
2. Konten punya biaya produksi nyata. Penulis, editor, riset, foto, server, sampai biaya SEO — semuanya keluar uang sebelum satu request crawler pun datang.
3. Referral tidak sebanding dengan volume crawling. Pengguna AI kerap puas dengan jawaban ringkas tanpa pernah membuka situs sumber — bot mengambil banyak konten, tapi jarang membalas dengan trafik nyata.
4. Bandwidth dan beban server ikut terpakai. Crawling besar bisa menaikkan PHP worker, bandwidth, dan cache miss, meski tidak semua AI crawler menyebabkan overload.
5. Melindungi konten proprietary. Berlaku terutama untuk dataset, riset, tutorial premium, atau katalog produk unik yang tidak ingin Anda bagikan gratis ke model AI pihak ketiga.

Cloudflare menyebut pola crawler request tanpa kunjungan manusia ini sebagai salah satu pendorong kebijakan kontrol crawler bagi publisher. (Cloudflare Blog)

Risiko jika Semua Bot AI Diblokir

Menutup akses atau block semua bot AI sekaligus juga punya konsekuensi yang perlu Anda pahami.

• Kehilangan discovery di AI Search. Memblokir OAI-SearchBot berarti ChatGPT Search kemungkinan tidak lagi meringkas konten Anda — pola serupa berlaku untuk crawler Search milik Anthropic. (Anthropic Help Center)
• Kehilangan referral AI. Anda kehilangan potensi citation, source link, dan brand discovery dari pengguna layanan AI.
• Agent AI tidak bisa membantu pengguna Anda sendiri. Ketika seseorang meminta asisten AI mencari info produk dari website Anda, bot Agent yang terblokir membuat permintaan itu gagal.
• Dokumentasi jadi kurang berguna bagi AI. Untuk situs API documentation atau knowledge base, mengizinkan crawler tertentu justru menaikkan usefulness. Cloudflare menyebut dokumentasi termasuk jenis konten yang wajar tetap terbuka untuk AI crawler. (Cloudflare Docs)

Trade-off yang jarang diakui: block total bot AI kelihatannya paling aman, tapi paling mahal peluangnya. Anda menutup pintu untuk kategori bot yang sebetulnya bisa menguntungkan.

Jadi, Bot AI Mana yang Perlu Diblokir untuk Website Anda?

Semua bergantung pada model bisnis website Anda. Tabel berikut kerangka keputusan, bukan aturan universal untuk semua kasus.

Pemilik jasa website company profile bisa lebih longgar dibanding publisher AdSense, sebab tujuan utama situs jenis ini supaya orang menemukannya, bukan mengejar monetisasi lewat page view. Toko online punya pertimbangan serupa: makin banyak AI Search yang bisa merujuk produk Anda, makin besar potensi trafik pencarian baru yang datang.

Strategi Paling Rasional: Block Bot AI Training, Allow Search

Untuk kebanyakan publisher, strategi yang lebih rasional bukan block seluruh bot AI, melainkan memisahkan berdasarkan fungsinya: pertahankan bot Search yang berpotensi memberi discovery dan referral, evaluasi Agent seperlunya, lalu blokir Training yang tidak memberi nilai sepadan.

Cara ini jauh lebih masuk akal dibanding pendekatan ekstrem berikut:

User-agent: *
Disallow: /

Baris di atas block semua bot AI tanpa pengecualian, termasuk bot Search yang sebenarnya bisa menguntungkan Anda. Menurut kami, ini kesalahan yang paling sering pemilik website lakukan saat panik soal AI training tanpa memeriksa detail crawler satu per satu.

Tim CodeF biasa menyarankan klien company profile atau toko online untuk memisahkan kategori crawler ini sejak awal setup situs, bukan menunggu masalah scraping muncul dulu.

Cara Block Bot AI Training lewat robots.txt

Tutorial dasar ini berlaku untuk hampir semua platform, termasuk WordPress. Buka atau buat file robots.txt di root domain Anda, lalu tambahkan baris perintah berikut.

Blokir bot Training utama:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Setelah itu, izinkan bot Search agar Anda tidak kehilangan potensi citation:

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Sesuaikan daftar ini dengan crawler yang benar-benar relevan buat website Anda. Cara block bot AI paling efektif justru berawal dari memeriksa log akses, bukan menyalin daftar generik dari artikel mana pun, termasuk artikel ini.

robots.txt Bukan Firewall

robots.txt itu aturan tertulis, bukan mekanisme keamanan. Cloudflare menjelaskan dengan tegas bahwa kepatuhan terhadap robots.txt bersifat sukarela — file itu sendiri tidak menghalangi bot mengirim request ke server Anda. (Cloudflare Docs)

Bot yang jujur akan berhenti begitu membaca Disallow. Bot nakal atau scraper yang menyamar sebagai browser biasa bisa saja mengabaikannya sepenuhnya. Untuk enforcement yang sungguhan, Anda butuh lapisan tambahan seperti WAF atau AI Crawl Control yang benar-benar menolak request di level jaringan, bukan cuma meminta baik-baik. Panduan lengkapnya ada di panduan konfigurasi Cloudflare WAF.

Cara Block Bot AI Secara Paksa dengan Cloudflare AI Crawl Control

Fitur AI Crawl Control tersedia di semua paket Cloudflare, termasuk Free. (Cloudflare Docs) Berikut langkah dasarnya.

Buka Menu AI Crawl Control di Dashboard Cloudflare

Masuk ke dashboard Cloudflare, pilih domain Anda, lalu buka menu AI Crawl Control di sidebar.

Periksa Crawler yang Benar-Benar Mengakses Website Anda

Selanjutnya, buka submenu Crawlers untuk melihat data nyata: nama crawler, operator, jumlah request, path yang crawler akses, dan status allow/block. Cloudflare menyediakan toggle individual untuk tiap crawler. (Cloudflare Docs) Dari sini Anda bisa langsung menentukan mana yang layak Anda allow dan mana yang harus Anda block, berdasarkan data traffic asli, bukan tebakan.

Kebijakan Terbaru Cloudflare: Default Block Bot AI Training

Bagian ini krusial sebab kebijakan Cloudflare terus berubah. Berikut linimasa yang perlu Anda ketahui per 5 September 2026.

1 Juli 2025 — Cloudflare mengumumkan bahwa domain baru di Cloudflare memblokir AI training crawler secara default, kecuali pemilik situs mengaktifkan opsi allow secara manual. Cloudflare menegaskan kembali kebijakan ini dalam laporan satu tahun setelah peluncurannya. (Cloudflare Blog)

15 September 2026 — Per tanggal kami menulis artikel ini, perubahan berikut belum berlaku. Cloudflare berencana membuat default baru yang lebih granular untuk domain baru: Search tetap allow, sementara Agent dan Training akan block khusus pada halaman yang memuat iklan. Crawler multi-purpose yang sekaligus dipakai untuk Search dan Training juga ikut terkena kebijakan Training bila pemilik domain memilih blocking Training. (Cloudflare Blog)

Cloudflare juga memperkenalkan pengaturan Content Signal di robots.txt, misalnya Content-Signal: search=yes,ai-train=no,use=reference — cara pemilik website menyatakan preferensi lebih rinci: Anda mengizinkan search dan indexing, tapi tidak mengizinkan training, sementara referensi atau excerpt tetap boleh. Sekali lagi, ini penyampaian preferensi, bukan enforcement fisik.

robots.txt vs WAF vs AI Crawl Control

Supaya lebih jelas, berikut perbandingan tiga pendekatan yang sering tertukar satu sama lain.

Cloudflare menyatakan AI Crawl Control memakai WAF custom rules untuk benar-benar menegakkan blocking crawler, bukan cuma aturan robots.txt. (Cloudflare Docs)

Bagaimana Jika Bot AI Mengabaikan robots.txt?

Ternyata, kasus ini nyata, bukan skenario rekaan. Cloudflare pada Agustus 2025 melaporkan menemukan crawler milik Perplexity memakai teknik crawling tidak terdeklarasi guna melewati larangan yang sudah publisher pasang. (Cloudflare Blog)

Perkembangan terbarunya cukup adil untuk disebut: Perplexity pada 2026 menyatakan PerplexityBot sekarang mengikuti robots.txt. Dulu, pengguna bisa memakai mekanisme lama untuk meminta fetch URL yang terblokir, tapi Perplexity sudah menonaktifkannya. (Perplexity Help Center)

Kasus ini menunjukkan kenapa robots.txt sendirian tidak identik dengan enforcement teknis, dan kenapa Anda masih membutuhkan AI Crawl Control atau WAF sebagai lapisan cadangan.

Apakah Block Bot AI Berpengaruh ke SEO Google?

Pertanyaan ini butuh jawaban terpisah untuk tiga hal berbeda.

Block bot AI seperti GPTBot tidak sama dengan memblokir Googlebot — keduanya crawler milik perusahaan berlainan, dengan tujuan yang juga tidak sama.

Google menyatakan bahwa memblokir Google-Extended tidak memengaruhi inclusion maupun ranking di Google Search. (Google for Developers)

Memblokir Googlebot jelas berbeda dan bisa mengganggu crawling maupun indexing di Google Search. (Google for Developers) Kesalahan ini juga bisa mempercepat gejala posisi website turun naik di Google, sebab crawler utama Anda kehilangan akses ke halaman yang seharusnya terindeks.

Jangan menulis User-agent: Googlebot dengan Disallow: / cuma untuk mencegah AI training. Anda akan kehilangan traffic Google Search yang jauh lebih besar nilainya.

Checklist Menentukan Bot AI Mana yang Layak Diblokir

Sebelum block bot AI dengan menambah baris Disallow apa pun, jawab lima pertanyaan ini untuk diri Anda sendiri.

1. Apakah operator memakai bot ini untuk training model? Jika ya, bot ini kandidat kuat untuk Anda block.
2. Apakah bot ini memberi citation atau referral balik? Jika ya, pertimbangkan mengizinkannya.
3. Apakah bot ini menghormati robots.txt Anda? Jika tidak, andalkan enforcement lewat WAF atau AI Crawl Control.
4. Apakah request bot ini membebani server, menurut analytics Cloudflare, access log, atau cache miss rate?
5. Apakah pendapatan website Anda bergantung pada page view manusia lewat iklan? Jika ya, crawler tanpa kunjungan manusia punya nilai ekonomi berbeda bagi Anda.

Cara Memeriksa Hasil Setelah Block Bot AI

Setelah Anda memasang aturan robots.txt, jangan berhenti di situ.

1. Buka https://domain-anda.com/robots.txt, lalu periksa apakah baris perintahnya sudah tampil benar.
2. Masuk ke Cloudflare AI Crawl Control lalu Crawlers, kemudian periksa allowed requests dan unsuccessful requests per crawler.
3. Cek Security Events bila Anda memakai WAF, untuk melihat request apa saja yang WAF tolak sungguhan.
4. Bandingkan referral dari chatgpt.com, perplexity.ai, dan claude.ai sebelum dan sesudah perubahan lewat Google Analytics.

Jangan cuma menghitung jumlah crawling yang berhasil Anda hentikan. Bandingkan juga dengan referral dan konversi — angka blokir yang tinggi tidak otomatis berarti keputusan Anda menguntungkan secara bisnis.

Kesalahan Umum Saat Block Bot AI

Berikut kesalahan yang paling sering kami temui saat pemilik website mulai mengatur kebijakan block bot AI.

• Menulis User-agent: * Disallow: / tanpa memahami bahwa baris itu memblokir semua bot, termasuk yang menguntungkan.
• Memblokir Googlebot karena mengira sama dengan Gemini atau AI training Google lainnya.
• Mengira Google-Extended bisa mematikan AI Overviews di Google Search.
• Memblokir OAI-SearchBot tapi tetap berharap muncul maksimal di ChatGPT Search.
• Menganggap robots.txt setara firewall yang benar-benar menegakkan aturan.
• Memblokir semua crawler tanpa pernah melihat data referral yang sebenarnya masuk.
• Menilai bot cuma dari nama, tanpa memahami purpose sesungguhnya.
• Tidak pernah membuka dashboard Cloudflare lagi setelah mengubah kebijakan sekali di awal.

FAQ Seputar Block Bot AI

Apakah Saya Harus Block GPTBot?

Tergantung apakah Anda mengizinkan model AI memakai konten untuk kemungkinan training. Block bot AI seperti GPTBot tidak sama dengan memblokir OAI-SearchBot.

Apakah GPTBot Sama dengan OAI-SearchBot?

Tidak. GPTBot untuk training, OAI-SearchBot untuk search dan indexing — keduanya punya fungsi berbeda meski dari perusahaan yang sama. (OpenAI Help Center)

Apakah Block Google-Extended Menurunkan Ranking?

Ternyata tidak, menurut Google. (Google for Developers)

Apakah robots.txt Cukup untuk Block Bot AI?

Tidak, untuk enforcement teknis yang sungguhan. Setidaknya, Anda tetap perlu WAF atau AI Crawl Control sebagai lapisan tambahan. (Cloudflare Docs)

Apakah Semua Bot AI Perlu Diblokir?

Tidak otomatis. Pertimbangkan dulu purpose dan nilai yang crawler itu berikan balik ke website Anda.

Bot AI tidak akan berhenti berkembang, begitu juga cara Cloudflare, Google, dan operator AI lain mengatur crawler mereka. Untuk kebanyakan publisher, jalan paling rasional bukan block seluruh bot AI, melainkan memisahkan crawler berdasarkan fungsinya: pertahankan Search yang berpotensi memberi discovery dan referral, evaluasi Agent seperlunya, lalu blokir Training bila model AI memakai kontennya tanpa timbal balik yang jelas. Arah ini senada dengan kebijakan Cloudflare yang kini memisahkan kontrol Search, Agent, dan Training — bukan lagi memperlakukan semua bot AI sebagai satu kelompok yang sama.