European Data Protection Board (EDPB) mengadopsi Guidelines 03/2026 tentang web scraping dalam konteks generative AI. Konsultasi publik bergulir sejak 8 Juli 2026. Namun, konsultasi tetap terbuka hingga 30 Oktober 2026 pukul 23:59 CET menurut halaman konsultasi resmi. Dokumen ini bukan undang-undang final, melainkan panduan interpretasi GDPR bagi pengembang model generatif yang mengumpulkan data pribadi dari web.
EDPB web scraping: robots.txt, ai.txt, dan minimisasi
Ringkasan at-a-glance EDPB (Oktober 2026) menempatkan langkah minimisasi data. Langkah itu mencakup menghindari situs yang memblokir scraping lewat aturan robots, file robots.txt, ai.txt, atau CAPTCHA. Panduan penuh juga membahas kriteria pengumpulan yang mengecualikan situs yang menolak scraping melalui robots.txt atau CAPTCHA. Jadi, dalam konteks data pribadi untuk training atau fine-tuning generative AI, EDPB menyarankan developer tidak mengambil sumber yang jelas menolak otomatisasi tersebut.
Meski demikian, ini tidak berarti robots.txt menjadi larangan hukum universal di seluruh Uni Eropa. Melanggar robots juga tidak otomatis sama dengan pelanggaran GDPR di setiap skenario. Cakupan panduan fokus pada entitas privat dan data pribadi. Topik utamanya pengembangan atau fine-tuning model generatif, bukan semua crawler search indexing atau konten non-pribadi. File ai.txt hanya muncul dalam ringkasan EDPB sebagai salah satu mekanisme, bukan standar W3C atau IETF resmi.
Akurasi sumber dan peran controller
EDPB juga menekankan sumber andal, timestamp, pemetaan data, filtering kategori sensitif, serta validasi sebelum training. Panduan menyinggung pertimbangan data sintetis bila feasible. EDPB turut membahas post-collection filtering, anonymisation, atau pseudonymisation. Diskusi legitimate interest (GDPR Pasal 6(1)(f)) memakai logika tiga langkah: kepentingan sah, kebutuhan, dan keseimbangan terhadap hak subjek data. Artikel ini bukan nasihat hukum. Legitimate interest tidak selalu menutupi setiap skenario scraping.
Reuse dataset scrape lama ikut masuk pembahasan tanggung jawab. Vendor model tidak bisa mengabaikan asal data hanya karena pihak ketiga melakukan koleksi awal.
Panduan membedakan controller, processor, dan joint controller bergantung siapa menentukan tujuan dan sarana esensial scraping. Bila developer AI menginstruksikan kontraktor tentang apa dan bagaimana mengumpulkan data, developer umumnya berperan sebagai controller. Scraper bisa processor, tetapi kontrak nyata menentukan klasifikasi final.
Implikasi bagi publisher dan developer
Bagi pemilik situs, sinyal teknis penolakan scraping semakin relevan dalam penilaian perlindungan data. Sinyal itu terpisah dari fungsi robots sebagai preferensi crawl, bukan autentikasi akses. CAPTCHA menandai hambatan otomatis yang lebih kuat, dan artikel ini tidak membahas cara melewatinya.
Publisher yang sudah membedakan crawler AI dari bot search dapat melihat konteks serupa dalam wawancara John Mueller tentang sitemap, RSS, dan llms.txt. Kemudian, developer yang membangun pipeline data untuk model generatif perlu selaraskan kebijakan sumber dengan strategi WAF dan firewall bila situs sendiri menjadi target scrape massal. Walau begitu, fluktuasi traffic organik setelah perubahan kebijakan crawl kerap membingungkan tim marketing. Diagnosis terpisah Search, Discover, dan News tetap penting seperti di pembahasan ranking naik-turun.
Konteks e-commerce yang mengandalkan AI shopping juga bergerak paralel, seperti di SEO e-commerce 2027. Kebijakan training data dan kebijakan crawl publisher saling beririsan.
Akhirnya, setelah konsultasi 30 Oktober 2026, versi final guidelines akan menentukan seberapa keras rekomendasi robots dan ai.txt yang regulator nasional terapkan. Sampai itu, status dokumen tetap draft konsultasi, bukan aturan langsung yang berlaku otomatis di semua yurisdiksi.
