Online beveiliger Cloudflare lanceert een reeks tools die de mogelijkheid bieden om AI crawlers, die content verzamelen voor trainingsdoeleinden, selectief te blokkeren. Op deze manier kunnen uitgevers geld vragen voor toegang.
Klanten hebben toegang tot een dashboard dat laat zien welke AI-crawlers hun websites bezoeken en gegevens verzamelen, of dat proberen te camoufleren.
‘We hebben alle AI-crawlers gelabeld, zelfs als ze hun identiteit proberen te verbergen’, zegt Cloudflare-medeoprichter en CEO Matthew Prince, die met WIRED sprak vanuit het Europese hoofdkantoor van het bedrijf in Lissabon, Portugal.
Eerder dit jaar rolde Cloudflare een tool uit waarmee klanten alle bekende AI-bots in één keer konden blokkeren; de nieuwe versie biedt meer controle om te kiezen welke bots ze willen blokkeren of toestaan.
Websites proberen meestal te bepalen hoe AI-bots hun gegevens analyseren door een tekstbestand met de naam Robots Exclusion Protocol of robots.txt bij te werken. Dit bestand heeft tientallen jaren bepaald hoe bots het web schrapen. Het is niet illegaal om robots.txt te negeren, maar netjes is het ook niet.
emerce
25-09-2024 12:00