Crawler AI

Un crawler AI è un bot che visita i siti per conto di un'azienda di AI, per raccogliere contenuti per l'addestramento dei modelli linguistici o per recuperare pagine in tempo reale affinché un assistente AI possa rispondere a una domanda.

Crawler AI sono programmi automatici che leggono le pagine web per i sistemi di AI. Funzionano in modo simile ai crawler dei motori di ricerca come Googlebot, ma i contenuti che raccolgono finiscono nei modelli linguistici o nelle risposte dell'AI invece che, o oltre che, in un indice di ricerca classico.

Tipi di crawler AI

Conviene distinguerne tre tipi, perché hanno effetti diversi sul tuo sito:

  • Crawler di addestramento raccolgono contenuti per addestrare i modelli futuri. Esempi sono GPTBot (OpenAI), ClaudeBot (Anthropic) e CCBot (Common Crawl, il cui archivio è molto usato per l'addestramento).
  • Crawler di ricerca creano o aggiornano un indice che gli assistenti AI usano per trovare e citare le fonti. Esempi sono OAI-SearchBot per la ricerca di ChatGPT e PerplexityBot per Perplexity.
  • Fetcher attivati dagli utenti visitano una pagina specifica perché un utente ha chiesto all'assistente di leggerla o perché all'assistente serve durante una conversazione. Esempi sono ChatGPT-User e Perplexity-User.

Google è un caso a parte. AI Overviews e AI Mode usano il normale indice di Googlebot, quindi non puoi bloccarli senza uscire dalla Ricerca Google. Il token separato Google-Extended in robots.txt controlla solo se i tuoi contenuti possono essere usati per l'addestramento dei modelli Gemini e per il grounding al di fuori della Ricerca.

Come gestire i crawler AI

La maggior parte delle aziende di AI rispetta il robots.txt. Puoi consentire o bloccare ogni bot tramite il nome del suo user agent. Molti siti scelgono di consentire i bot di ricerca e quelli attivati dagli utenti, perché portano citazioni e visite, e decidono caso per caso sui bot di addestramento. Controlla anche la CDN o il firewall: alcune impostazioni di sicurezza bloccano i bot AI per impostazione predefinita senza che il proprietario del sito lo sappia.

I log del server mostrano quali bot visitano il sito, con che frequenza e quali pagine richiedono. È il modo più affidabile per capire se i crawler AI riescono davvero a raggiungere i tuoi contenuti.

Perché è importante

Se i crawler AI non possono accedere alle tue pagine, gli assistenti AI non possono citarle. Inoltre molti crawler AI non eseguono JavaScript come fa Googlebot, quindi i contenuti che compaiono solo dopo l'esecuzione degli script possono risultare invisibili per loro.

Consigli pratici

  • Rivedi il robots.txt e le impostazioni dei bot nella CDN almeno una volta l'anno, perché compaiono regolarmente nuovi bot.
  • Servi i contenuti importanti nell'HTML iniziale, non solo tramite JavaScript lato client.
  • Attenzione ai bot falsi che usano i nomi dei crawler AI. Verificali tramite gli intervalli IP pubblicati dai fornitori.

Errori comuni

Bloccare tutti i bot AI con un'unica regola e poi chiedersi perché il sito non compare mai in ChatGPT o Perplexity, oppure pensare che bloccare un bot di addestramento rimuova i contenuti da modelli già addestrati.

Domande su Crawler AI

Devo bloccare i crawler AI?

Dipende dai tuoi obiettivi. Bloccare i bot di ricerca e quelli attivati dagli utenti impedisce agli assistenti AI di citarti, mentre bloccare i bot di addestramento incide solo sull'addestramento futuro dei modelli.

Come blocco GPTBot?

Aggiungi in robots.txt una regola con User-agent: GPTBot seguita da Disallow: /. Così impedisci a OpenAI di usare le tue pagine per l'addestramento, senza influire su OAI-SearchBot.

Posso bloccare gli AI Overviews di Google?

Non separatamente. Gli AI Overviews usano il normale indice di Googlebot. Google-Extended controlla solo l'uso dei tuoi contenuti per l'addestramento di Gemini e per il grounding al di fuori della Ricerca.

Termini correlati