Crawl budget

Il crawl budget è il numero di URL che un motore di ricerca vuole e può scansionare su un sito in un determinato periodo. Dipende dalla capacità di scansione del server e da quanta domanda ha Google per le pagine del sito.

Crawl budget descrive quanta attenzione Googlebot dedica al tuo sito. Google lo spiega come la combinazione di due elementi:

  • Crawl capacity limit (limite di capacità di scansione): quante richieste Google può fare senza sovraccaricare il tuo server. Risposte veloci e senza errori alzano questo limite; risposte lente ed errori 5xx lo abbassano.
  • Crawl demand (domanda di scansione): quanto Google vuole scansionare. Le pagine popolari, quelle che cambiano spesso e gli URL mai visti prima generano più domanda.

Insieme determinano quanti URL Googlebot recupera al giorno e a quali dà la priorità.

Chi dovrebbe preoccuparsene. Per la maggior parte dei siti con qualche migliaio di pagine, il crawl budget non è un vero problema. Google stesso dice che conta soprattutto per i siti molto grandi (parliamo di centinaia di migliaia o milioni di URL) o per i siti i cui contenuti cambiano molto rapidamente, come grandi e-commerce, marketplace, siti di annunci e testate giornalistiche. Se le nuove pagine di un sito piccolo non vengono indicizzate, la causa di solito è la qualità o il linking interno, non il crawl budget.

Cosa spreca crawl budget:

  • Navigazione a faccette che crea milioni di combinazioni di filtri e ordinamenti.
  • ID di sessione, parametri di tracciamento e pagine di calendario che non finiscono mai.
  • Lunghe catene di redirect e molti link interni non funzionanti.
  • Versioni duplicate della stessa pagina (http e https, con e senza slash finale, varianti con maiuscole).
  • Soft 404 e pagine di scarso valore scansionate ripetutamente.

Come migliorarlo:

  1. Blocca nel robots.txt i pattern di URL davvero inutili, come i risultati della ricerca interna o infinite combinazioni di filtri.
  2. Nei link interni punta all'URL canonico, mai alle versioni con parametri.
  3. Correggi le catene di redirect e aggiorna i link interni perché puntino direttamente all'URL finale.
  4. Limita le sitemap XML alle pagine indicizzabili e usa date lastmod accurate.
  5. Migliora i tempi di risposta del server e mantieni bassi i tassi di errore.
  6. Restituisci un 404 o un 410 per le pagine davvero eliminate, così Google smette di rivisitarle.

Nota che il noindex non fa risparmiare crawl budget: Google deve scansionare una pagina per vedere il tag noindex. Anche i tag canonical non bloccano la scansione. Solo il robots.txt impedisce il recupero della pagina.

Monitoraggio. Il report Statistiche di scansione in Google Search Console mostra le richieste totali, i codici di risposta, i tipi di file e lo scopo di ogni scansione (rilevamento o aggiornamento). I log del server danno il quadro completo e mostrano anche quanto richiedono i crawler AI al tuo server, il che sui siti grandi può essere considerevole.

Domande su Crawl budget

Il crawl budget conta per i siti piccoli?

Raramente. Per i siti con qualche migliaio di URL Google di solito riesce a scansionare tutto; lì i problemi di indicizzazione riguardano quasi sempre la qualità dei contenuti o i link interni.

Il noindex fa risparmiare crawl budget?

No. Google deve scansionare la pagina per leggere il tag noindex. Solo bloccare l'URL nel robots.txt ne impedisce il recupero.

Come posso vedere il mio crawl budget?

Apri Impostazioni e poi Statistiche di scansione in Google Search Console per vedere le richieste di scansione giornaliere, i codici di risposta e i tempi di risposta. I file di log del server offrono una visione più completa.

Termini correlati