Scansione (crawling)

Il crawling (scansione) è il processo con cui i bot dei motori di ricerca e dell'AI scoprono e scaricano le pagine web seguendo link e sitemap. Una pagina mai scansionata non può essere indicizzata, posizionata o usata come fonte nelle risposte dell'AI.

Scansione (crawling) è il primo passo con cui un motore di ricerca vede il tuo sito. Un bot come Googlebot richiede un URL, scarica l'HTML e le risorse necessarie, estrae i link della pagina e aggiunge i nuovi URL a una coda per visite successive. Tutto ciò che segue, dall'indicizzazione al ranking fino all'essere citati in una risposta dell'AI, dipende dal buon funzionamento di questo passaggio.

I crawler trovano gli URL in diversi modi:

  • Link dalle pagine che già conoscono, sia tramite link interni sia tramite backlink da altri siti.
  • Sitemap XML che invii in Google Search Console o indichi nel robots.txt.
  • Redirect e tag canonical che puntano ad altri URL.

Prima di recuperare un URL, un crawler corretto controlla il robots.txt per vedere se è autorizzato. Google decide poi ogni quanto tornare in base a quanto una pagina sembra importante e aggiornata e a quanto velocemente risponde il server. Le pagine che cambiano spesso e ricevono molti link tendono a essere rivisitate più frequentemente.

Crawling e AI. I motori di ricerca non sono più gli unici visitatori. Le aziende di AI hanno i propri bot: alcuni raccolgono dati di addestramento, altri recuperano pagine in tempo reale per rispondere alla domanda di un utente. Molti di questi bot non eseguono JavaScript, quindi i contenuti che compaiono solo dopo l'esecuzione degli script possono risultare loro invisibili. Se vuoi essere citato nelle risposte dell'AI, assicurati che i contenuti importanti siano nell'HTML iniziale e di non bloccare per errore gli user agent pertinenti.

Come verificare la scansione. Il report Statistiche di scansione in Google Search Console mostra quante richieste fa Googlebot al giorno, i codici di risposta che riceve e il tempo medio di risposta. I file di log del server danno il quadro più fedele, perché mostrano ogni richiesta dei bot, compresi i crawler AI. Lo strumento Controllo URL ti dice quando Google ha scansionato per l'ultima volta una pagina specifica.

Problemi comuni:

  • Pagine importanti a cui non punta nessun link interno (pagine orfane).
  • Server lenti o frequenti errori 5xx, che portano Google a scansionare meno.
  • Infinite varianti di URL da filtri, ordinamenti e ID di sessione che sprecano l'attenzione dei crawler.
  • Link costruiti con gestori di clic JavaScript invece che con veri elementi anchor con href.
  • Una regola del robots.txt che blocca un'intera directory che invece vuoi far trovare.

Una pagina scansionata non viene indicizzata automaticamente. Google può recuperare una pagina e decidere comunque di non salvarla, per esempio quando sembra un duplicato o aggiunge poco valore. La scansione è l'accesso; l'indicizzazione è una decisione di qualità separata.

Domande su Crawling

Qual è la differenza tra crawling e indicizzazione?

Il crawling è il recupero di una pagina; l'indicizzazione è la sua memorizzazione e comprensione affinché possa comparire nei risultati. Una pagina può essere scansionata e non essere comunque indicizzata, se Google la giudica duplicata o di scarso valore.

Come faccio a far scansionare più in fretta la mia pagina da Google?

Linkala da pagine interne forti, includila nella sitemap XML e richiedi l'indicizzazione con lo strumento Controllo URL di Google Search Console. Anche un server veloce e stabile aiuta Google a scansionare di più.

I bot AI scansionano i siti come Googlebot?

Non proprio. Molti crawler AI recuperano solo l'HTML grezzo senza eseguire il rendering di JavaScript e seguono i propri user agent nel robots.txt, quindi devi verificare l'accesso per ciascuno separatamente.

Termini correlati