Ultimamente sono state date numerose definizioni di crawl budget, molte di queste molto differenti tra loro. C’è grande confusione in giro, infatti, per quanto riguarda questo argomento. Che cos’è esattamente il crawl budget e cosa significa il crawl budget per Googlebot? Nelle prossime righe cercheremo di spiegarvelo e di fare, una volta per tutte, chiarezza sull’argomento.

È importante, prima di tutto, sottolineare che il crawl budget non è qualcosa di cui i webmasters devono preoccuparsi. Se, ad esempio, nuove pagine vengono sottoposte a scansione lo stesso giorno in cui vengono pubblicate, i webmaster non devono concentrarsi su questo. In egual maniera se un sito ha meno di qualche migliaio di URL, verrà scansionato in maniera efficiente. Dare priorità, infatti, a cosa viene scansionato, quando e quante risorse impiega il server che ospita il sito per eseguire questa operazione è qualcosa che è più importante per i grandi siti o per quelli che auto-generano pagine basate sui parametri URL. Ecco di seguito alcuni esempi:

Limite di velocità di scansione

Googlebot è stato progettato per essere un buon cittadino del web. Effettuare la scansione è la sua principale priorità e lo è, al tempo stesso, porre attenzione al non peggiorare l’esperienza degli utenti che visitano il sito web in questione. Questo fattore è chiamato, per l’appunto, limite di velocità di scansione e limita la velocità massima a cui si recuperano i dati per un determinato sito.

In poche parole questo limite rappresenta il numero di connessioni simultanee e parallele che Googlebot può utilizzare per scansionare un sito, così come il tempo che deve attendere tra un recupero dati e l’altro. La velocità può aumentare o diminuire in base ad una coppia di fattori:

  • Stato della scansione: se il sito risponde velocemente alla scansione per un periodo sufficientemente lungo, il limite sale e questo implica la possibilità di utilizzare più connessioni per eseguire le scansioni. Se il sito, al contrario, rallenta o presenta errori del server il limite scende e Googlebot scansiona di meno.
  • Limite impostato nella Search Console: I proprietari dei siti web hanno la possibilità di ridurre la scansione da parte di Googlebot per quanto riguarda il proprio sito. Notate, però, che invece impostare limiti più alti non aumenta automaticamente la scansione.

Domanda di scansione

Se non c’è domanda da parte dell’indicizzazione, anche se il limite di velocità non viene raggiunto, l’attività di Googlebot resterà bassa. I due fattori determinanti per determinare la domanda di scansione, infatti, sono:

  • La Popolarità: gli URL più popolari su internet vengono sottoposti a scansione da parte di Googlebot più spesso, per mantenere aggiornato l’indice del motore di ricerca.
  • L’aggiornamento: i sistemi di Googlebot impediscono che gli URL diventino vecchi nell’indice.

Se prendiamo, dunque, in considerazione sia la velocità di scansione che la domanda, possiamo definire il crawl budget come il numero di URL che Googlebot può e vuole scansionare.

Fattori che influenzano il crawl budget

Un numero alto di URL di basso valore può influenzare negativamente la scansione e l’indicizzazione di un sito. Rientrano nella categoria degli URL di basso valore le seguenti categorie:

 

  • Faced navigation e sessioni di identificazione
  • Contenuti online duplicati
  • Pagine di errore
  • Pagine hackerate
  • Spazi e proxy
  • Contenuti di bassa qualità e spam

Se si sprecano risorse del server su pagine di questo genere, allora le possibilità che il crawl budget diminuisca sono altissime.

Se, ad ogni modo, non siete esperti dell’argomento e volete affidarvi ad un professionista che possa effettivamente ottimizzare il vostro sito web per google vi consigliamo di contattare MelaGraphic, azienda leader nel settore. Potrete trovare tutte le informazioni sul sito web melagraphic.com.

 

 

Leave a Reply

Your email address will not be published.