Googlebot
Googlebot è un bot di ricerca di software per la scansione del Web (noto anche come spider o webcrawler) che raccoglie le informazioni della pagina Web utilizzate per fornire le pagine dei risultati dei motori di ricerca di Google (SERP).
Googlebot raccoglie documenti dal Web per creare l’indice di ricerca di Google. Attraverso la raccolta costante di documenti, il software scopre nuove pagine e aggiornamenti delle pagine esistenti. Googlebot utilizza un design distribuito che copre molti computer in modo che possa crescere come fa il web.
Il webcrawler utilizza gli algoritmi per determinare quali siti visitare e quante pagine recuperare. Googlebot inizia con un elenco generato da sessioni precedenti. Questo elenco viene poi incrementato dalle sitemaps fornite dai webmaster. Il software esegue la scansione di tutti gli elementi collegati nelle pagine Web che visualizza, annotando nuovi siti, aggiornamenti ai siti e collegamenti non funzionanti. Le informazioni raccolte vengono utilizzate per aggiornare l’indice del web di Google.
Googlebot crea un indice entro i limiti stabiliti dai webmaster nei loro file robots.txt. Se un webmaster desidera mantenere le pagine nascoste dalla ricerca di Google, ad esempio, può bloccare Googlebot in un file robots.txt nella cartella principale del sito. Per impedire a Googlebot di seguire qualsiasi link su una determinata pagina di un sito, può includere il meta tag nofollow; per impedire al bot di seguire singoli collegamenti, il webmaster può aggiungere rel = “nofollow” ai collegamenti stessi.
Generalmente, Google cerca di indicizzare la maggior parte di un sito senza tuttavia occupare la larghezza di banda del sito. Se un webmaster rileva che Googlebot sta utilizzando troppa larghezza di banda, può impostare una soglia massima sulla home page della Search Console di Google che resta valida per 90 giorni.
Alla conferenza SearchLove 2011, Josh Giardino ha affermato che Googlebot è in realtà il browser Chrome. Ciò significa che Googlebot non solo ha la capacità di sfogliare le pagine nel testo, come fanno i crawler, ma può anche eseguire script e supporti come fanno i browser web. Tale capacità potrebbe consentire a Googlebot di trovare informazioni nascoste ed eseguire altre attività non riconosciute da Google. Giardino è arrivato al punto di dire che Googlebot potrebbe essere la ragione originale per cui la società di Cupertino ha creato Chrome.