«Googlebot» (Google)

De Googlebot is de robot of spider van Google. De term is afkomstig van de samenvoeging van Google + robot (bot).

Een pagina kun je op zes manieren voor de Googlebot uitsluiten en uit Google verwijderen.

1. Door de Googlebot in de robots.txt uit te sluiten
2. Door de Googlebot in de metatags uit te sluiten
3. Door de pagina offline te halen
4. Door de pagina achter een wachtwoord te plaatsen
5. Door te voorkomen dat er links staan naar een pagina
6. Door een verwijder procedure bij Google te volgen

De meest zekere methode is de pagina helemaal van het internet te halen.

Googlebot en Robots.txt

De googlebot is uit te sluiten door de volgende tekst toe te voegen aan de Robots.txt:

User-agent: Googlebot 
Disallow: /

Dan wordt de gehele site voor de Googlebot afgesloten. Wil je slechts een pagina uitsluiten dan dien je bij "Disallow" aan te geven welke pagina specifiek niet in Google mag komen.

User-agent: Googlebot 
Disallow: /admin/beheer.php

Wanneer je alle robots wilt uitsluiten, behalve de Googlebot, dan moet je de volgende tekst opnemen in de Robots.txt:

User-agent: *
Disallow: /

User-agent: Googlebot
Disallow:

(let op: de laatste zonder "slash"!)

Losse pagina's uitsluiten door middel van een metatag

Wanneer je wilt voorkomen dat de Googlebot een bepaalde pagina indexeert dan kun je het beste de volgende metatag mee geven aan die betreffende pagina.

<meta name="googlebot" content="noindex, nofollow">

Let op: deze methode is minder waterdicht dan de robots.txt. We hebben in het verleden meerdere malen gezien dat pagina's met de noindex metatag toch in de zoekmachines stonden.

Google Cache uitsluiten

Wanneer je wilt voorkomen dat mensen de Google Cache functie kunnen gebruiken dan dient men de volgende metatag toe te voegen:

<meta name="robots" content="noarchive"> 

Let op: met deze metatag sluit je alle archieven uit, dus ook die van archive.org. Wanneer je alleen de Googlebot wilt uitsluiten kan dat met de volgende metatag:

<meta name="googlebot" content="noarchive">

Wanneer deze wordt gevonden dan zal de cache functie voor de pagina uitgezet worden.

Google Image Search uitsluiten

Wanneer je wilt voorkomen dat mensen de Google Image Search functie kunnen gebruiken dan dient men de volgende tekst aan de robots.txt toe te voegen:

User-Agent: Googlebot-Image
Disallow: /

Let op: met deze tekst sluit je alle afbeeldingen op je site uit. Wanneer je alleen 1 afbeelding wilt uitsluiten kan dat met de volgende tekst in de robots.txt:

User-Agent: Googlebot-Image
Disallow: /images/paspoort.jpg

Wanneer deze wordt gevonden dan zal de afbeelding uit Google Image search verwijderd worden.

Google Snippits uitsluiten

Google toont in haar resultatenpagina's een korte samenvatting van de vermelde sites. Dit noemt men "snippits". Wanneer je wilt voorkomen dat Google snippits van je site toont dan kun je de volgende metatag toevoegen:

<meta name="googlebot" content="nosnippet">

Wanneer deze wordt gevonden dan zal Google de snippit van de pagina verwijderen.