Robots Metatag (Zoekmachine optimalisatie)

Een Robots Metatag is een onderwater geplaatste boodschap aan de robots van de zoekmachines. In deze boodschappen kun je meegeven of een robot (zie ook Spider) een pagina wel of niet mag indexeren en de links op een pagina wel of niet mag volgen.

Een robots metatag ziet er bijvoorbeeld als volgt uit:

<html>
<head>
<title>...</title>
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
</head>


Uitsluiten 'versus' toelaten door middel van Robots Metatags


Het belangrijkste doel van robots metatags is het uitsluiten van informatie voor robots van de zoekmachines.

Uitsluiten:


Of juist toelaten:


Zoals je ziet zijn er meer tags om dingen uit te sluiten dan om toe te laten. Dit is logisch aangezien wanneer je niets plaats de standaard functie toelaten is. Twee opties van toelaten (index, follow) zijn vooral bedoeld om in combinaties te gebruiken, zoals hier onder.


Varianten (No)index, (No)follow Robots Metatags


Er zijn verschillende varianten op deze metatag:

Wel indexeren en de links volgen:

 <META NAME="ROBOTS" CONTENT="INDEX, FOLLOW">


NIET indexeren en wel de links volgen:

 <META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW">


Wel indexeren en NIET de links volgen:

<META NAME="ROBOTS" CONTENT="INDEX, NOFOLLOW">


NIET indexeren en NIET de links volgen:

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">


All 'versus' none bij Robots Metatags


Twee andere uitersten zijn de "all" en "none" robots metatags. Deze geven aan of de robot in zijn geheel doorgang mag hebben of juist in zijn geheel niet:

<meta name="robots" content="all"> staat gelijk aan 
<meta name="robots" content="index, follow"> 


<meta name="robots" content="none"> staat gelijk aan 
<meta name="robots" content="noindex, nofollow">



Andere Varianten Google Robot Metatags


Naast de noindex nofollow zijn er nog diverse mogelijkheden. Zo is er de Noarchive, nosnippet. Verder kan men bijvoorbeeld enkel de Googlebot uitsluiten:

<meta name="googlebot" content="noindex, nofollow">


Met de volgende varianten:

<meta name="googlebot" content="noindex">
<meta name="googlebot" content="nofollow">
<meta name="googlebot" content="noarchive">
<meta name="googlebot" content="nosnippet">
<meta name="googlebot" content="noimageindex">



Oppassen verkeerd meekopieren Robots Metatag


Let op bij het schrijven van HTML code. De afgelopen jaren hebben we minstens 5 keer meegemaakt dat webmasters per abuis de verkeerde Robots metatag (noindex, nofollow) plaatsen met als gevolg dat een site volledig genegeerd werd door de zoekmachines. Dit klinkt als een open deur, maar komt vaker voor dan gedacht.


Robots Metatag 'versus' Robots.txt?


Een van de grootste nadelen van een robots metatag is dat de pagina eerst door een spider moet worden bekeken voordat de spider kan zien dat deze niet geindexeerd mag worden. Bij een robots.txt wordt deze op een centrale plaats opgenomen (bij voorkeur in de root) waardoor de spiders enkel deze file openen.

Een spider zal bij de robots metatag dus toch alle pagina's openen en bekijken. Wanneer een robots.txt gebruikt wordt zal dat dus veel datavekeer schelen.

Voordeel van de robots metatag is echter weer dat een unieke pagina afgeschermd kan worden. Verder kan men een file afschermen zonder dat een nieuwe file (De robots.txt) moet worden geplaatst. In uizonderlijke gevallen kan men dan een pagina voor de zoekmachines uitsluiten als men bijvoorbeeld geen rechten heeft tot de hoogste directory waar de robots.txt in hoort te staan.


Robots Metatag 100% veilig?


Belangrijk: Deze tag wil niet verzekeren dat een pagina niet bekeken kan worden door robots. Een betrouwbaardere manier is door de robots.txt. De enige echte manier om er zeker van te zijn dat informatie niet bekeken wordt is door de content achter een wachtwoord te plaatsen of helemaal niet online.

Gerelateerde woorden

Thema & categorieën

Meer tips