Robots.txt (Zoekmachine optimalisatie)

Robots.txt is een tekstbestand dat men kan schrijven en in de root van een webserver kan plaatsen. Met dit bestand kan men aan zoekmachines aangeven of de pagina wel in de index moet worden opgenomen of niet. Tevens kan men aangeven of de links gevolgd moeten worden. In een robots.txt kan men bepaalde zoekmachines of zoekmachine-agents uitsluiten. Je kunt bijvoorbeeld hierin aangeven dat je wel door Google bezocht wilt worden maar niet door een andere zoekmachine. De robots.txt is op dit moment alleen van belang als je bepaalde pagina's wilt uitsluiten van indexering. Toch is het voor de volledigheid verstandig om aan alle pagina's een juiste robots.txt toe te voegen.

Gerelateerde woorden

Meer over Robots.txt (externe links)

  • Robotstxt.org - Website met uitgebreide informatie over het gebruik van de robots.txt.

Thema & categorieën