Zoekrobots krijgen nieuwe aanwijzingen
Een aantal grote uitgeversorganisaties van kranten, boeken en tijdschriften heeft een alternatief voorgesteld voor het aloude bestand robot.txt. Zo’n bestand in de ‘root’ van een website, wijst de automatische indexeerrobots van zoekmachines de weg door pagina’s op de webserver. Het geeft informatie welke zoekmachines welkom zijn en waar de informatie te vinden is die de website-eigenaar graag gevonden ziet worden en welke pagina’s beslist niet geïndexeerd mogen worden.
Shutterstock
Shutterstock