Crawler
Unter einem Crawler oder Webcrawler (auch Spider oder Robot) versteht man ein programmiertes Script, das Websites in regelmäßigen Abstand besucht, durchsucht und analysiert. Suchmaschinen wie Google, Bing und Co. nutzen Crawler zur Indexierung der Inhalte für den späteren Aufbau der Suchergebnisse zu bestimmten Anfragen.
Als Website Betreiber hat man die Möglichkeit, Crawler (sofern sie sich an den Robots Exclusion Standard halten) zu steuern. Mithilfe einer Textdatei (robots.txt) lässt sich so für verschiedene Seiten oder Ressourcen festlegen, ob ein Crawler erwünscht oder verboten ist. So kann man auch beeinflussen, welche Seiten für eine etwaige Indexierung zur Verfügung stehen.
