So findest du Webseiten, die Suchmaschinen wie Google nicht anzeigen sollen

Die Suchmaschinen von Google und Microsoft sollen nicht alles finden was im Netz vorhanden ist. Vor längerer Zeit schon, haben die damals größten Anbieter von Suchmaschinen (Google, Microsoft, Yahoo) einen Standard geschaffen, die es den Webmastern ermöglicht, Internetseiten vor den Search-Bots zu verstecken. Daraufhin haben fast alle Anbieter von Suchmaschinen diesen Standard auch übernommen. Aber nur weil Google & Co verschiedene Webseiten nicht anzeigen, bedeutet das nicht, dass sie nicht trotzdem gefunden werden können.

Unsichtbares sichtbar machen

Wenn ein Webmaster ein paar Seiten verstecken möchte, hat das nicht unbedingt den Grund, dass auf diesen Seiten geheime Informationen stehen. Die Ursachen sind meist banaler. Besucher der Webseite sollen auf der Homepage länger verweilen, die eingebaute Suchfunktion nutzen oder sich durch das Angebot klicken.

Die Datei, die eine Suchmaschine daran hindert, eine Webseite anzuzeigen nennt sich robots.txt und befindet sich im Root-Verzeichnis des Servers. Letztendlich ist die Robots-Datei nur eine Liste, die die den Suchbot einer Search-Engine informiert, was nicht angezeigt werden soll.

Ausschlusslisten finden und anzeigen

Zwei Möglichkeiten stehen dir zur Verfügung, um unsichtbare Seiten zu finden. Gib in die Suchmaschine deiner Wahl folgende Parameter ein:

robots.txt +disallow +filetype:txt

Starte den Suchvorgang und in der Ergebnisliste werden dir dann die Robots-Dateien verschiedener Webseiten angezeigt. Beim Stöbern wird dir sicherlich die eine oder andere interessante Ausschlussliste auffallen.

Die zweite Variante ist aber viel zielführender. Um die gesperrten Elemente einer bestimmten Webseite zu finden, gibst du einfach die URL gefolgt von /robots.txt ein. Zum Beispiel www.ebay.de/robots.txt.

Die in den Listen enthaltenen Webseiten beziehen sich dabei immer auf die Haupt-Domain.

Beispiel Ebay: Die Datei Robots.txt enthält den Eintrag /help/policies. Um diese versteckte Seite zu erreichen, tippst du in die Adresszeile deines Browsers die URL www.ebay.de/help/policies ein und bestätigst die Eingabe mit [Enter].

Daraufhin wird dir die Seite A-Z-Index der Grundsätze angezeigt. Wie man sieht, wird da nichts Geheimes versteckt. Die Grundsätze sind über die Webseite von Ebay ganz normal zu finden.

Kommentar schreiben

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.