So findest du Webseiten, die Suchmaschinen wie Google nicht anzeigen sollen

Die Suchmaschinen von Google und Microsoft sollen nicht alles finden was im Netz vorhanden ist. Vor längerer Zeit schon, haben die damals größten Anbieter von Suchmaschinen (Google, Microsoft, Yahoo) einen Standard geschaffen, die es den Webmastern ermöglicht, Internetseiten vor den Search-Bots zu verstecken. Daraufhin haben fast alle Anbieter von Suchmaschinen diesen Standard auch übernommen. Aber nur weil Google & Co verschiedene Webseiten nicht anzeigen, bedeutet das nicht, dass sie nicht trotzdem gefunden werden können.