Was ist bei den netzgefährten passiert?
Wochenrückblick KW 03/2022
Robots.txt: Worauf Seitenbetreiber achten müssen
Die vermeintlich unscheinbare Text-Datei „Robots.txt“ entscheidet mit darüber, wie eine Webseite durch User Agents indexiert wird. Setzen Seitenbetreiber die Datei nicht richtig oder gar nicht ein, kann das Folgen für die Aufnahme in Suchmaschinenverzeichnisse haben. Und: Weist die Datei zu harte Restriktionen auf, nehmen Suchmaschinen unter Umständen gar keine Seiten auf. Das passiert sogar dann, wenn der Rest einer Webseite suchmaschinenfreundlich gestaltet ist. In der Praxis zeigt sich daher: Viele Seitenbetreiber unterschätzen die Bedeutung der Datei. Die Kollegen von seonative erklären, welche Bestandteile für „Robots.txt“ unverzichtbar sind und warum Seitenbetreiber die Datei stets individuell pro Webprojekt konfigurieren sollten. Zum Artikel…