robots.txt
Die robots.txt ist eine Textdatei im Wurzelverzeichnis einer Website, die Suchmaschinen-Crawlern Anweisungen gibt, welche Bereiche sie aufrufen dürfen. Sie steuert das Crawling, indem sie einzelne Verzeichnisse oder Dateien für bestimmte Bots freigibt oder sperrt. Wichtig ist: Sie verhindert das Crawlen, nicht zwingend die Indexierung einer bereits bekannten URL.
Einordnung
Eine korrekt konfigurierte robots.txt sorgt dafür, dass Crawler ihr Budget auf die wichtigen Seiten konzentrieren und sensible oder irrelevante Bereiche aussparen. Fehler können gravierend sein, wenn versehentlich ganze Website-Teile blockiert werden. Zunehmend regelt die Datei auch den Zugriff von KI-Crawlern und beeinflusst damit, ob Inhalte in KI-Systeme einfließen.
Fragen zu deiner Sichtbarkeit?
Ob bei Google oder in KI-Antworten – im kostenlosen Erstgespräch ordne ich ehrlich ein, wo du stehst und was sich lohnt.
Kostenloses Erstgespräch →