Crawling ist der Prozess, bei dem Suchmaschinen-Bots (Crawler) Webseiten automatisiert aufrufen und ihre Inhalte erfassen. Es ist die Voraussetzung dafür, dass Seiten überhaupt indexiert und gerankt werden können.
Was bedeutet Crawling?
Suchmaschinen wie Google setzen Programme ein – etwa den Googlebot –, die Links folgen und so das Web systematisch durchsuchen. Beim Crawling werden Inhalte, Struktur und Verlinkungen einer Seite erfasst und für die spätere Indexierung vorbereitet.
Warum ist Crawling wichtig?
Was nicht gecrawlt wird, kann nicht in den Index gelangen und nicht ranken. Eine gute Crawlbarkeit – klare Struktur, funktionierende interne Links, keine unnötigen Blockaden – ist daher ein Kernthema des Technical SEO.
Was beeinflusst das Crawling?
- robots.txt – erlaubt oder blockiert Bereiche.
- Interne Verlinkung – führt Bots zu wichtigen Seiten.
- Crawl-Budget – begrenzte Ressourcen pro Website.
- Ladezeit & Statuscodes – beeinflussen Effizienz und Erreichbarkeit.
Verwandte Begriffe
Häufige Fragen
Was ist der Unterschied zwischen Crawling und Indexierung?
Crawling ist das Erfassen einer Seite durch den Bot. Indexierung ist die anschließende Aufnahme in die Datenbank der Suchmaschine. Erst gecrawlt, dann (eventuell) indexiert.
Was ist das Crawl-Budget?
Das Crawl-Budget ist die Menge an Seiten, die ein Bot in einem bestimmten Zeitraum auf einer Website crawlt. Bei großen Websites kann es ein limitierender Faktor sein.